AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ） ・AIコーディングツールは生産性を劇的に向上させる ・しかし、それに伴ってコストも指数関数的に増大している ・放置すれば、AIによる恩恵がコストで相殺される ・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく ・具体的な対策の筆頭は、より安価で効率的なモデルへの移行 ・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する ・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効 ・予算管理において、利用上限でアクセスを完全に遮断するのは悪手 ・これは、最も生産性の高い開発者の足を引っ張ってしまうため ・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい ・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に ・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる （で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）

AIコーディングの物理表現比較 Fable 5が最も高いクオリティのアウトプットを出力するが、Opus 4.8の約5.6倍のコストがかかる。 過剰品質にならないようにタスクによって、LLMを選ぶ技術も人数が増えてくると重要なことなのかもしれない。 via：@atomic_chat_hq

🔬 「AIは科学を“発見”できるのか？」を、本物のNature論文90本で厳しく測ったら、最強エージェントでもSOTA超えは2割弱でした。 タイトル: NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers? URL: 📋 概要 Nature系ジャーナル由来の90タスク（6ドメイン）で、AIコーディングエージェントが既発表SOTAを再現・超越できるかを検証。元手法を遮断する「情報ファイアウォール」と、タスクごとにコンテナ化する自動環境NatureGymで、統一条件・Web検索禁止の厳密評価を実現しています。 🎯 解決する課題 これまでのエージェント研究ベンチは環境がバラバラで信頼性に欠けていました。本研究は「再現」ではなく「自力発見」を強制し、横断比較できる土俵を整えます。 📐 方法論 SOTA正規化の相対ギャップで採点（g>0.1で超越、g≥0で同等以上）。81種の指標を横断比較し、4時間予算・GPU割当・10エージェントを3ハーネスで評価します。 📊 実験結果 ・最強のClaude Opus 4.7でもSOTA超えは17.8%、同等以上は47.8% ・成功の45.5%は「科学課題を教師あり予測に翻訳しただけ」。真のドメイン推論はわずか8.3% ・失敗の主因は手法選択ミス45.1%と計算資源不足24.4%で、タスク誤解はわずか3.1% ・学際課題ほど成績が落ちる傾向 現状のエージェントは「翻訳」は得意でも「発見」は苦手、という冷静な現在地が見えて示唆に富みます。 #AI4Science# #CodingAgents#

要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。 ・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い ・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴 ・実際の開発のように、コードを時間をかけて進化させる能力が問われる ・著者が最新の Opus 5 などをこのベンチマークで実際に検証した ・結果、Opus 5 のパス率は24%にとどまった ・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い ・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく ・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した ・生成コードの約半分をテストが占めている ・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない ・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難 ・人間によるステアリングがまだまだ必要そう

GLM-5.2 を内部ホスティングして、AIコーディングで使いたい放題にする企業が出てきそう。GPUめっちゃ必要だけど。 ・GLM-5.2は当初マイナーアップデートと思われていたが、実際にはユーザー体験を一変させるほど性能が向上している ・ベンチマークテストにおいて、Anthropic社やOpenAI社の最先端のクローズドモデルに匹敵、あるいは凌駕する結果を出している ・特にコーディング環境において、汎用エージェントとして実用的なレベルに達した初のオープンモデル ・米国の最新クローズドモデルと中国の最新オープンモデルの性能差は、およそ6ヶ月から9ヶ月程度 ・高性能なAIが無料で使えるようになるため、Anthropic社のような最先端モデルを販売する企業は強力な価格引き下げの圧力を受ける ・逆に、オープンモデルを利用したサービスやインフラを提供する企業にとっては、大きな成長のチャンス ・米国の主力AIが規制で足踏みしている間に、中国のオープンモデルが市場シェアや経済的基盤を奪う可能性がある ・高性能なAIが広く普及することは経済的には良いこと ・だけど、安全性や規制の観点からは重大な懸念事項となっている ・米国政府が安全のために自国企業のAIを制限している ・一方で、中国企業が同等のAIを世界中に無料公開しているという矛盾もある ・今後、米国政府が特定の中国製オープンモデルを危険とみなして規制に乗り出すシナリオも考えられる ・オープンモデルの危険性はもちろん指摘がある ・だが、少数の巨大企業だけが超高性能なAIを独占する世界の方がより大きな問題を引き起こすのでは

懐かしい記事が上がってきていたけど、これはAIコーディングでどう変わっていくだろう？ ・間違った抽象化はコードの重複よりもはるかに厄介 ・プログラマは、コードの重複を見つけると、それをまとめて新たな抽象化を作り出そうとする ・最初はコードの重複が排除され完璧で美しい状態になったように思える ・しかし時間が経過すると話が変わる ・新しい要件が出たときその抽象化が足かせになり始める ・プログラマは、既存の抽象化を維持しようとして引数を増やし条件分岐を追加してしまう ・新しい要件が来るたびに同じことが繰り返される ・で、コードは理解不能な状態に陥る ・複雑で難解になったコードほど費やす時間がも増える ・その結果、もったいないという心理が働き既存のコードに固執するサンクコストの誤謬が生じる ・この罠にはまると、既存のコードを無理やり拡張し続けることになる ・間違った抽象化に直面した場合の最も早い解決策は一度元の状態に戻ること ・具体的には、抽象化されたコードをすべての呼び出し元に展開してコードの重複を復活させる ・展開した後にそれぞれの場所で不要になった引数や条件分岐をすべて削除する ・これにより、各々の呼び出し元が本当に必要としていた固有の処理だけが残る

ADHDにとってエディタの Superset が危険すぎる。一生AIコーディングでタワーディフェンスゲーム出来てしまう。worktreeが直感的に切り替えできるので同時に試したい機能が同時に生えてくる感覚がすごい。

型検査やconstなどの適切な制約に基づく安全なソースコードは、AIコーディングする上でもリグレッションの危険性は下がるし、動作確認の手戻りが減るなどでトークン消費も少なくなるのでとても大事。人間でも一緒だったよね

🔄Loop Engineeringとはなにか？ もう「AIにプロンプトを打つ」作業は終わりにしませんか？これからは、エージェントを自律的に回す仕組みそのものを設計する時代です。AIコーディングのパラダイムシフトの正体に迫ります。 💡 1. プロンプトからシステム設計への転換 従来のAIコーディング（AI-assisted Coding）は、人間がループの「中心」にいました。 👨‍💻 これまでのアプローチ: 人間がコンテキストを考え、プロンプトを打ち、AIの出力を読み、手元でテストを実行し、エラーが出たら再度プロンプトを打つ。AIは「高機能な関数」や「道具」であり、制御の主体は常に人間です。 🔄 ループエンジニアリング: 人間はループの「外側」に出て、システム全体のデザイナー（作者）になります。仕事の検知、AIへのコンテキスト注入、出力の自動テスト、進捗の記録、次のステップの判断という一連のライフサイクルを小さなプログラムに実行させます。 ここで重要なのは、AIモデルがシステムにおける「サブルーチン（部品）」へと降格し、代わりに環境（テストスイートやリポジトリの状態）からのフィードバックをループ処理する構造へ進化したという点です。 ⚙️ 2. ループを駆動する5つのコアコンポーネント＋1つの記憶 抽象的な概念を動くシステムに落とし込むため、ループは以下のコンポーネントに分解されて設計されます。 ① ⚡ 自動化（Automations） ループの心臓部であり、発火トリガーと停止条件を定義します。 ツール（Claude CodeやCodexなど）では、単に定期実行する /loop だけでなく、明確な終了条件（例：「すべてのテストがパスするまで」）を満たすまでAIを回し続ける /goal コマンドなどがこれに該当します。条件が達成されるか、ハードストップ（予算や上限回数）に達するまで回り続けます。 ② 🌳 ワークツリー（Worktrees） 複数のAIエージェントが並列で動く場合、同じディレクトリで作業するとファイルの衝突（コンフリクト）が発生します。これを防ぐため、Gitの worktree 機能を使い、エージェントごとに独立した作業ディレクトリとブランチを隔離して自動生成します。機械的な衝突を回避し、並列性を担保する基盤です。 ③ 🧠 スキル（Skills） リポジトリのルールやコンテキストをカプセル化したものです。 通常、AIは実行ごとに前回の文脈を忘れますが、SKILL.md のようなファイルに「このプロジェクトのビルド手順」「命名規則」「過去の障害から得た注意点」を明文化しておくことで、AIは毎実行時にそれを読み込み、プロジェクト固有のシニアエンジニアのような振る舞いを固定化できます。 ④ 🔌 プラグイン／コネクタ（Connectors） filesystem（ローカルファイル）しか見えないAIを、本物の開発環境につなぐ架け橋です。 Model Context Protocol（MCP）などをベースに、GitHub（PR作成やIssue取得）、Linear/Jira（チケット更新）、Slack（人間への通知）、Sentry（エラーログの取得）と接続します。これにより、AIが「修正案を出す」だけでなく「Issueを読んで、コードを直し、PRを送り、Slackに報告する」というエンドツーエンドの行動が可能になります。 ⑤ 🤖 サブエージェント（Sub-agents） 役割を分担された独立したAIインスタンスです。「コードを書く役割（Maker）」と「コードを検証・レビューする役割（Checker）」を完全に分離します。 ➕ 💾 記憶：状態ファイル（State File） 地味ですが、ループの成否を分ける最も重要な要素です。STATE.md やJSONファイル、あるいは外部のチケット管理システムに「現在どのブランチが進行中で、何が完了し、次に何をすべきか」を永続化します。「エージェントは忘れるが、リポジトリは忘れない」という原則に従い、昨日の続きを今日のループが再開できるようにします。 🕰️ 3. なぜ「ただのcron（定期実行）」ではないのか？ 懐疑派から「1975年に発明されたcronジョブのリブランド（名前の付け替え）に過ぎないのではないか」という指摘があります。これは半分正解で、半分は間違いです。 スケジュールやトリガーのレイヤーは確かにcronそのものです。しかし、従来のcronは「固定されたスクリプトを機械的に実行するだけ」でした。 ループエンジニアリングが異なるのは、ループの真ん中に「状況を動的に判断する意思決定者（LLM）」がいる点です。 テストが落ちたとき、どのファイルをどう修正すべきか、コンテキストをどう組み立て直すかという分岐は、ハードコードされた if/else ではなく、AIの推論によって動的に決定されます。工学的な面白さは、この「崖から落ちるかもしれない不確実な意思決定者」の周りを、いかに硬牢な自動テストやガードレールで固めるかというシステムデザインにあります。 ⚠️ 4. コストと運用リスクの現実 熱狂的な議論で無視されがちなのが、経済性とセキュリティの現実です。 💸 膨大なトークン消費（コスト） コード生成自体は安価になりましたが、ループを回すと「コンテキストの再読み込み」「リトライの繰り返し」「探索パターンの実行」により、トークン消費量が爆発的に増加します。 実際に、米Uberではエンジニア1人あたり月1,500ドルの上限を設けたにもかかわらず、年間のAI予算をわずか4ヶ月で使い切った事例があります。「最大反復回数」「金額上限」「進捗ゼロ検知による強制終了」の3つのガードレール（ハードストップ）の設計が不可欠です。 🛡️ 攻撃面の拡大（セキュリティ） 無人で動くループは、無人で動く攻撃面（アタックサフェース）になります。AIコーディングツールに起因するCVE（脆弱性）が多数確認されており、コマンドインジェクションやSSRF、XSSのリスクがあります。また、外部から取り込んだ「スキル」の説明文がプロンプトインジェクションの経路になり、デバッグログ経由で認証情報（資格情報）が漏洩するケースも監査で報告されています。 🧩 理解の負債（Comprehension Debt） AIが高速でコードを書き、テストが通ってマージされ続けると、リポジトリ内のコードベースと「人間の理解度」の距離がどんどん離れていきます。これを「理解の負債」と呼びます。最も高くつくのはトークンの請求書ではなく、「チームの誰も読んだことがなく、構造を理解していないシステム」をある日突然人間がデバッグしなければならなくなるコストです。 🛠️ 5. 実践：4条件テストと最小実用ループ（MVL）の構築 ループエンジニアリングを実務に導入する際は、厳格な仕分けとステップが必要です。 📋 導入のための4条件テスト 1. タスクが繰り返されるか？（週1回未満なら、手動プロンプトや使い捨てスクリプトの方が早い） 2. 検証が完全に自動化されているか？（テスト、型チェック、Linter、ビルドが悪い出力を100%機械的に弾けるか。これがないと人間がレビューの椅子に縛り付けられる） 3. トークン予算が無駄を吸収できるか？（従量課金で予算に余裕がない場合は無謀） 4. エージェントが環境を操作する道具を持っているか？（ログ確認や再現環境など） 🚀 最小実用ループ（MVL）から始める手順 最初から複雑なマルチエージェントを組むとシステムは確実に崩壊します。以下の順番でボトムアップに構築します。 1. 手動実行の確実化: 1回の手動プロンプトと環境操作で、タスクが完全に完了することを確認する。 2. スキルの文書化: その際のコンテキストや制約を SKILL.md にまとめる。 3. ループのラップとゲート配置: AIが書いたものを自動テスト（ゲート）にかけ、失敗したらAIに戻すという1サイクルを組む。 4. スケジューリング: 最後にそれをcronやイベントトリガーで自動化する。 🎯 レバレッジの支点は「コードを書くこと」から「コードを書く仕組みを定義し、検証すること」へ移動しました。人間は、AIが自分の宿題を甘く採点しないよう、冷徹な「検証ゲート」を設計するエンジニアであり続ける必要があります。