AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ） ・AIコーディングツールは生産性を劇的に向上させる ・しかし、それに伴ってコストも指数関数的に増大している ・放置すれば、AIによる恩恵がコストで相殺される ・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく ・具体的な対策の筆頭は、より安価で効率的なモデルへの移行 ・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する ・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効 ・予算管理において、利用上限でアクセスを完全に遮断するのは悪手 ・これは、最も生産性の高い開発者の足を引っ張ってしまうため ・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい ・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に ・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる （で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）

AIコーディングの物理表現比較 Fable 5が最も高いクオリティのアウトプットを出力するが、Opus 4.8の約5.6倍のコストがかかる。 過剰品質にならないようにタスクによって、LLMを選ぶ技術も人数が増えてくると重要なことなのかもしれない。 via：@atomic_chat_hq

【AIエンジニアリング実践｜カリキュラム刷新＆受講生募集開始】 AIコーディングを前提とした開発を出発点に、要件定義からデータ・ログ設計、プロトタイプ構築、デプロイ、評価、改善、エージェント化までを扱う「AIエンジニアリング実践」。全7回だったカリキュラムを一から再設計し、全13回へと刷新しました。 全回演習・ハンズオン形式で、1つのAIアプリケーションをRAGによるプロトタイプ構築からクラウドへのデプロイ、LLM-as-a-Judgeによる評価設計、MLOpsによる継続的改善まで一気通貫で実装します。 ▼今期の新規拡充テーマ ・評価の深掘り（評価指標・LLM-as-a-Judge・回帰テスト） ・レイテンシとコストの最適化 ・セキュリティとプライバシー（ガバナンス・リスク・コンプライアンス） ・AIエージェントとワークフロー設計 ▼講座情報 ・全13回｜毎週月曜 19:00〜20:45（第11回のみ火曜） ・完全オンライン（Zoom）・受講料無料 ・対象：学生（大学院生〜中学生）※学位取得可能な学校法人に在籍中、または入学予定であることの証明が必要 ・開講：10/19(月) ▼スケジュール ・ID登録締切：10/3(土) 10:00 ・申込締切：10/5(月) 10:00 ・選考結果：10/13(火)19:00までに全応募者へご連絡 ▼お申し込み

TL;DR AIコーディングエージェントに「計画→開発→QA検査」のループを重ねさせるだけで、複数日にわたる自律ソフトウェア開発の性能が平均52%も向上するそうです。 タイトル: Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement URL: ポイント 🔁 既存のCodex CLIやOpenCodeなどのハーネスは改造せず、その上に反復改善レイヤーを被せる設計です 🧭 計画者・開発者・QA検査官の3ロールに分離し、証拠（エビデンス）を次のループに引き継ぎます 📊 GameCraft-Benchでスコア49.58→71.52など、3ベンチマーク×3モデル構成すべてで改善しました 💰 同じパス数ならVanillaの繰り返しより常に上回り、トークン効率も良いことを確認しています 🎮 70イテレーションのFPSゲーム自律開発ケースでは、複数日かけて実プレイ可能な作品を完成させています 🧩 計画更新・エビデンスフィードバック・Warm-startのどれを外しても性能が下がるアブレーション結果です 単純に長く動かすのではなく、検証済みの知識を積み上げながら賢く反復する設計思想が印象的でした。 #AIエージェント# #ソフトウェア開発#

🤔 「AIがコードを書けるようになったら、ソフトウェア設計なんてもう要らないのでは?」多くの人がそう感じ始めています。この記事は、その直感がまったく逆だと教えてくれます。 コーディングは、要件理解・設計・コーディング・検証・サポートという5つの活動のうちの1つに過ぎません。人間の開発者は、設計書が多少あいまいでもチームの暗黙知や経験で補えます。しかしAIコーディングエージェント（AI-SDE）にはそれができません。設計情報が明示的に存在しなければ、既存のコードを再利用すべき場面で気づかず重複コードを生成してしまい、成熟したシステムを修正するたびに複雑さが積み重なっていきます。 さらに興味深いのは、設計の「経済学」自体が変わるという指摘です。これまでのオブジェクト指向やクラス階層は「人間が書くコード量を減らす」ためのものでした。AIによる実装コストがほぼゼロに近づく時代には、複雑な再利用構造を組むより、AIに振る舞いをシンプルに説明できる設計の方が価値を持つようになります。問いは「どう書く量を減らすか」から「AIが実装する前提で、何が最良の設計か」へと変わっていくのです。 Software Design in the Age of AI: Why AI coding makes software design more important AIが速く安くコードを書けるようになるほど、それを支える設計の質こそが問われる時代になりそうです。 #ソフトウェア設計# #AIエージェント#

🔬 「AIは科学を“発見”できるのか？」を、本物のNature論文90本で厳しく測ったら、最強エージェントでもSOTA超えは2割弱でした。 タイトル: NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers? URL: 📋 概要 Nature系ジャーナル由来の90タスク（6ドメイン）で、AIコーディングエージェントが既発表SOTAを再現・超越できるかを検証。元手法を遮断する「情報ファイアウォール」と、タスクごとにコンテナ化する自動環境NatureGymで、統一条件・Web検索禁止の厳密評価を実現しています。 🎯 解決する課題 これまでのエージェント研究ベンチは環境がバラバラで信頼性に欠けていました。本研究は「再現」ではなく「自力発見」を強制し、横断比較できる土俵を整えます。 📐 方法論 SOTA正規化の相対ギャップで採点（g>0.1で超越、g≥0で同等以上）。81種の指標を横断比較し、4時間予算・GPU割当・10エージェントを3ハーネスで評価します。 📊 実験結果 ・最強のClaude Opus 4.7でもSOTA超えは17.8%、同等以上は47.8% ・成功の45.5%は「科学課題を教師あり予測に翻訳しただけ」。真のドメイン推論はわずか8.3% ・失敗の主因は手法選択ミス45.1%と計算資源不足24.4%で、タスク誤解はわずか3.1% ・学際課題ほど成績が落ちる傾向 現状のエージェントは「翻訳」は得意でも「発見」は苦手、という冷静な現在地が見えて示唆に富みます。 #AI4Science# #CodingAgents#

要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。 ・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い ・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴 ・実際の開発のように、コードを時間をかけて進化させる能力が問われる ・著者が最新の Opus 5 などをこのベンチマークで実際に検証した ・結果、Opus 5 のパス率は24%にとどまった ・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い ・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく ・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した ・生成コードの約半分をテストが占めている ・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない ・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難 ・人間によるステアリングがまだまだ必要そう

GLM-5.2 を内部ホスティングして、AIコーディングで使いたい放題にする企業が出てきそう。GPUめっちゃ必要だけど。 ・GLM-5.2は当初マイナーアップデートと思われていたが、実際にはユーザー体験を一変させるほど性能が向上している ・ベンチマークテストにおいて、Anthropic社やOpenAI社の最先端のクローズドモデルに匹敵、あるいは凌駕する結果を出している ・特にコーディング環境において、汎用エージェントとして実用的なレベルに達した初のオープンモデル ・米国の最新クローズドモデルと中国の最新オープンモデルの性能差は、およそ6ヶ月から9ヶ月程度 ・高性能なAIが無料で使えるようになるため、Anthropic社のような最先端モデルを販売する企業は強力な価格引き下げの圧力を受ける ・逆に、オープンモデルを利用したサービスやインフラを提供する企業にとっては、大きな成長のチャンス ・米国の主力AIが規制で足踏みしている間に、中国のオープンモデルが市場シェアや経済的基盤を奪う可能性がある ・高性能なAIが広く普及することは経済的には良いこと ・だけど、安全性や規制の観点からは重大な懸念事項となっている ・米国政府が安全のために自国企業のAIを制限している ・一方で、中国企業が同等のAIを世界中に無料公開しているという矛盾もある ・今後、米国政府が特定の中国製オープンモデルを危険とみなして規制に乗り出すシナリオも考えられる ・オープンモデルの危険性はもちろん指摘がある ・だが、少数の巨大企業だけが超高性能なAIを独占する世界の方がより大きな問題を引き起こすのでは

懐かしい記事が上がってきていたけど、これはAIコーディングでどう変わっていくだろう？ ・間違った抽象化はコードの重複よりもはるかに厄介 ・プログラマは、コードの重複を見つけると、それをまとめて新たな抽象化を作り出そうとする ・最初はコードの重複が排除され完璧で美しい状態になったように思える ・しかし時間が経過すると話が変わる ・新しい要件が出たときその抽象化が足かせになり始める ・プログラマは、既存の抽象化を維持しようとして引数を増やし条件分岐を追加してしまう ・新しい要件が来るたびに同じことが繰り返される ・で、コードは理解不能な状態に陥る ・複雑で難解になったコードほど費やす時間がも増える ・その結果、もったいないという心理が働き既存のコードに固執するサンクコストの誤謬が生じる ・この罠にはまると、既存のコードを無理やり拡張し続けることになる ・間違った抽象化に直面した場合の最も早い解決策は一度元の状態に戻ること ・具体的には、抽象化されたコードをすべての呼び出し元に展開してコードの重複を復活させる ・展開した後にそれぞれの場所で不要になった引数や条件分岐をすべて削除する ・これにより、各々の呼び出し元が本当に必要としていた固有の処理だけが残る