ハーネスを自動最適化する手法は増えていますが、どのシナリオで学習するかは最初に固定されたまま。この「カリキュラム」自体を動かす発想が登場です。 タイトル: ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization URL: 📝 概要 エージェントハーネスの自動最適化において、学習に使うシナリオの選択自体を「自動カリキュラム学習問題」として定式化し、最適化の進行とともに動的に適応させる手法ActiveSaddlerを提案しています。 ❗ 解決する課題 固定されたシナリオ順では、未解決の弱点を早々に見捨てたり、すでに修復済みの課題へロールアウトを浪費したりしてしまいます。既知の弱点を再訪する価値と新たな失敗を探索する価値のバランスも最適化中に変化しますが、静的なスケジュールでは対応できません。 🛠️ 方法論・提案手法 カリキュラム選択を「動的にインスタンス化されるアームを持つ非定常バンディット」としてモデル化。個々のシナリオではなく「失敗パターン」をアームとし、LLMベースの優先順位付け器が深刻度・修正可能性・波及範囲・副作用リスクの4要因から学習ポテンシャルを毎イテレーション再計算。既知の弱点を活用するか未見のシナリオを探索するかを、残存する実行可能な弱点の有無に応じて適応的に判断します。 📊 実験結果 GAIA2でPass@1が59.8%（固定ランダム順比+4.4ポイント）、Terminal-Bench 2.0で80.0%（+7.5ポイント）を達成。コスト効率も優れ、GAIA2では298ドルで他手法が1,360ドルかけて届く精度に到達しました。 #エージェント最適化# #カリキュラム学習#

⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減（性能は93.7%維持） 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#

マルチエージェントで、サブエージェントに毎回ファイル読み込みをやり直させていませんか？その無駄を解消する新機能がLangChainから登場しました。 タイトル: Organizing Context in a Multi-Agent Harness URL: 📝 概要 deepagentsフレームワークに「フォークサブエージェント」という機能が追加されました。サブエージェント起動時に、スーパーバイザーの会話履歴を引き継ぐか、まっさらな文脈から始めるかを選べます。 ❗ 解決する課題 サブエージェントを完全に独立させると、スーパーバイザーが既に済ませた調査や文脈収集をもう一度やり直す必要があり、トークンとレイテンシの無駄が発生していました。 ⚙️ 方法論 「Isolated Mode（隔離）」と「Fork Mode（継承）」の2種類を用意。フォークモードではスーパーバイザーの状態全体を引き継ぎつつ、プロンプトキャッシュでコスト効率を保ちます。 🔧 ユースケース ・ワーカーエージェント：修正作業の続きを任せる時はfork ・レビュアーエージェント：客観的な評価をさせたい時はisolated ・リサーチャーエージェントやメモリエージェントでも役割に応じて使い分け可能 📊 実験結果 具体的な数値ベンチマークはありませんが、重複した文脈収集やツール呼び出しを削減できると述べられています。 サブエージェントの役割設計における新しい重要な選択肢だと感じました。 #マルチエージェント# #LangChain#

🤖 AIエージェントは、自分自身が動くための「実行基盤」を自分で作って改善できるのでしょうか。 タイトル: HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? URL: ❓ そもそも「ハーネス」とは何ですか 💡 実行ループ・ツール利用・コンテキスト管理・失敗からの復旧・検証など、エージェントを動かす実行基盤のことです。これまでの評価はハーネスを固定してモデル性能だけを測ってきましたが、実際はハーネスの設計品質も実力を大きく左右します。 ❓ LLMは最小限の材料からハーネスを作れますか 💡 わざと弱いシードハーネスから構築させたところ、最高スコアのOpus 4.8でも67.8点にとどまり、人間が作った参照実装（86.2点）には及びませんでした。特にリサーチ・検索領域でのギャップが最も大きかったです。 ❓ 自分でハーネスを改善（進化）させることはできますか 💡 5つのモデルすべてが可視フィードバック上では改善しましたが、隠されたタスクでの改善幅は大幅に縮小。バージョン切り替えの64回中、ノイズを超える明確な改善は2回だけでした。 ❓ 別の実行者モデルに載せ替えても性能は保たれますか 💡 保たれないケースが目立ちました。Opusが作ったハーネスは実行者をGeminiに固定した途端、SWE-Proスコアが69.3から33.0に急落。ハーネスは特定モデルの前提を埋め込んでしまうため、移植性には注意が必要です。 #AIエージェント# #LLM#