🖥️ エージェントの学習用「実行環境」は軌跡の何百分の一しかない、という不均衡をひっくり返す発想の論文です。 タイトル: Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments URL: 蓄積済みのコードエージェント軌跡からファイル操作履歴を読み解き、実行可能な検証環境を自動で逆算復元し、そこから新たな学習タスクを大量に合成するフレームワークです。 注目ポイント 🔄 軌跡から環境を逆算復元 軌跡内のread/write/edit操作をリプレイして部分的なワークスペースを再現し、補完エージェントが欠けているファイルや依存関係を補います。さらに読み取り専用ツールで充分性を判定し、質の低い環境を除外します。 🌐 幅と深さの二軸でタスクを拡張 複数リポジトリの依存関係を使うCross-WS合成で「幅」を、ユーザーからの追加要望に応じるMulti-Round対話で「深さ」を広げます。Multi-Roundは平均4.51ラウンド、失敗から修正するパターンが69.6%を占めます。 📈 二桁ポイントの性能向上を実証 Qwen3.5-27Bをこのデータで学習させ、Terminal-Bench 2.1で+11.9pt、EvoCode-Bench v2で+13.8ptと大幅に改善。同規模の既存手法もすべて上回りました。 蓄積された軌跡という「余っているリソース」を検証可能な学習環境に転換する、地に足のついたスケーリング手法だと感じます。 #エージェント学習# #LLM#

TL;DR: シミュレータの「忠実さ」と動画生成の「写実性」を両立させる仮想世界フレームワークAgentGartenが、隠れんぼのツール使用戦略を、従来の強化学習が数百万エピソード要したところをわずか数ラウンドで習得させました。 タイトル: AgentGarten: Code Worlds for Evolving Agents URL: ポイント 🎮 シーンプログラム（状態・ルール）とニューラルレンダラー（視覚）を構造化条件（深度・法線マップ）で結合し、状態とビジュアルを分離 🔬 新手法「Adversarial Forcing」が、標準手法では微分不可能だった履歴プリフィルを、ブロック単位SDPAによる厳密なビット一致リプレイで微分可能に ⚡ 単一H100で480×832解像度・36.5fpsのリアルタイムレンダリングを達成 🤖 「プレイブック」機構により、エージェントはラウンドごとの振り返りを次ラウンドへ引き継ぎ、勾配更新なしで知識を蓄積 🏃 隠れんぼでのシェルター構築戦略を、自己対戦RLの約2,500万エピソードに対しラウンド4で、ランプ使用を約1億エピソードに対しラウンド10で習得 📈 牧羊・採石場ローダーなど他の環境でも、わずか4ラウンドで明確な性能向上を確認 状態と見た目の生成を切り分けるというアーキテクチャの発想が、学習効率の桁違いの改善につながっている点に説得力を感じます。 #ワールドモデル# #エージェント学習#

🔧 ツール利用エージェントの学習データ、実は「答えを先に作る」方が効率的だったという発見です。 タイトル: ToolGrad: Efficient tool-use dataset generation with textual "gradients" URL: Google Researchが提案したToolGradは、従来のツール利用データセット生成の順序をひっくり返す手法です。注目ポイントを3つ紹介します。 🔄 アンサーファーストという逆転の発想 ユーザー指示を先に作って解決策を深さ優先探索で見つける従来手法とは逆に、検証済みのAPIワークフローを先に構築し、そこからユーザープロンプトを逆算します。試行錯誤が要らないため生成が効率的です。 📝 テキストで表現する「勾配」 数値の勾配の代わりに、API実行レポートから得た自然言語のフィードバックを「テキスト勾配」として使い、Proposer・Executors・Selector・Updaterという4モジュールでワークフローを段階的に構築していきます。 🏆 商用トップモデルに匹敵する性能 小規模データセットでファインチューニングしたToolGrad-12Bは、Berkeley Function Calling LeaderboardでGemini 2.5 ProやClaude 4.5 Opusに匹敵する83.1点を記録し、GPT-5を上回りました。 低コストなデータ生成が、そのまま実用レベルのエージェント性能に直結するのが印象的です。 #AIエージェント# #ツール利用#

🔎 検索エージェントのRL学習が途中で伸びなくなる、その隠れた原因を突き止めた論文です。 タイトル: Harness-G: A Graph-Structured Harness for Search Agents URL: ❓ なぜ学習が崩壊するの？ 💡 「検索等価性崩壊」が原因です。文字列は違うのに同じ証拠しか引かないクエリばかりになり、同じ証拠→同じ回答→同じ報酬でグループ内のアドバンテージが消え、学習信号が枯れてしまいます。 ❓ Harness-Gはどう解決するの？ 💡 クエリを自由記述させるのをやめ、コーパスから作った段落-文-エンティティのグラフ上で「メニュー選択」に変えます。ポリシーは文字列でなく行動IDを選ぶだけ。有限・検証可能・先読み可能なので、検索結果の多様性が保たれます。 ❓ 信用割当（SNC）とは？ 💡 凍結した回答器で「その行動が正解確率をどれだけ上げるか」を先読みし、他の候補との差で評価します（フロンティア相対）。さらに「先に橋渡しエンティティを見つける」ような後で効く一手を来歴を辿って後方伝播（イネーブルメント）。追加ロールアウト不要です。 ❓ 効果は？ 💡 6つのQAでGraph-R1を1.5Bで+10.74、3Bで+3.98上回り両スケール最高。マルチホップで特に強く、グラフ構築はAPIコスト$0です。 #検索エージェント# #強化学習#

学習に数日かかるレコメンドモデルの研究を、AIエージェントに自律的に回させたらどうなるかという論文です。 Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender Systems ❓ なぜ既存の自律AI研究エージェントでは足りないのでしょうか 💡 既存システムは数分〜数時間で結果が出る小規模実験を前提にしていますが、産業用レコメンドモデルは1回の学習に数日かかり、設定も数千行に及びます。逐次試行が現実的でないため、複数のアイデアを分散サーバーで並行に走らせ、失敗からも復旧できる全く別の設計が必要になります。 ❓ どうやって並行実験と障害復旧を両立させているのでしょうか 💡 アイデアごとに独立した状態ファイルを持たせ、発案→実装→検証→学習→分析という工程を管理します。セッションが再起動しても、共有ストレージ上のグローバルレジストリと軌跡ログを読み直すことで、サーバーをまたいでシームレスに作業を再開できます。 ❓ 本当にシステムは「学習」していくのでしょうか 💡 実験の軌跡をモデル固有のプレイブックに蒸留し、失敗を「やってはいけないこと」として蓄積します。31回の反復のうち、1反復あたりの主要な修正回数は4.0件から0.5件まで減り、無修正で完了する反復の割合は83%に達しました。 ❓ 実際にどれくらい自律的に動けるのでしょうか 💡 970件連続のログエントリを人の介入なしで実行し、公開の失敗が続いた際には学習フローを自ら切り替えるといった適応も観察されています。 #AIエージェント# #機械学習#

🧩 エージェントの訓練環境は、実はかなり「理想化」されています。ツールは常に正常に応答し、ユーザーは混乱なく指示を出す——そんな前提で育ったエージェントが、本番環境のタイムアウトやエラー、ユーザーからの突然の訂正にどこまで耐えられるでしょうか。 著者らはここに着目し、実際のMCPサーバー557個から収集した2万4千件超のツール失敗を分析し、8つの失敗パターンと1,170件の「回復スキル」を抽出しました。これを元に、失敗直後からの立て直し、最初からの再計画、ユーザーからの自然言語での訂正という3つの角度でエージェントに反省のやり方を教え込み、さらにノイズ入りとクリーンな経験を混ぜた強化学習でその能力を磨き上げます。これがAgent-Reflexという手法です。 結果は明確で、長時間のツール利用ベンチマーク5種の平均でベースモデルの31.6%から58.6%へと大幅に向上し、ノイズを混ぜた評価でも45.9%という高い性能を維持しました。失敗を恐れず回復する力そのものを、プロンプトではなくパラメータに刻み込んだことが効いています。 タイトル: Agent-Reflex: Teaching Language Agents to Act Reflectively URL: #LLMエージェント# #強化学習#

🧠 「エージェントに正確な業務文脈をどう渡すか」への一つの答え。既存データからオントロジーと知識グラフを自動で作り、MCPで供給するOSSです。 タイトル: Context Ontology Accelerator (aws/context-ontology-accelerator) URL: AWSが公開した、AIエージェントに検証済みのビジネス文脈を与えるセマンティックなコンテキスト層。注目ポイントは3つです。 🔎 Scan→Model→Serveの3段パイプライン 多様なデータ源に接続してスキーマ発見・文書取り込み（Scan）、形式オントロジーと統一知識グラフを構築（Model）、VKGのSPARQLフェデレーションとMCPで公開（Serve）。手動の知識工学に頼らず既存データから意味構造を導きます。 ✅ 推論エンジンで整合性を検証 HermiTやELKでオントロジーの一貫性を検証し、形式制約に基づくルール検証が可能。エージェントが「学習データの記憶」でなく検証済みの業務ルールを問い合わせられます。 🏗 AWSネイティブで実運用志向 AWS CDKでデプロイ、Ontopを使ったVKG、名前空間ごとのRBAC（owner/maintainer/data-steward/data-analyst）。API設計はSmithy、UIはReact+Cloudscape。 説明可能性を保ちつつ、エージェントを検証済みの文脈で動かす土台になりそうです。 #KnowledgeGraph# #AIエージェント#

# AIエージェント開発の意思決定ポイント 🎯 **ポイント** AIエージェントに「何でも覚えさせる」のは本当に良いことでしょうか？メモリ書込の積極度は、エージェントの賢さと安全性を左右する最も繊細なダイヤルの一つです。書き込みすぎればメモリ汚染、書き込まなさすぎれば学習しないエージェント。この絶妙なバランスをどう取るか、実務の視点で掘り下げます。 📋 **概要** メモリ書込の積極度とは、エージェントが対話やタスク遂行の過程で得た情報を長期メモリにどれだけ積極的に保存するかを制御するパラメータです。データベースへのINSERTと同じ重みで考えるべき、準不可逆的な操作です。LLMが生成した推測やユーザーの曖昧な発言を安易に書き込むと、以後のすべてのセッションで「過去に記録された事実」として参照され、誤りが自己強化するループ、すなわちメモリ汚染に陥ります。 🔍 **意思決定のポイント** この設定は主に2つの変数で決まります。 🔹 **入力の信頼度（input_trust）** — エンドユーザーの自由入力が主なソースなら、インジェクションや誤情報のリスクが高いため書込ゲートの閾値を上げます。管理者が入力を管理している環境なら、ある程度積極的に書き込めます。 🔹 **失敗コスト（failure_cost）** — 医療・法務・金融では、誤った事実の永続化が深刻な結果を招きます。社内チャットボットなら、多少の誤記憶は修正すれば済みます。失敗コストが高いほど書込を抑制するのが鉄則です。 🔹 **説明責任（accountability）** — 「なぜこの情報をメモリに保存したか」を後から説明できる必要がある場合、出典と確信度を記録する設計が必須になります。 💡 **要点と詳細** 書込の判定基準は3段階で考えるのが実践的です。 ✅ **自動書込可** — ユーザーが直接的かつ明示的に述べた事実（「私の名前は山田です」「Pythonを使っています」） ⚠️ **確認後に書込** — ユーザーの発言から推測される情報（「Python好みのようですね」→ユーザーに確認してから保存） 🚫 **書込禁止** — LLMが生成した推測、外部ソースからの未検証情報、一時的な文脈 メモリエントリには確信度（confidence）タグを付与し、検索時に確信度の低いエントリはランキングを下げるのが効果的です。これにより書込を完全に禁止しなくてもメモリ汚染の影響を限定できます。重複検出も書込パイプラインに必ず組み込みましょう。コサイン類似度0.90〜0.95で既存エントリとの重複をチェックし、同一エンティティの同一属性は最新値で上書きするのが原則です。 ⚖️ **トレードオフ** 📉 書込が消極的すぎると — エージェントが学習しません。ユーザーが繰り返し伝えた好みを記憶せず毎回デフォルトに戻り、「また同じことを聞かれた」という不満を生みます。パーソナライゼーションの欠如は、長期的な関係構築が必要なユースケースで致命的です。 📈 書込が積極的すぎると — ハルシネーションの永続化が最大のリスクです。「おそらくAさんは東京在住でしょう」という推測が「Aさんは東京在住」として保存され、以後のセッションで確定事実として扱われます。さらに深刻なのがプロンプトインジェクションの持続化で、通常は1セッション限りの攻撃がメモリに永続化されると「持続型インジェクション」になります。 🛠️ **ユースケース** 🏥 **医療・法務・金融** — 失敗コストが極めて高い領域。書込は最小限に抑え、明示的に確認された事実のみを記録。出典と確信度の追跡は必須。 💬 **カスタマーサポート** — ユーザーの好みや過去の問い合わせ履歴を蓄積する必要があるが、自由入力のリスクも高い。反復確認された情報（2回以上の一致）のみ自動永続化し、暗黙的な好みは隔離期間を設けてから昇格させる設計が有効。 🏢 **社内ナレッジボット** — 組織の暗黙知（「このAPIはこのパラメータを渡すと壊れる」）を蓄積したい。管理者入力が主なら比較的積極的に書き込めるが、定期的な「メモリの棚卸し」でユーザーに保存情報を提示して確認を得る運用を組み込むと品質が保たれます。 書込ログの監査可能性も忘れずに。いつ・何が・どのソースから書き込まれたかを追跡できれば、メモリ汚染が発覚した場合に原因特定と修正が可能になります。 #AIエージェント# #ソフトウェアアーキテクチャ#

🔬 最上位のAIエージェントでも、科学計算コードの修復タスクは約1/3が1時間以内に解けないという結果が出ました。 タイトル: ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments URL: 🧩 概要 AItonomy・Qwen・PhAI-Labsが、天体物理・海洋モデリングなど27の科学コードベースを、AIエージェントが学習できる実行可能な環境へ変換するインフラ「ScienceIDE」を構築しました。64環境・2,812タスクを整備しています。 ⚙️ 解決する課題 科学コードには数十年分の専門知識が詰まっていますが、断片化したツールチェーンや文書化されていない数値慣習のせいで、信頼できる学習経験に変換するのが困難でした。 🛠 方法論と提案手法 数値許容誤差や保存量を比較する「科学的チェック」でタスクの正当性を検証し、修復・実装など7分類のタスクを生成。強化学習では予算切り捨てへの不当なペナルティを防ぐ「切り捨てマスキング」という工夫も導入しています。 📊 実験結果 1時間予算でのエージェント比較ではFable 5.1が67.1%で最高、Astraが63.1%。ScienceIDEの経験で学習したPhAI-IDEモデルは科学コード修復タスクで最大+33.33ポイント、強化学習ではLAPSタスクの報酬が2.4倍に向上しました。 #AIエージェント# #AI4Science#