TL;DR: エージェントが失敗するのはモデルの賢さ不足ではなく「実行を取り巻く仕組み」の欠陥。重みを触らず実行環境だけを鍛える「ハーネススケーリング」で、Terminal-Bench 2.1に95.3%・約$15で到達しました。 タイトル: StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling URL: ポイント 🧠 モデルではなくハーネスを拡張。再訓練なしで失敗から学習させる新パラダイム 📌 永続状態でエピソードをまたいで発見を保持 🎯 フェーズ局所の文脈で意思決定点に関連情報だけを提示 ✅ 検査付き遷移で事前条件を検証し連鎖失敗を防止 📖 回復可能ランブックで失敗を照会可能な知識として再利用 🕒 バージョン管理された手順で戦略を更新・ロールバック 💰 GPT-5.6が95.3%(445試行/全89タスク成功)、$574.68の実行を約$15に圧縮 失敗を毎回「実行可能な事前条件」に変え、信頼性を運用基盤から底上げする一本です。 #AIAgents# #TerminalBench#

ターミナルエージェントの訓練データ、実は「指示・環境・解答・検証器」がバラバラで解けないタスクが量産されがち——その根本を絶つ合成フレームワークが登場しました。 タイトル: FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis URL: 📌 概要 関連スキルを情報豊かなシナリオへ再構成し、環境を先に構築してその実行状態を共有の土台に。指示・解答・検証器を同じ状態に接地して生成します。 🧩 解決する課題 ・多段生成で元素材の依存や中間状態が失われる ・指示/環境/解答/検証器が食い違い、解けない・評価できないタスクになる ⚙️ 提案手法 ・7万件超のスキルを収集し5次元シナリオへ再構成 ・Dockerで環境をビルドし実状態を共有チャネルに ・指示→解答→検証器を順次生成し、失敗箇所だけをルーターが特定して修復 📊 実験結果 ・平均22.77テスト/タスクの検証済み6,078件を合成 ・Qwen3.5を微調整し4B +40.5%、9B +30.1%、27B +16.5% ・27B(47.57)が約15倍大の397B(49.06)に肉薄 ・エンドツーエンド歩留まり70%で競合の15〜28%を圧倒 質の高い実行可能タスクは、量産ではなく丁寧な状態接地から生まれる、と示す一本です。 #LLMAgents# #TerminalBench#

🖥️ エージェントの学習用「実行環境」は軌跡の何百分の一しかない、という不均衡をひっくり返す発想の論文です。 タイトル: Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments URL: 蓄積済みのコードエージェント軌跡からファイル操作履歴を読み解き、実行可能な検証環境を自動で逆算復元し、そこから新たな学習タスクを大量に合成するフレームワークです。 注目ポイント 🔄 軌跡から環境を逆算復元 軌跡内のread/write/edit操作をリプレイして部分的なワークスペースを再現し、補完エージェントが欠けているファイルや依存関係を補います。さらに読み取り専用ツールで充分性を判定し、質の低い環境を除外します。 🌐 幅と深さの二軸でタスクを拡張 複数リポジトリの依存関係を使うCross-WS合成で「幅」を、ユーザーからの追加要望に応じるMulti-Round対話で「深さ」を広げます。Multi-Roundは平均4.51ラウンド、失敗から修正するパターンが69.6%を占めます。 📈 二桁ポイントの性能向上を実証 Qwen3.5-27Bをこのデータで学習させ、Terminal-Bench 2.1で+11.9pt、EvoCode-Bench v2で+13.8ptと大幅に改善。同規模の既存手法もすべて上回りました。 蓄積された軌跡という「余っているリソース」を検証可能な学習環境に転換する、地に足のついたスケーリング手法だと感じます。 #エージェント学習# #LLM#

🖥 たった9Bのオープンモデルが、ターミナル操作ベンチでClaude Haiku 4.5に迫る。しかもデータもモデルもコードも全公開です。 タイトル：Tmax: A simple recipe for terminal agents URL： ターミナルエージェントのRL学習に、シンプルで再現可能なレシピを与えたAi2/UWの研究です。注目ポイントを3つに絞って紹介します。 🧩 構成的なデータ生成パイプライン ドメイン・スキル・検証器・ペルソナ・難易度など9つの軸の組み合わせでタスクを大量合成し、Gemini-3-ProがDockerfileとユニットテストまで生成します。高コストな品質検証は省き、RL側でpass率0を弾くだけ。結果として従来比2.5倍超・14,600環境のTmax-15Kを安価に構築し、汚染ゼロかつ最も難しいデータになりました。 ⚙️ シンプルなoutcome-only RLレシピ 報酬は「タスク達成したか」だけ。素朴なGRPOは長期エージェントで崩壊するため、logprobの乖離をマスクするDPPO、FP32のLMヘッド、大きなグループサイズ（32）で安定化します。Qwen 3.5 9BをこのレシピでTerminal-Bench 2.0で27%まで引き上げました。 📈 強さと汎化、そして全公開 2B〜27Bの全サイズでQwenベースラインを改善。さらにSWE-Bench Verifiedが44→53.5、AIMEが73→91と非ターミナル評価でも向上し、ハーネスやモデルファミリを越えて汎化します。データ・モデル・コードはGitHubで完全公開。 オープンなターミナルエージェント研究の強力な土台になりそうです。 #ターミナルエージェント# #強化学習#

TL;DR 複数のハーネスで解けた成功体験を、単一の汎用ハーネスで再現できる学習データへ「書き直す」手法です。生データをそのまま学習させると性能が落ちる一方、書き直すとpass@3が57.0%から74.2%へ上がりました。 タイトル: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite URL: ポイント 🧩 ハーネスが違えば解けるタスクも違い、3種類の和集合は最強単体より34.3%多くのタスクを解きました 📝 成功軌跡から手順書を再構成し、新しいサンドボックスで汎用ハーネスのまま解き直させます 🔍 手順書が答えを漏らしていないかを批評役が検査し、却下なら理由付きで作り直させます 🧹 最後にモデル自身が「環境から導けない値」を検出して該当データを破棄します 📈 学習データは2,001本から11,094本へ拡大し、Terminal-Bench Hardは39.0%から63.0%に向上しました ⚠️ 生データ直接学習はTB2でむしろ悪化。同じ行動を延々ループする行き止まり挙動が混入していました 🎛 学習なしでもハーネスを替えるだけでTBHは33.0%から66.0%へ倍増します 自前のエージェントログを学習に回すなら、書き直しと漏洩監査を挟む価値があると感じる結果です。 #AIエージェント# #自己改善#

TL;DR: エージェントが自分を改善する際、毎回ベンチマークで評価し直すのは高コストです。過去の自己改善の記録だけを頼りに、報酬なしで改善を進める手法SelfSearchが、コストを半分以下に抑えつつ性能も向上させました。 タイトル: SelfSearch: Reward-Free Search for Self-Improving Agents URL: ポイント 🧠 エージェントが過去の自己修正試行の「エピソード記録」（推論の軌跡・ツール利用・成功/失敗）を読み取り、ダウンストリーム評価なしで自身を改善 🔀 「能力」重視と「適応」重視の2方向に並行してエージェントを進化させ、発見を共有しながら別々に深化 📊 Terminal-Bench 2.1でGPTが43.8%→55.1%、DeepSeekが65.2%→73.0%に向上 💰 探索コストは評価ガイド型ベースライン比49.0〜53.2%削減。DeepSeek V4 Flashではわずか4.03ドルの探索コストでTerminal-Bench 2.1の82.0%を達成し最高性能ベースラインに匹敵 ⚡ SWE-bench Multilingualでは成功率+5.0ポイントと同時に実行コストを38.5%削減 🔁 GPTで進化させたエージェントをDeepSeekへそのまま転用しても性能向上が確認され、モデル間の転移性も良好 評価コストという足かせを外して自己改善サイクルを回せるようにした設計は、実運用への応用価値が高いと感じます。 #AIエージェント# #自己改善#

TL;DR: Issueやコミット履歴を使わず「ソースコードそのもの」だけから、コーディングエージェント用のRL訓練タスクを5,545件も自動生成するパイプラインが登場しました。しかも量より質を優先した設計です。 タイトル: CodeMidas: Scaling Agentic Coding RL Environments from Code Itself URL: ポイント 🏗️ 3,185リポジトリ・23言語・15ドメインから5,545タスクを自動構築 🧪 リファレンス実装を実行して期待値を記録する「実行に基づくテスト」で検証器を自動生成 🛡️ リーク検査・解答一致確認・難易度フィルタの3段構えで環境の質を保証 📈 DeepSWEで+11.7pt、ProgramBenchで+17.0pt、Terminal-Benchで+8.5ptと大幅改善 🔍 フィルタ済み5kタスクがフィルタなし8kタスクを一貫して上回り「質が量に勝る」ことを実証 🧠 訓練後は探索・自己検証の頻度が増加し、外部ベンチマークにもその挙動が転移 開発履歴がなくても、コードさえあればRL訓練環境を作れるという発想がシンプルで実用的だと感じました。 #CodingAgent# #強化学習#

⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減（性能は93.7%維持） 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#

TL;DR 実際の顧客対応エンジニアが経験する「曖昧な要求」「隠れた制約」「的外れな依頼」を再現したベンチマークFDE-Gymが登場しました。最強モデルでも95タスク中15%しか解決できず、弱いモデルは何もしないより悪い結果を出すことが分かりました。 タイトル: FDE-Gym: The Last Mile of AI Delivery URL: ポイント 🎯 18業界・20シナリオ・95タスクを、要求の明確さを4段階(ルール提示済み〜的外れな依頼)に分けて評価します 📉 最高性能のClaude Opus 5.5でもスコアは0.56、「解決」とみなせるタスクは95件中14件(15%)のみです 🧩 最大のボトルネックは「隠れた制約の発見」。ルールを与えられれば0.82取れるのに、自分で探させると0.28も急落します ⚠️ 弱いモデル(Claude Haiku 4.5など)は95タスク中79件でベースライン(何もしない)より悪い結果になりました 💸 顧客への質問には「接触コスト」がかかる設計で、質問しすぎるエージェントはスコアを0.14〜0.22失います 📊 他のベンチマーク(Terminal-Bench等)で88〜90%の成功率を出すモデルでも、FDE-Gymでは0.19〜0.56に沈みます コストや会話量と最終スコアに相関がないという結果は、「頑張って動く」ことと「顧客の数字を実際に改善する」ことの間に大きな断絶があることを物語っていると思います。 #AIエージェント# #ベンチマーク#