Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
エージェントのツールや実行手順を改良しても、モデルが新しい使い方を学んでいなければ失敗するという問題に対し、CoEvo-RSIはモデルと実行手順を組で改善する研究（
ここでいうHarnessは、プロンプト、ツール、状態管理、制御の流れを含む実行環境。手順だけ高度にしても、モデルが存在しないツールを呼ぶ、引数や出力形式を間違える、といった不整合が起きる。
CoEvo-RSIは、過去のHarness、モデルのチェックポイント、実行結果を一緒に保存する。現在の失敗を見て過去の設計を選び直し、モデルも履歴から選択・統合。その組み合わせで成功した実行記録を選び、教師あり追加学習へ使う。
対象はQwen3.5-9B。複数エージェントの失敗原因の特定、権限を守るSQL生成、スマートホームの操作で評価した。TraceElephantでは、失敗の責任を持つエージェントを当てる正解率が70.78%で、比較したDeepSeek-V4-Pro-0813の56.62%を上回った。
ただし、どの課題でも大きなモデルに勝ったわけではない。また、ツールや形式の違反が少ないことと、課題そのものに正解できることも別。論文でも、形式の不整合がほぼなくても成功率が伸びない条件があった。
同じ専門領域の未使用データでの強さを、無関係な仕事への汎化と混同しない点も大事だと思う。モデルと実行環境を別々に最新版へ替えるより、どの組み合わせが何に成功したかを残す価値が見えてくる。
Show more
