登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
参加 January 2018
388 フォロー中    2.8K ファン
AIエージェントに過去の経験から作った教訓を渡すなら、その教訓が生まれた作業記録も一緒に持たせた方がいい、と示した研究( 外部メモリ(過去の作業記録を短い教訓にまとめて次のタスクで読ませる仕組み。再学習なしで経験を活かせる)には、メモリなしなら解けるタスクを落とすという副作用がある。メモリなしで3回とも解けたのにメモリありで失敗したケースを調べると、52%は従った教訓が原因で、最多は教訓自体の誤り(20%)だった。作業記録には成否のラベルしかなく、どの行動が効いたかは推測で教訓にするしかない。 WikiTraceは記憶を3層で持つ。短い教訓の「insight」、その実行がなぜ成功・失敗したかの要約「compilation」、元の作業記録そのもの。これらをリンクでつなぎ、読み取り専用のファイルとして置く。エージェントは全insightを読んでから動き、教訓が細部を欠く、別の教訓と食い違う、失敗した実行から来ている、行動が失敗した、というときだけ元記録まで降りて確かめる。 5つのベンチマーク(家事、理科実験、Minecraft風のクラフト、アプリ操作、顧客対応)の8スイート(評価用の課題セット)で、平均スコアはメモリなしの79.5に対し90.2。同じinsightだけを渡す「Insights Only」の87.0も3.2ポイント上回った。メモリなしで解けたタスクを落とす割合(Regression)も、Insights Onlyの6.5%に対し4.5%に抑えた。 降りる頻度は難しさに応じて変わり、文字のコマンドで操作する仮想環境の3ベンチマークでは簡単なタスクで22%、難しいタスクで44%の実行が元記録を開いた。1タスクあたりのコストはInsights Onlyの1.17倍。モデルはdeepseek-v4-flashで、GLM-5.3-flashでも評価した3スイートすべてで首位だった。 ただし、元記録を見られても教訓の正しさが検証されるわけではない。全insightを最初に読ませるため、記憶が増えるとプロンプトも膨らむ。失敗原因の分類はLLMによる判定で、記憶の元になった学習タスクも各ベンチマーク38〜54件と小さい。 大きなモデルや並列のエージェントを足すのではなく、必要なときだけ一段深く根拠を確かめる。個人のエージェント運用にも取り入れやすい設計だと思う。
もっと見る