🧠 エージェントのメモリは、本当にRAGより「得」なのでしょうか？ タイトル: Memory Tax: Dissecting the Net Value of Agent Memory URL: ❓ 「メモリの純価値」とは？ 💡 素朴なRAGと比べて、メモリが新たに解けたクエリが「benefit」、RAGなら解けたのにメモリが落としたクエリが「tax」です。この差し引きを純価値として分解して測ります。 ❓ 結果はどうだったのでしょう？ 💡 10のメモリシステムを3つのベンチマークで比べると、tax が benefit を上回るものが多くありました。LongMemEval-sでRAGが90.0のとき、MemoryOSは80.0、MAGMAは76.0、OpenVikingは63.0でした。 ❓ なぜ tax が生まれるのですか？ 💡 理由は3つあります。 ・構築中に事実が落ちる（OpenVikingでは38.0%の事実に対応するメモリ単位がありません） ・構築後にクエリと証拠の類似度がずれ、取り出しにくくなる ・構築と回答でバックボーンを替えると、RAGより性能が大きく揺れる ❓ では、どう設計すればよいですか？ 💡 メモリだけに頼らず、生の履歴からも検索して一緒にリランクする設計が提案されています。過去のクエリと検索経路を再帰的にメモリ化する案もあります。 #AIエージェント# #RAG#

🧠 一度書いたメモが間違っていたとき、エージェントはそれをずっと信じ続けてしまう。そんな地味だけど深刻な問題に挑んだ研究を紹介します。 長期間動き続けるLLMエージェントは、過去の経験から「反思（教訓）」を書き残し、後から読み返して行動を決めます。ところが既存の仕組みは書き込みと読み込みが前方向にしか流れず、一度書いた教訓が環境の変化によって的外れになっても、誰も直してくれません。データベースのスキーマが変わったのに古い前提のままだったり、一度の失敗から過度に一般化したルールを引き続き信じてしまったり。こうした「古くなった記憶」が、エージェントを静かに誤導し続けるのです。 これに答えたのが「Recurrent Harness for Agentic Continual Learning」で提案されたReHarnessです。前方向の書き込み・読み込みに加えて「後方フィードバック」という新しいステップを挟み込みます。今の経験から得たフィードバックを使って、過去に取得した反思そのものを、元の経験に根拠を残したまま書き直すのです。 結果は明確でした。CL-Bench・MemoryBench・MemoryArenaの3ベンチマーク全てで既存手法を上回り、全体平均の正規化ゲインは0.240と最高評価。しかもトークン消費は生の経験をそのまま使う手法の3分の1以下に抑えられています。 URL: #LLMエージェント# #継続学習#