cv usk(@cv_usk):エージェントのモデルをアップグレードした翌日、なぜか回答の質が静かに落ちている。そんな経験はないでしょうか。多くのチームは、モデルの入れ替えを「ただの差し替え」だと考えがちです。しかしエージェントが蓄積してきたメモリは、古いモデルの癖や解釈のクセを前提に書かれています。新しいモデルがそのメモリを引き継いだ瞬間、性能はテストに気づかれないまま劣化してしまうことがあります。そこで研究者たちは、生履歴・RAG・モデル圧縮ノート・固定スキーマの知識グラフという4つのメモリ形式を、実際にモデルを入れ替えて比較しました。結果は形式によって驚くほど異なります。固定スキーマの知識グラフはモデルを替えてもほぼ無傷（変化わずか±0.0004ポイント）だった一方、圧縮ノートは書き手と読み手の組み合わせ次第で最大13.28ポイントも劣化し、埋め込みを中途半端に移行すると得られるはずの改善の58%を静かに失うことも判明しました。 Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability https://t.co/jB508T5l7k モデルのアップグレードは、もはや単なる差し替えではなく「メモリの移行プロジェクト」として扱うべき時代が来ているのかもしれません。 #AIエージェント #メモリ管理

2026.09.12 13:27

エージェントのモデルをアップグレードした翌日、なぜか回答の質が静かに落ちている。そんな経験はないでしょうか。多くのチームは、モデルの入れ替えを「ただの差し替え」だと考えがちです。しかしエージェントが蓄積してきたメモリは、古いモデルの癖や解釈のクセを前提に書かれています。新しいモデルがそのメモリを引き継いだ瞬間、性能はテストに気づかれないまま劣化してしまうことがあります。そこで研究者たちは、生履歴・RAG・モデル圧縮ノート・固定スキーマの知識グラフという4つのメモリ形式を、実際にモデルを入れ替えて比較しました。結果は形式によって驚くほど異なります。固定スキーマの知識グラフはモデルを替えてもほぼ無傷（変化わずか±0.0004ポイント）だった一方、圧縮ノートは書き手と読み手の組み合わせ次第で最大13.28ポイントも劣化し、埋め込みを中途半端に移行すると得られるはずの改善の58%を静かに失うことも判明しました。 Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability モデルのアップグレードは、もはや単なる差し替えではなく「メモリの移行プロジェクト」として扱うべき時代が来ているのかもしれません。 #AIエージェント# #メモリ管理#

Forward to community