NTUの研究チームが、複数のLLMをまとめる司令塔(セントラルモデル)向けに、新しい記憶の仕組み「Σ-Mem」を提案した(https://arxiv[.]org/abs/2607.27958)。
画像はその動機を示す例。複数のエージェント(ピア)が「Berlin」で一致しても、参照元の資料が見えないセントラルモデルには正誤を判断できない(正解はZurich)。複数の意見が揃っていることは、correlated errors(同じ思い込みを共有した誤り)である可能性もあり、単純な多数決はかえって逆効果になりうる。
Σ-Memは、各ピアの過去の実績(historical competence evidence)と、ピア同士の相性(peer relationship evidence、一緒に正解しやすいか間違えやすいかの関係)を、数値の表(対称行列)としてずっと記録し続ける仕組み。1回の更新で変化できる幅を一定に抑える(Weylの不等式という定理で保証)ことで、モデル自体を再学習せずに安定してオンライン更新できる。
Qwen3系とQwen3.5系あわせて5モデルで検証したところ、信頼できるピアを意図的に入れ替える意地悪な設定(CF
@90)で、Qwen3-0.6Bの正解率が46.22%から71.10%まで向上した。学習に使っていない未知のピアを後から追加しても効果は落ちず、学習対象外の領域(BBHなど)を含む30ケース中27ケースで性能が改善している。
興味深いのは、セントラルモデルの判断を介さず、質問文だけから「どのピアを信頼すべきか」を記憶だけで決める方式(M-route)でも、多数決や固定の最良ピアより高い精度が出た点。「誰を信頼するかの記録」そのものが、判断材料として機能することを示している。