cv usk(@cv_usk):「自分で賢くなるエージェント」は、本当に新しいことを覚えながら昔のことも忘れずにいられるのでしょうか？タイトル: Are Self-Evolving Agents Continual Learners? URL: https://t.co/lhL0SRnu3F ❓ 何を調べた研究？モデルの重みは固定し、プロンプト・メモリ・スキルなどのハーネスを書き換える自己進化エージェント（ReasoningBank、GEPA、Meta-Harness）を、話題やワークフローが途中で変わるタスクストリームで試しました。 💡 結果は？多くの設定で性能は上がりました（GEPAの終端で平均+3.7pp）。ただし変化に強い手法ほど不安定でした。12の手法とストリームの組すべてで、最も可塑的な手法は最も保守的な手法より安定性が低くなりました。 ❓ なぜ忘れるの？プロンプトや共有ワークスペースを書き換える手法は、全体への編集が未見のタスクに干渉します。GEPAは7つのBIRDセクションを1つに圧縮し、BIRD-F1の利得が0.0に戻りました。 ❓ メモリ検索なら大丈夫？更新は局所化されますが、完全ではありません。グループのブロック前には常に他グループのメモリを検索し、似た2つのワークフローでは52%のエピソードで誤ったメモリを引いて精度が8.0pp下がりました。 #AIエージェント #継続学習

2026.10.31 04:23

「自分で賢くなるエージェント」は、本当に新しいことを覚えながら昔のことも忘れずにいられるのでしょうか？タイトル: Are Self-Evolving Agents Continual Learners? URL: ❓ 何を調べた研究？モデルの重みは固定し、プロンプト・メモリ・スキルなどのハーネスを書き換える自己進化エージェント（ReasoningBank、GEPA、Meta-Harness）を、話題やワークフローが途中で変わるタスクストリームで試しました。 💡 結果は？多くの設定で性能は上がりました（GEPAの終端で平均+3.7pp）。ただし変化に強い手法ほど不安定でした。12の手法とストリームの組すべてで、最も可塑的な手法は最も保守的な手法より安定性が低くなりました。 ❓ なぜ忘れるの？プロンプトや共有ワークスペースを書き換える手法は、全体への編集が未見のタスクに干渉します。GEPAは7つのBIRDセクションを1つに圧縮し、BIRD-F1の利得が0.0に戻りました。 ❓ メモリ検索なら大丈夫？更新は局所化されますが、完全ではありません。グループのブロック前には常に他グループのメモリを検索し、似た2つのワークフローでは52%のエピソードで誤ったメモリを引いて精度が8.0pp下がりました。 #AIエージェント# #継続学習#

显示更多