cv usk(@cv_usk):TL;DR: コンテキストで得た性能向上を、コンテキストなしでもモデルの重みに残す「Memory Consolidation」手法Cortexの提案です。50回の連続編集でも、利得の88.9%を回復し、元の性能を99.8%維持しました。タイトル: Cortex: Consolidating Context into Parametric Memory URL: https://t.co/zDYEru09gT ポイント・🧠 脳の「海馬→新皮質」の記憶固定化に着想を得て、知識編集・スキル学習・振る舞い制御・知識抑制を1つの問題として統一・🔮 モデル自身が「このコンテキストは将来どう使われるか」を想定したクエリを生成し、それを学習ターゲットにする・🧩 更新はFFNだけ。既存重みへの低ランク更新(Synaptic)か、新しいチャネルの追加(Structural)で、学習後は重みにマージ可能・👩‍🏫 コンテキストを見る凍結教師の出力と隠れ状態を、見ない生徒に蒸留・📊 4B〜120BのdenseとMoEで検証。バッチ編集のCRは80〜91%（既存の最強手法は36〜46%）・🤖 ALFWorldでは固定化後のモデルがコンテキストを直接与えた場合を上回る例も・⚠️ 知識抑制では近傍知識への副作用が残るのが課題 💡 RAGやプロンプトに頼らず「経験を重みに畳み込む」実用的な道筋だと感じます。 #LLM #継続学習

2026.10.31 00:37

TL;DR: コンテキストで得た性能向上を、コンテキストなしでもモデルの重みに残す「Memory Consolidation」手法Cortexの提案です。50回の連続編集でも、利得の88.9%を回復し、元の性能を99.8%維持しました。タイトル: Cortex: Consolidating Context into Parametric Memory URL: ポイント・🧠 脳の「海馬→新皮質」の記憶固定化に着想を得て、知識編集・スキル学習・振る舞い制御・知識抑制を1つの問題として統一・🔮 モデル自身が「このコンテキストは将来どう使われるか」を想定したクエリを生成し、それを学習ターゲットにする・🧩 更新はFFNだけ。既存重みへの低ランク更新(Synaptic)か、新しいチャネルの追加(Structural)で、学習後は重みにマージ可能・👩‍🏫 コンテキストを見る凍結教師の出力と隠れ状態を、見ない生徒に蒸留・📊 4B〜120BのdenseとMoEで検証。バッチ編集のCRは80〜91%（既存の最強手法は36〜46%）・🤖 ALFWorldでは固定化後のモデルがコンテキストを直接与えた場合を上回る例も・⚠️ 知識抑制では近傍知識への副作用が残るのが課題 💡 RAGやプロンプトに頼らず「経験を重みに畳み込む」実用的な道筋だと感じます。 #LLM# #継続学習#

커뮤니티로 전달