Itaru Tomita / 冨田到(@itarutomy):最初の指示がコンテキストに残っていても、生成が長くなると影響は薄れるのかを測った「A Conditional No-Hair Theorem for Transformers」という研究（https://t.co/eilILkfSEd）。測り方が丁寧で、異なるプロンプトの後ろに、まったく同じ続きの文章を与える。自由に生成させると、内部状態の違いが「最初の指示の違い」なのか「生成した文章の違い」なのかわからないからだ。同じ文章にそろえれば、残った差を元プロンプトの影響として調べられる。 PythiaやQwen2.5では、その差がべき乗に近い形で減衰した。べき乗とは、文章の長さに対して一定の指数で小さくなる関係。しかも、調べた条件では学習済みモデルの深い層のほうが、未学習の同じ構造より速く薄れた。理由として示すのがAttention（過去のどの情報を参照するかを決める仕組み）の希釈。続きが増えるほど、固定長のプロンプトへ向く割合が小さくなる。続きの語が指示の情報を中継する経路も分析している。ただし定理は条件付き。有限の層数、参照スコアに上限があること、正規化前の内部状態がゼロから離れていることなどを仮定する。「何トークンで必ず指示を忘れる」と予言する式ではなく、大規模モデルでの同じ挙動も未検証だ。生成した文章に指示の情報が残れば、後の出力にも影響し続ける。たとえばフランス語で書き始めれば、その履歴が次のフランス語を支える。元の指示から受ける影響と、すでに書いた文章から受ける影響を分けて考えるのが面白い。

2026.10.23 09:30

最初の指示がコンテキストに残っていても、生成が長くなると影響は薄れるのかを測った「A Conditional No-Hair Theorem for Transformers」という研究（測り方が丁寧で、異なるプロンプトの後ろに、まったく同じ続きの文章を与える。自由に生成させると、内部状態の違いが「最初の指示の違い」なのか「生成した文章の違い」なのかわからないからだ。同じ文章にそろえれば、残った差を元プロンプトの影響として調べられる。 PythiaやQwen2.5では、その差がべき乗に近い形で減衰した。べき乗とは、文章の長さに対して一定の指数で小さくなる関係。しかも、調べた条件では学習済みモデルの深い層のほうが、未学習の同じ構造より速く薄れた。理由として示すのがAttention（過去のどの情報を参照するかを決める仕組み）の希釈。続きが増えるほど、固定長のプロンプトへ向く割合が小さくなる。続きの語が指示の情報を中継する経路も分析している。ただし定理は条件付き。有限の層数、参照スコアに上限があること、正規化前の内部状態がゼロから離れていることなどを仮定する。「何トークンで必ず指示を忘れる」と予言する式ではなく、大規模モデルでの同じ挙動も未検証だ。生成した文章に指示の情報が残れば、後の出力にも影響し続ける。たとえばフランス語で書き始めれば、その履歴が次のフランス語を支える。元の指示から受ける影響と、すでに書いた文章から受ける影響を分けて考えるのが面白い。

Forward to community