cv usk(@cv_usk):💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る<global>、特定の箇所だけを見る<focus>、直近の出力だけを見る<local>というモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention https://t.co/SMFC5Xn4Es 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM #Attention

2026.09.05 01:31

💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#

Forward to community