cv usk(@cv_usk):🧵 AIにじっくり考えさせようとすると、考えれば考えるほど1トークンあたりのコストが膨らんでいく。この地味だけど本質的な壁に、ある発見から挑んだ研究があります。きっかけはシンプルな観察でした。「42+84=126」のような計算ステップは、答えが出た瞬間にその過程はもう要らなくなる。長い推論のなかで本当に重要なのは、最初のタスク指示（プリフィックス）と、いま進行中の直近の思考だけではないか——著者らはそう考えました。そこで提案されたのがPrefix Sliding。プリフィックスと直近k個のトークンだけをスライディングウィンドウとしてメモリに保持し、それ以外は捨ててしまうというシンプルな発想です。これにより1トークンあたりの生成コストが、どれだけ長く考えても一定に保たれるようになります。結果は明快でした。追加学習なしで既存モデルを約3倍高速化し、さらに強化学習と組み合わせることで、これまで事実上不可能だった10万トークンを超える推論トレースへのスケーリングを実現しています。「長く考えるほどコストが増える」という当たり前を覆した点が、この研究の核心です。タイトル: Prefix Sliding for efficient test-time scaling URL: https://t.co/0FdWfW4BMI #LLM #テスト時間スケーリング

2026.08.30 01:36

🧵 AIにじっくり考えさせようとすると、考えれば考えるほど1トークンあたりのコストが膨らんでいく。この地味だけど本質的な壁に、ある発見から挑んだ研究があります。きっかけはシンプルな観察でした。「42+84=126」のような計算ステップは、答えが出た瞬間にその過程はもう要らなくなる。長い推論のなかで本当に重要なのは、最初のタスク指示（プリフィックス）と、いま進行中の直近の思考だけではないか——著者らはそう考えました。そこで提案されたのがPrefix Sliding。プリフィックスと直近k個のトークンだけをスライディングウィンドウとしてメモリに保持し、それ以外は捨ててしまうというシンプルな発想です。これにより1トークンあたりの生成コストが、どれだけ長く考えても一定に保たれるようになります。結果は明快でした。追加学習なしで既存モデルを約3倍高速化し、さらに強化学習と組み合わせることで、これまで事実上不可能だった10万トークンを超える推論トレースへのスケーリングを実現しています。「長く考えるほどコストが増える」という当たり前を覆した点が、この研究の核心です。タイトル: Prefix Sliding for efficient test-time scaling URL: #LLM# #テスト時間スケーリング#

显示更多