cv usk(@cv_usk):TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。タイトル: Context Language Models URL: https://t.co/WS90UlUZG1 ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減（成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止） ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理 #LLM効率化

2026.10.05 22:37

TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。タイトル: Context Language Models URL: ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減（成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止） ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理# #LLM効率化#