エージェントに本当に長いコンテキストは必要でしょうか。圧縮して進めれば、精度をほぼ保ったまま大幅に安くなるそうです 💸
"You don't need long context"
長いコンテキストはトークン単価の割に実コストが高く、256Kの提供コストは16Kの3.6〜7倍と推定されています。そこで、履歴を溜め込む方式と、要約や1行動ごとの状態更新で会話を作り直す方式を、13のベンチマークで比べた研究です。
注目ポイント
🔁 長期タスクは圧縮しても解ける
しきい値で要約して新しい会話を始めても、精度の変化はClaude Opus 4.5で−3.7〜+5.6ポイント、GPT 5.6 Solで−3.3〜+4.4ポイントでした。推定コストは2.2〜8.8倍安くなります。SWE-bench VerifiedではOpusが70.0%から74.8%に上がっています。
📄 長い文書は丸ごと読まなくてよい
文書をファイルに置き、grepやsedで必要な部分だけ読む方式では、Opusが−0.4〜+40.0ポイント、GPTが+1.0〜+30.9ポイントの変化でした。推定コスト削減は最大233.3倍で、文書が長くなっても会話の長さはほぼ一定です。
⚙️ 1回の行動ごとに状態を更新する
Single-Action Compactionは、タスクと要約した状態から1行動だけ取り、状態を更新して会話を捨てます。SWE-bench VerifiedはOpusで70.2%、GPTで82.4%で、ピークの生きたコンテキストは中央値で約77〜99Kトークンでした。
ただし圧縮は不可逆で、コストは推定値です。オープンモデルでは、Qwen 3 Coder Nextが53.0%から3.6%に落ちる例もあります。
#
LLMエージェント# #
LongContext#