TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
参加 January 2018
388
フォロー中
2.8K
ファン
Itaru Tomita / 冨田到
@itarutomy
2026.10.24 05:00
エージェントの履歴が長くなったら、文章を要約する代わりに「次の推論が参照するキャッシュ」を直接整理するCache Engineeringという研究( KVキャッシュは、過去の文章を読み直す計算を省くために保持する内部状態。履歴の前半を削ったり要約したりすると、残した文章まで計算し直す費用がかかることがある。 提案では、元の文章の履歴は変えず、古いツール結果に対応するKVだけを次のAttentionから外す。さらに位置情報を調整し、位置の上限にも対処する。残したKVを作り直さず使えるのが狙いだ。 主な評価方針は、推論の記録と直近12回のツール応答を残すもの。3モデル・4ベンチマークの平均で、標準の閾値による要約方式に比べ、成功率は1.7ポイント高く、トークン数と料金表から計算した費用は27.7%低かった。 実装上の難所もある。同じ文章が残っていても、どの時点で何を外したかによってKVの中身は違う。そのためAKVという配信基盤では、文章の一致だけで再利用せず、キャッシュ操作の履歴も管理する。 古い情報を外しても、それを参照して作られた後続の内部状態には影響が残りうる。文章を消した状態と同じになるわけではないし、通常のAPIへ短いプロンプトを送るだけで実現する方法でもない。 履歴の圧縮を「何を要約するか」だけでなく、「計算済みのどの状態を残すか」まで広げる。エージェントの設計と配信基盤を一緒に考える必要があるのが面白い。
もっと見る
0
0
0
2
1
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
TVer新着
@TVer_info
101.9K ファン
ツイッター速報〜BreakingNews
@tweetsoku1
259.7K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
モデルプレス
@modelpress
2.1M ファン
空空道人
@Kongkongda5882
41.1K ファン
New York Post
@nypost
4.3M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
Bloomberg
@business
10.5M ファン
吴说区块链
@wublockchain12
182.3K ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン
ファミ通.com
@famitsu
1.4M ファン
中國新聞社
@CNS1952
550.2K ファン
cv usk
@cv_usk
473 ファン
一劍浣春秋
@chee828
233.4K ファン