🧵 TL;DR: 長く走るAIエージェントはトークンコストが膨らみがち。Deep Agents はプロンプトキャッシュを"設定不要"で効かせ、実タスクで最大80%のコスト削減を実現します。 タイトル: Prompt Caching with Deep Agents URL: ポイント 💸 毎リクエストで会話履歴・システムプロンプト・ツール定義を再処理してコストが積み上がるのが課題 ⚡ プロンプトキャッシュは静的部分の計算結果を再利用し、新規の差分だけを処理 🧩 明示的なキャッシュ区切り（breakpoint）で、プロンプトが少し変わっても部分ヒットを維持 🤖 Deep Agents は3戦略を自動適用（明示breakpoint／プロバイダ側の暗黙キャッシュ／キャッシュ最大化の構造化） 📊 実測でClaude Haiku 4.5は-77%、GPT-5.4-miniは-80%、Gemini 3.5-Flashは-49% 🔭 LangSmith でキャッシュ読み取りトークンを可視化し、削減を計測・最適化 ⏳ 会話が長いほど効果増。短いタスクでは恩恵は小さい 設定ゼロでプロバイダ差を吸収してくれる点が、実運用で効いてきそうです。 #LangChain# #AIエージェント#

単一文書のQ&Aから、数千文書を横断する分析へ——10万社が使うBoxが、Deep Agentsで「AIネイティブ」に生まれ変わった事例です📦 タイトル: Building Box AI: How an Enterprise Content Platform Went AI-Native with Deep Agents URL: 📦 概要 コンテンツ管理プラットフォームBoxが、Deep Agentsを採用して高度な複数文書分析を実現した事例です。親の「Global Agent」がリクエストの意図を分類し、必要に応じて子エージェントをツールとして動的に生成する階層型システムを構築しました。 ❓ 解決する課題 当初のBox AIは単一文書のQ&Aや知識ハブが中心でした。 ・しかし顧客は、数千文書を横断した調査の統合や、契約書をリスクフレームに照らした分析を求めました ・こうした多段階・分野横断のタスクは、従来のRAGベース検索では扱いきれませんでした 💡 方法論と提案手法 ・親のGlobal Agentが意図を分類し、単純なものは自分で、複雑なものは子エージェントを動的に生成して処理します ・全エージェントが共通ツール（BM25・ベクトル検索・構造化Q&A・ファイル操作）にアクセスできます ・子エージェントは隔離コンテキストで動き、ミドルウェア経由で結果を報告します ・ミドルウェアが本番の要：引用生成、プロンプトキャッシング、17万トークン超で自動要約するコンテキスト管理 ・Deep Agents採用の理由は、モデル非依存（OpenAI/Anthropic/Google）と反復速度です 📊 実験結果 / 実績 ・新エージェントの投入が、数ヶ月から数週間に短縮 ・再帰的な親子システムは、当初の専門エージェント構成より4倍速く出荷 ・単純なクエリは子生成をバイパスし、不要なレイテンシを排除 #AIエージェント# #エンタープライズAI#

コーディングエージェントは1タスクで数十回もAPIを叩くので、誰にも気づかれず週に数千ドル溶かしてしまう——LangChainがこの「支出の予測不能性」を社内でどう潰したかの話です💸 鍵は予算管理をオブザーバビリティと同じ場所に統合することでした。 タイトル: How LangChain Made Coding Agent Spend Predictable URL: 💸 概要 LangSmithに統合した「LLM Gateway」で、全社のモデル支出を分単位で俯瞰し、予算を中央集権的に管理する仕組みです。外付けプロキシではなく、既存のトレース・評価・ユーザー管理と同じ基盤の上に乗せた点が特徴です。 ❓ 解決する課題 モデル利用が一部チームから全社に拡大し、プレミアムモデルの値上げも重なってコストが急増。 ・コーディングエージェントは1タスクで数十回のAPI呼び出しを発生させます ・個々の開発者が気づかぬうちに週数千ドルを使い、月末まで誰も気づけませんでした 💡 方法論と提案手法 予算を多階層で設定できます。 ・組織／ワークスペース／ユーザー／APIキーの単位で上限を設定 ・月次・週次・日次・時間単位の既定ウィンドウを全従業員に適用し、高負荷プロジェクトには例外を許可 ・Claude Code・Codex・LangChain Deep Agents経由のエージェントをカバー ・MDMで配布し各自のセットアップを不要に ・実行はトレースされユーザーとAPIキーに紐づき、超過時は該当トレースを評価データで診断できます 🌍 ユースケース チーム単位で上限を設定しつつ、サプライズ請求の不安なくエージェント利用を許可できます。月末の請求ショックを、リアルタイム監視に置き換えるのが実用的な価値です。 📊 教訓と成果 ・モデル価格は静的な表ではすぐ陳腐化するため、キャッシュやティア差を含め動的に扱う必要がありました ・CursorやClaude DesktopはきれいにルーティングできずGateway捕捉分と提供側設定の差分を計測して補正 ・ハードリミットだけでは業務が止まるため、早期警告アラートと監査可能な増額申請に進化 ・社内展開以降、LLMコストは予算内に収まっています #コーディングエージェント# #LLMOps#