# AIエージェント開発の意思決定ポイント # タイムアウト｜Timeout 🎯 ポイント 「全部30秒」のタイムアウト、まだ使っていませんか？ AIエージェントでは、ツール呼び出しは数秒、LLM推論は数十秒、セッション全体は数十分。レイテンシ特性が全く異なる操作が組み合わさるため、一律のタイムアウトでは機能しません。層ごとに分けるのが第一歩です。 📋 概要 タイムアウトは、エージェントが特定の操作の完了を待つ最大時間を制御するダイヤルです。従来のWebサービスではHTTPリクエストに30秒程度を設ければ済みましたが、AIエージェントでは1リクエストが長く、レイテンシのばらつきが大きく、プロバイダの可用性も不安定です。 タイムアウトが短すぎると一時的な遅延で正常な処理を殺し、長すぎると障害を隠蔽してリソースを無駄に占有します。操作クラスごとにタイムアウトを分け、さらに観測データに基づいて動的に調整する仕組みが理想です。 🔍 意思決定のポイント タイムアウトの値はlatency_budget（ユーザーや下流システムがどれだけ待てるか）を最も強く反映します。少なくとも3層に分けて設定するのが基本です 📐 1. ツール呼び出し層 — 外部API・DB・ファイル操作。ツール種別ごとにさらに細分化も 2. LLM推論層 — 入力トークン数とモデル負荷で大きく変動。小型/大型モデルで応答時間が10倍異なることも 3. セッション全体層 — 「ユーザーがこのタスクに何分待てるか」から逆算 各操作のP99（99パーセンタイル）を観測し、安全係数1.5〜2.0倍を掛けた値が出発点です。P99がまだない立ち上げ初期は目安値から始め、1〜2週間の運用データで切り替えます。 💡 要点と詳細 目安値 📊 - ツール呼び出し（一般） → 10〜30秒。DBクエリは5秒でも長い場合あり - LLM推論（全体） → 60〜120秒。長文生成タスクは上限引き上げ - LLM推論（トークン間） → 5〜15秒。ストリーミング時のプロバイダ障害早期検出に有効 - LLM推論（TTFT） → 15〜30秒。入力が長いほど延びる - セッション全体 → 数分〜数十分。対話型は短く、調査・分析型は長く ストリーミングを使う場合は、全体タイムアウトよりトークン間タイムアウトの方が本質的な監視指標です 🔍 正常な推論では数百ミリ秒〜数秒間隔でトークンが返るため、15秒の無応答はプロバイダ側の異常を強く示唆します。 ⚖️ トレードオフ タイムアウトが短すぎると、複雑な推論タスクでLLMが高品質な回答を生成している途中で処理が中断されます ⏱️ Chain of Thoughtが深くなる正当なケースや、大量コンテキストの入力処理中にタイムアウトすることも。ピーク時のプロバイダ遅延で断続的に失敗し、リトライの連鎖が始まります。 タイムアウトが長すぎると、プロバイダが応答しないまま数分間スレッドが占有され、他のリクエストが詰まります 🚫 ハングしたツール呼び出しが放置され、ユーザーは「いつ終わるか分からない」最も苦痛な状態に。障害の検出も遅れます。 タイムアウト値の変更はリトライ戦略に直結します。短くすれば発火頻度が上がり、リトライが増えます。リトライ予算やセッション全体の予算と一体で調整する必要があります。 🛠️ ユースケース 対話型チャットアシスタント 💬 ユーザーが数秒以内の応答を期待。ツール3〜5秒、LLM推論15〜30秒（ストリーミングで即座にトークンを返し始める）、セッション全体60〜120秒。体感レイテンシの短縮にストリーミングが効果的です。 調査・分析エージェント 🔬 数分の処理が許容される。ツール10〜60秒、LLM推論60〜180秒、セッション全体5〜30分。タイムアウトよりコスト・ステップ数の予算が主要な制約に。 自動コードレビューエージェント 💻 大きな差分では入力トークンが数万に達し、TTFTが延びる。入力トークン数に応じてTTFTタイムアウトを動的に調整する仕組みが有効です。 タイムアウトとキャンセルは異なります ⚠️ タイムアウトはクライアント側で待つのを止めるだけで、プロバイダ側の処理は続行されている可能性があります。課金はプロバイダ側の処理量に基づくため、キャンセルリクエストも送信することを推奨します。 #AIエージェント# #ソフトウェアアーキテクチャ#