# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # コンパイル時 vs ランタイムLLM｜Compile-time vs Runtime LLM 🎯 ポイント 毎日同じ形式の日次レポートを生成するのに、毎回LLMを呼んでいませんか？ エージェントの振る舞いを「事前に確定させる（コンパイル時）」か「実行時にLLMが動的に決定する（ランタイム）」かの選択は、タスクの頻度・形式の安定性・コスト・レイテンシで決まります。高頻度で形式が安定したタスクにランタイムLLMを使い続けると、月間コストが数万ドルに膨らむこともあります🔑 📋 概要 コンパイル時アプローチは、タスクの入出力形式が安定しており、パターンが固定的な場面で力を発揮します。Salesforceの商談ステージ変更通知をSlackに定型フォーマットで投稿するなど、テンプレート化が可能な処理です。実行頻度が1日数百〜数千回の場合、LLM呼び出しコストの削減効果は絶大です。コード生成・テンプレートエンジン・ルールエンジンで実装し、同一入力→同一出力の再現性とテスト可能性を保証します。ランタイムLLMアプローチは、タスク内容が毎回異なり、自然言語の理解・生成が本質的に必要な場面に向いています。Zendeskの顧客問い合わせへの回答生成やJiraチケットの自動分類など、入力の多様性が高くルールベースでは分岐が爆発するケースです📊 🔍 意思決定のポイント 判断は以下の順で行います： 入出力の形式は安定しているか？ → 安定ならコンパイル時、変動が大きければランタイム 実行頻度は？ → 1日数百回以上ならコンパイル時でコスト最適化を検討 自然言語の理解・生成が本質的に必要か？ → 必要ならランタイム、構造化データの変換だけならコンパイル時 再現性は重要か？ → 同一入力→同一出力を保証したいならコンパイル時 新パターンへの適応速度は？ → コード変更なしで対応したいならランタイム デプロイサイクルに数日かかる環境では、ランタイムLLMの柔軟性が特に有利です。新しい問い合わせパターンにプロンプト調整だけで対応でき、コードデプロイを待つ必要がありません⚡ 💡 要点と詳細 多くの本番システムでは、コンパイル時とランタイムを組み合わせたパイプラインを構築します： LLMで分類→コンパイル済みフローで実行：ランタイムLLMがユーザーの意図を分類し、分類結果に応じてコンパイル済みのワークフロー（テンプレート・ルールエンジン）を実行します。意図分類の柔軟性と実行の効率性を両立する実用的なパターンです。 コンパイル済みパイプライン＋LLMフォールバック：定型パターンはコンパイル済みロジックで高速処理し、パターンに該当しない入力だけLLMにフォールバック。コスト効率が最も高い構成です。 段階的コンパイル化：初期はランタイムLLMで運用し、頻出パターンをログから抽出して順次コンパイル済みフローに移行します。フィードバックループで継続的にコンパイル化を進めるのが理想です🔄 ⚖️ トレードオフ すべてをランタイムLLMに頼ると、定型レポート生成を毎回LLMに投げることになり、テンプレートエンジンで1/100のコストで済むタスクに莫大な費用を払い続けます😰 すべてをコンパイル時に固定すると、分岐条件が爆発し、メンテナンス不能なルールエンジンが出来上がります。ルール数が100を超えたらLLMへの移行を検討すべきサインです。 コンパイル化のタイミングが早すぎるのも失敗パターンです。パターンが安定する前にコンパイル化すると、頻繁なコード変更が必要になります。まずランタイムで運用し、パターンの安定を確認してからコンパイル化しましょう。ハイブリッドの分岐条件が属人化するのも危険 — どのリクエストがコンパイル済みフローに行き、どれがLLMに行くかの判定ロジックをコードで明文化してください⚠️ 🛠️ ユースケース Slack通知フォーマッティング：Salesforceの商談ステージ変更→Slack通知は完全にテンプレート化可能（コンパイル時）。1日数百件発生し、LLMを呼ぶ意味がありません。一方、商談の勝率分析コメント生成はランタイムLLMが必要です📚 カスタマーサポート（Zendesk）：FAQ的な定型回答はテンプレート＋変数埋め込み（コンパイル時）。初見の複雑な問い合わせはランタイムLLMで回答生成。LLMで意図分類→定型/非定型を振り分け→それぞれの処理パイプラインへ、というハイブリッド構成が標準的です🛒 レポート生成パイプライン：日次の定型KPIレポートはテンプレートエンジン（コンパイル時、1日1回だが形式は完全に固定）。四半期のインサイト分析レポートはランタイムLLM（自然言語での考察・提言が必要）。同一パイプライン上でコンパイル時とランタイムを切り替えます🔧 実践のコツ：まずランタイムLLMで運用を開始し、ログから頻出パターンを抽出してください。上位20%のパターンがトラフィックの80%を占めるのが典型的です。この20%をコンパイル化するだけでLLMコストを大幅に削減できます💪 #AIエージェント# #エンタープライズアーキテクチャ#