# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 汎用大モデル vs 小型FT｜推論エンジンの選択 🎯 ポイント エージェントの推論エンジン、GPT-4クラスの汎用大モデルをプロンプトで制御するか、タスク特化の小型ファインチューニング（FT）モデルを使うか。「大きいほど賢い」は正しいですが「大きいほど正解」ではありません。タスクの多様性・呼び出し頻度・コスト制約・変化の速度によって最適解が変わります。多くのエンタープライズでは、まず汎用大モデルで始めてログから教師データを蓄積し、高頻度タスクから順にFTに置き換える段階的移行が現実的な最適解です🔑 📋 概要 汎用大モデル＋プロンプトは、タスクが多様で事前に列挙しきれない場合、ビジネス要件の変化が速い場合、新しいツールやAPIの追加にプロンプトの変更だけで対応したい場合に強みを発揮します。小型FTモデルは、タスクが狭く定義され入出力パターンが安定している場合、呼び出し頻度が高くコスト削減が重要な場合、レイテンシ要件が厳しい場合に適しています。両者は排他ではなく、ルーター＋専門モデルというハイブリッド構成で組み合わせるのがエンタープライズの標準的なアプローチです📊 🔍 意思決定のポイント 判断フローは以下の通りです。 タスクの種類が10以上あり頻繁に新しいタスクが追加されるなら、汎用大モデルを選びましょう。プロンプト変更だけで新タスクに対応できる柔軟性が決定的な優位性です。 月間リクエスト数が数十万件以上なら、小型FTのコストメリットを試算してください。API呼び出しコストだけでなく、学習コスト・GPU運用コスト・教師データ管理コストも含めた総所有コストで比較することが重要です。 レイテンシ要件がP95で500ms以内なら、小型FTを優先的に検討しましょう。大規模モデルの推論時間では達成困難なケースがあります。 教師データを数千件以上用意・継続的に更新できないなら、汎用大モデルに留めましょう。不十分な教師データでFTしても、汎用大モデルの精度を下回ります。 ビジネス要件の変更頻度が月次以上なら、再学習コストを考慮して汎用大モデルを維持する方が有利な場合が多いです⚡ 💡 要点と詳細 ハイブリッド構成の3パターンを理解してください： ルーター＋専門モデル — 汎用大モデルでリクエストの意図を分類し、定型タスクは小型FTモデルにルーティングします。意図分類のコストは小さく、専門タスクの推論コストを大幅に削減できます。Slack Botが全社横断の質問を受け付け、チケット分類は小型FT、複雑な調査は汎用大モデルという振り分けです。 FTで下書き、大モデルで仕上げ — 小型FTモデルで高速に下書きを生成し、品質が重要なケースだけ汎用大モデルで検証・修正します。コストと品質のバランスを取る実用的なパターンです。 段階的移行 — 初期はすべて汎用大モデルで運用し、呼び出しログから教師データを蓄積して、高頻度タスクから順に小型FTに置き換えます。これが最もリスクが低く、多くのエンタープライズが採用するアプローチです🔄 ⚖️ トレードオフ 早すぎるFT投資は最もよくある失敗です。十分なログが溜まる前にFTモデルを構築し、精度が汎用大モデルを下回ります。最低でも3か月分のログを蓄積してからFTを検討してください。PoC段階でFTに手を出すのは時期尚早です😰 FTモデルの陳腐化も深刻です。ビジネスルールや製品ラインナップが変わったのに教師データが更新されず、古い知識で回答し続けます。再学習パイプラインの自動化は、FTモデルの運用における必須投資です。 コスト比較の誤りも多発します。API呼び出しコストだけで比較し、FTモデルの学習コスト・推論インフラ（GPU）運用コスト・教師データ管理コストを見落とします。TCO（総所有コスト）で比較しないと判断を誤ります。 品質評価の欠如も見逃せません。FTモデルの精度を定期的に評価せず、モデルドリフトに気づきません。汎用大モデルとのA/Bテストを継続的に行う仕組みが品質保証の基盤です⚠️ 🛠️ ユースケース 全社ヘルプデスクエージェント（Slack Bot）：IT・総務・人事・経理の幅広い問い合わせに対応。汎用大モデルで意図を分類し、チケットカテゴリ・優先度の自動振り分け（月間数万件）は小型FTにルーティング。複雑な調査や新しい種類の質問は汎用大モデルで処理します📚 チケット分類エージェント（Zendesk連携）：毎日数万件のサポートチケットのカテゴリ・優先度・担当チームを自動分類。呼び出し頻度が高く入出力パターンが安定しているため、小型FTが最適。教師データは月次で更新し、汎用大モデルとのA/Bテストで精度を監視します🏢 商品レビュー分析エージェント（Shopify連携）：商品レビューの感情分析とタグ付けを小型FTでバッチ処理。レビューから得られた顧客インサイトの要約は汎用大モデルで生成。定型的な分類はFT、創造的な分析は汎用大モデルという明確な役割分担です🔧 実践のコツ：「まず汎用大モデルで始めて、ログを溜める」が鉄則です。3か月分以上のログから高頻度タスクを特定し、教師データを構築し、FTの効果を汎用大モデルとのA/Bテストで検証してから置き換えてください。FTへの移行はデータドリブンで判断しましょう💪 #AIエージェント# #エンタープライズアーキテクチャ#