# ADK 2.0の便利だけど知られていない機能 🌍 クラウドAPIに依存せず、手元のマシンやエッジデバイスでLLMを動かしてエージェントを構築できたらと思いませんか？ ADK 2.0は、LiteRT-LM・vLLM・Ollamaを使ったローカルホスティングやセルフホスティングに対応しており、クラウド非依存のエージェント構築が可能です。 📌 タイトル：LiteRT-LM / vLLM / Ollama によるローカル・自前ホスティング 🔗 URL： 🧩 概要 LiteRT-LMは、エッジプラットフォーム向けに最適化されたC++ベースの推論ライブラリです。`lit pull`でモデルをダウンロードし、`lit serve`でローカルサーバーを起動するだけで、ADKエージェントからローカルモデルを利用できます。ADK側は`base_url`パラメータでローカルエンドポイントを指定するだけです。同様の仕組みで、vLLMやOllamaでホスティングしたモデルも利用可能です。 🛠 使い方 LiteRT-LMの場合、まずモデルのダウンロードとサーバー起動を行います。 ```bash # モデルのダウンロード lit pull gemma3n-e2b # ローカルサーバーの起動 lit serve --port 8001 ``` ADKエージェントからは`base_url`を指定して接続します。 ```python from google.adk.agents import Agent from google.adk.models import Gemini agent = Agent( name="local_agent", model=Gemini( model="gemma3n-e2b", base_url="http://localhost:8001", ), instruction="ローカルモデルでタスクを処理してください", ) ``` デバッグ時には`--verbose`フラグを使用してリクエスト/レスポンスの詳細を確認できます。 🏗 本番システムへの組み込み方 ・エッジデバイスでの推論にはLiteRT-LMを使い、レイテンシとプライバシーを最適化する ・GPU サーバーでの高スループット推論にはvLLMを活用する ・開発・プロトタイピングにはOllamaで手軽にモデルを試す ・ローカルサーバーのヘルスチェックとリソース監視を組み込み、安定稼働を確保する 💡 ユースケース 🏥 患者データを外部に送信できない医療現場でのオンプレミスAI 🏭 工場のエッジデバイスでのリアルタイム品質検査 🔐 機密情報を扱う環境でのデータ主権の確保 ✈️ ネットワーク接続が不安定な環境でのオフライン対応エージェント ⚠️ 注意点 ローカルモデルはクラウドの大規模モデルと比較して性能が劣る場合があります。エッジデバイスではメモリやコンピュート制約に注意し、モデルサイズを適切に選択してください。LiteRT-LMはC++ライブラリのため、プラットフォームごとのビルド互換性を事前に確認する必要があります。また、モデルの更新やバージョン管理はクラウドAPIと異なり手動で行う必要があります。 ✨ ローカルホスティングにより、プライバシー・レイテンシ・オフライン対応のすべてを満たすエージェントを構築できます。用途に応じてLiteRT-LM・vLLM・Ollamaを使い分けてください。 #ADK# #AIAgent#