# AIエージェントをソフトウェアに組み込むプラクティス # Model Router & Adaptive Effort｜モデル段階化と適応的努力配分 🎯 全リクエストを最高性能モデルで処理していませんか？ タスク難易度に応じてモデルを使い分けるだけで、品質を落とさずにコストを大幅に削減できます。実運用ではリクエストの60〜80%が軽量モデルで十分に処理できることが多いです。 🔥 解決する課題 すべてのリクエストを最高性能モデルで処理すると月間予算を容易に超過します。一方、すべてを軽量モデルに寄せると複雑な推論や計画タスクで品質が崩壊します。大型モデルはレイテンシも大きく、単純なタスクにまで使うとシステム全体の応答速度が不必要に悪化します。「コストか品質か」の二者択一に陥るのが問題です。 💡 提案パターン タスクの難易度・種別・リスクに応じて呼び出すモデルを動的に選択します。まず軽量モデルで試行し、信頼度が低ければ上位モデルへエスカレーションする構成です。ルーターはまずルールベース（入力長・タスク種別・キーワード）で始め、精度不足なら分類器を追加します。2〜3層（小型・中型・大型）が運用しやすい出発点です。 ✅ 選定条件 使うとき： - タスクの種類が多岐にわたり、定型処理と高度処理が混在している - 月間コスト上限が明確に存在する - トラフィックが十分にあり、ルーティング機構のコストを回収できる 使わないとき： - 全リクエストが同程度の難易度 → 単一モデルで十分 - 全件で品質を1%も落とせない → 常に最高性能モデルを使い、キャッシュでコスト削減 - リクエスト量が少なく（月数百件以下）、ルーティング開発コストが節約額を上回る ⚠️ 落とし穴 - ルーター自身のコストを無視しないでください。LLMをルーターに使うと、分類コストだけで軽量モデル1回分に匹敵する場合があります。まずルールベースで始めてください - 信頼度の定義を明確にしてください。構造化出力のパースエラー率・回答の拒否率・内部ログ確率など、測定可能な指標に落とし込まないと運用できません - エスカレーション無限ループを防いでください。最上位モデルでも信頼度が低い場合の打ち切り条件を設定し、人間エスカレーションまたはエラー返却にしてください 🔧 実装方針 - ルーターはまずルールベース（入力長・タスク種別・キーワード）で実装し、分類精度が不足した場合にのみメタ分類器へ昇格させます - モデル階層は2〜3層（小型・中型・大型）を共通インターフェースで抽象化し、プロバイダ差し替えを容易にします - 軽量モデルの応答に対して信頼度チェック（パースエラー率・拒否率・ログ確率）を行い、閾値未満なら上位モデルへ自動エスカレーションします - エスカレーションは最上位で打ち切り、それでも信頼度が低い場合は人間エスカレーションまたはエラー返却にします - ルーティング比率・コスト・レイテンシを定期的に監視し、モデルバージョン変更によるドリフトに備えて閾値を再調整する運用体制を整えます #AIエージェント# #ソフトウェアアーキテクチャ#

# ADK 2.0の便利だけど知られていない機能 🌍 実行時にどのエージェントを呼び出すかを動的に切り替えられたら、柔軟で堅牢なシステムが作れると思いませんか？ ADK 2.0のエージェントルーティングは、router関数を使って実行時に動的にエージェントを選択する仕組みです。設定ベースのルーティング、エラー時のフォールバック、複雑度に応じた自動振り分けなど、多彩なパターンに対応できます。 📌 タイトル：エージェントルーティング 🔗 URL： 🧩 概要 エージェントルーティングでは、router関数がagents（利用可能なエージェントのリスト）、context（現在のコンテキスト）、errorContext（直前のエージェントがイベントをyieldする前に例外を投げた場合のエラー情報）を受け取り、次に実行するエージェントを返します。あるエージェントがイベントをyieldする前に失敗した場合、routerはerrorContextを受け取るため、別のエージェントへのフォールバックが可能です。これはRoutedLlm（モデルレベルのルーティング）とは異なり、エージェント全体を切り替える点が特徴です。 🛠 使い方 router関数を定義し、エージェントに設定します。 ```python from adk import Agent def my_router(agents, context, error_context=None): # エラー時はフォールバックエージェントを選択 if error_context: return next(a for a in agents if == "fallback") # コンテキストに応じて動的にエージェントを選択 complexity = context.session.state.get("task_complexity", "low") if complexity == "high": return next(a for a in agents if == "expert") return next(a for a in agents if == "basic") parent = Agent( name="dispatcher", sub_agents=[basic_agent, expert_agent, fallback_agent], router=my_router ) ``` router関数の戻り値で次に実行されるエージェントが決まるため、任意のロジック（設定ファイル参照、外部API呼び出しなど）を組み込めます。 🏗 本番システムへの組み込み方 ・設定ベースのルーティングでは、ルーティングルールを外部設定ファイルに切り出し、再デプロイなしで変更可能にする ・errorContextを活用したフォールバックチェーンを設計し、単一障害点を排除する ・ルーティング判定のログを構造化して出力し、どのエージェントが選ばれたか追跡可能にする ・複雑度の判定ロジック自体をテスト可能な純粋関数として分離する 💡 ユースケース ⚙️ 設定ファイルでルーティングルールを管理し、運用中に振り分け先を変更 🛡 プライマリエージェント失敗時に自動でフォールバックエージェントへ切り替え 🧠 タスクの複雑度を事前判定し、軽量/高機能エージェントを自動選択 📋 プランニングモードと実行モードでエージェントを切り替える段階的処理 ⚠️ 注意点 router関数内での重い処理（外部API呼び出し等）はレイテンシに直結するため、最小限に抑えることを推奨します。また、RoutedLlm（モデルルーティング）との混同に注意してください。RoutedLlmはLLMモデル自体を切り替えるもので、エージェントルーティングはエージェント全体（プロンプト・ツール・サブエージェント含む）を切り替えるものです。errorContextはエージェントがイベントをyieldする前に失敗した場合のみ提供される点も理解しておく必要があります。 ✨ 動的ルーティングにより、単一のワークフロー定義で多様な状況に対応できる柔軟なシステムを構築できます。まずはフォールバックパターンから導入してみてください。 #ADK# #AIAgent#

🧮 MoEのルーター、なんとなく学習させていませんか？「ルーター行を専門家行列の主特異方向に揃えるべき」という、数学的に裏づけられた設計原理が提案されました。 タイトル: Redesign Mixture-of-Experts Routers with Manifold Power Iteration URL: 📝 概要 MoEは入力ごとに一部の専門家だけを使う効率的な仕組みで、どの専門家を使うかを決めるのがルーターです。本論文は、ルーターの各行を対応する専門家行列の主特異方向に揃えることで、トークンと専門家の親和性をより良く表現できると主張します。 ❓ 解決する課題 ルーターの各行は「専門家の代理ベクトル」として類似度を計算しますが、その代理ベクトルをどう設計すべきかという原理的な指針がこれまでありませんでした。専門家の情報を代表ベクトルへ凝縮する明確な原則が欠けていたのです。 💡 方法論と提案手法 ・提案手法Manifold Power Iteration（MPI）は「Power-then-Retract（べき乗してから引き戻す）」というパラダイムを採用します ・ルーター重みにべき乗反復を行い、主特異方向へ収束させます ・ノルム制約を課すリトラクション操作で、計算効率と学習の安定性を両立します ・ルーター行が主特異方向へ収束することの理論的な証明も与えています 🎯 ユースケース 大規模MoE-LLMのルーティング設計に、経験則ではなく原理に基づく指針を提供します。専門家の利用効率（特定専門家への偏りなど）を改善したい場面に効きそうです。 📊 実験結果 ・1B〜11BパラメータのスケールにわたってMoEモデルを事前学習し、整合が有効性を高めることを検証しました ・主特異方向への整合により、専門家の活性化判断がより効果的になることを示しています MoEが大規模LLMの標準になりつつある中で、ルーティングの「なぜそう設計するか」に答える基礎的な貢献です。 #MoE# #LLM#

# ADKの便利で実践的な使い方 🔀 プロンプトだけでエージェントの実行フローを制御するのは不安定になりがちです。ADKのGraph Workflowsなら、ノードとエッジでワークフローを明示的に定義し、AIノードと関数ノードを自在に組み合わせられます！ 📌 タイトル：Graph Workflows — ノードとエッジによる明示的なワークフロー定義 🔗 URL： 🧩 概要 Graph Workflowsは、`Workflow`クラスの`edges`パラメータでノードの接続関係を定義し、実行フローを構築する仕組みです。AIエージェントノード、関数ノード、ツールノード、ネストされたWorkflowを混在させることができます。ルーターノードが`Event(route=...)`を返すことで辞書ベースの条件分岐が可能になり、「プロンプトに頼らない予測可能な制御フロー」を実現します。 🛠 使い方 基本的なGraph Workflowの構成です。 `google.adk` から `Workflow` と `Event` をインポートします。ルーター関数 `process_message` は `node_input` の内容に応じて `Event(route="BUG")`、`Event(route="LOGISTICS")`、または `Event(route="CUSTOMER_SUPPORT")` を返します。各ルートに対応する関数（`response_bug`、`response_support`、`response_logistics`）はそれぞれ `Event(output=...)` で応答メッセージを返します。 `Workflow` の `name="support_router"` で、`edges` に2つのタプルを定義します。1つ目は `("START", process_message)` で開始ノードからルーターへ接続し、2つ目は `process_message` の出力を `{"BUG": response_bug, "CUSTOMER_SUPPORT": response_support, "LOGISTICS": response_logistics}` の辞書で各ハンドラーに振り分けます。 順次実行のシンプルなチェーンも定義できます。 `Workflow` の `edges` にタプル `("START", agent1, function1, agent2, function2)` を1つ渡すことで、ノードを順次接続するシンプルなチェーンを定義できます。 🏗 実践的な使い方 **AIフリー関数チェーン + AIノードの混在**: データの前処理や後処理はPython関数で行い、判断が必要な部分だけAIエージェントノードを使います。これによりLLMの呼び出し回数を最小限に抑え、コストと遅延を削減できます。 関数ノード `extract_data` は `json.loads(node_input)` でデータを解析し `Event(output=parsed["content"])` を返します（AI不要）。`LlmAgent` の `analyzer` がデータの分析と要約を行い、関数ノード `format_output` が `Event(output=f"## 分析結果\n{node_input}")` でフォーマットします（AI不要）。 `Workflow` の `name="hybrid_pipeline"` で `edges=[("START", extract_data, analysis_agent, format_output)]` と定義し、関数ノードとAIノードを混在させたハイブリッドパイプラインを構築します。 **カスタマーサポートの自動振り分け**: 問い合わせ内容をルーター関数で分類し、適切な対応エージェントに振り分けます。分類ロジックがコードで明示されているため、動作の予測と検証が容易です。 💡 ユースケース 📨 問い合わせの自動分類・振り分け（バグ/サポート/配送） 🔧 前処理（関数）→ 分析（AI）→ 後処理（関数）のハイブリッドパイプライン 🏭 ETLパイプラインのAI組み込み（抽出は関数、変換にAIを活用） 🔀 ルーティングロジックの明示化によるテスタビリティ向上 ⚠️ 注意点 - ライブストリーミング機能はGraph Workflowsと互換性がありません。 - 一部のサードパーティ連携はGraph Workflowsをサポートしていない場合があります。 - ルーターの辞書にないrouteキーが返された場合のエラーハンドリングを考慮してください。 - ノードは1回の実行で1つの`Event.output`のみを出力できます。 ✨ Graph Workflowsは、AIノードと関数ノードをノードとエッジで明示的に結合し、プロンプトだけに頼らない予測可能なエージェントパイプラインを構築します。コスト効率と信頼性を両立したい場面でぜひ活用してください！ #ADK# #AIAgent#

🚀 FastAPIを「最初のエンドポイント」から「本番でスケールするAIシステム」まで一気通貫で学べる電子書籍です。LLM/RAG serving まで踏み込み、各章末に面接問題が付くのが実用的です。 タイトル: FastAPI for AI Engineers: From First Endpoint to Production-Scale AI Systems URL: 🚀 概要 PythonでMLモデルやLLM/RAGを本番運用するAIエンジニア向けの実践書（初版・2026年、AI Engineering Insider）。全10章・計100問の面接問題に加え、実在の障害事例やコストモデルのコラムが織り込まれています。 ❓ 解決する課題 ・モデルは作れても、本番でスケールするAPIとして安全に配信するのは別スキル ・LLM/RAGの serving はストリーミング・ガードレール・コスト管理など固有の難しさがある 本書はFastAPIを「AI/MLの事実上の serving レイヤー」として体系化します。 💡 構成と扱う技術 ・基礎：ASGI/WSGI、Uvicorn、OpenAPI、Pydantic v2によるスキーマ分離と検証 ・実装：冪等性、適切なステータスコード、ページネーション、Router→Service→Repositoryのクリーンアーキテクチャ ・DB/セキュリティ：SQLAlchemy/SQLModel/Alembic、N+1、プールサイジング、JWT、BOLA対策、OWASP API Top 10 ・非同期：「イベントループを絶対にブロックしない」、def vs async defの使い分け、httpxのリトライ/サーキットブレーカー 🎯 核心（第9章 AI/RAG/LLM） ・lifespanで重みを一度だけロード、CPU推論はスレッドにオフロード ・LLMゲートウェイで認証・プロンプト・ガードレール・コスト計測を集約、SSEでトークンを逐次配信 ・埋め込み＋ベクトルDB（pgvectorから開始）でRAGを構築し、出力はPydanticで検証→失敗なら差し戻して再試行 ・max_tokensを「支出上限」として型で強制 📊 注目ポイント ・実在の障害（Netflix、Stripe、GitLab、Optus、Air Canada）から学ぶ実践志向 ・第10章はGunicorn+Uvicorn、K8sのliveness/readiness、可観測性の3本柱（p99 vs p50）、SLOベースのアラートまでカバー #FastAPI# #AIエンジニアリング#

『ROUTE16R』本日（8/6）発売。1980年代に発売された『ROUTE16』シリーズ41年ぶりの完全新作。 今作ではマッド・エックスRによるバトルやカスタマイズ要素も追加。シリーズ初のローカルマルチプレイモードも搭載。

「ROUTE16」MV公開🚘 サブスクも本日よりスタートです！！ 夏の耳のお供に✨ 切なくも懐かしい時間をぜひ☺️ #ファンモン# #NMB48# #渋谷凪咲# #ROUTE16# #ツイートお待ちしてます♡# 🎬