登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ソフトウェアアーキテクチャ
ソフトウェアアーキテクチャ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ソフトウェアアーキテクチャ を含む検索結果
# AIエージェントをソフトウェアに組み込むプラクティス # Synchronous Edge Agent|同期エッジ 🎯 キャッチーなメッセージ LLMエージェント、まず「同期で返せないか?」を考えていますか? 非同期キューやチェックポイントに飛びつく前に、シンプルな同期HTTPで完結できないか検討しましょう。実際のユースケースの大半は、それで十分です。 🔥 解決する課題 エージェントアーキテクチャの議論はすぐに非同期キュー・チェックポイント・オーケストレータへ進みがちです。しかし多くのタスクは「LLM1回+軽いツール」で済みます。軽量タスクに重い実行基盤を持ち込むと、運用コスト・デプロイ複雑性・デバッグ難度が不必要に跳ね上がります。 💡 提案パターン Synchronous Edge Agent(同期エッジ)は、単発のLLM推論と軽量ツール0〜2回を1つの同期HTTPリクエスト内で完結させる、最もシンプルな実行方式です。状態はインコンテキストのみで、チェックポイントもキューも不要です。テキスト分類・情報抽出・単純Q&A・要約・構造化出力生成など「数秒で終わる確実な処理」に最適です。タイムアウトはLLM呼び出し単位でp99実測値に基づいて設定し、モデル選択もレイテンシ予算の関数として決定します。迷ったらまずここから始めてください。 ✅ 選定条件 使うとき: - 処理が概ね5〜10秒以内に終わる(対面)、またはAPI連携で30秒以内 - LLM呼び出しは1回、ツール呼び出しは0〜2回の軽量処理 - 途中再開や人間承認が不要 使わないとき: - 処理が30秒を超えうる、または所要時間が読めない場合 - 複数ツールの多段呼び出しや計画・反省ループが必要な場合 - 不可逆な副作用(決済・データ削除等)を伴う場合 ⚠️ 落とし穴 - タイムアウトはHTTPサーバ全体でなくLLM呼び出し単位で設定すること。全体タイムアウトだけではLLMがハングしてワーカースレッドを占有し続けます - 同期枠内でのリトライは0〜1回に限ること。リトライを重ねるとクライアントが先にタイムアウトします - サーバーレス環境ではコールドスタートがレイテンシ予算を食うため、Provisioned Concurrencyやウォームアップで対処が必要です 🔧 実装方針 - クライアントからのHTTPリクエストをAPI Gateway経由でハンドラが受け取り、1つのリクエスト-レスポンスサイクル内で処理を完結させます。外部キューやチェックポイントストアは登場しません - タイムアウトはHTTPサーバ全体ではなくLLM呼び出し単位で設定し、その値はlatency_budgetから導出します。p95/p99の実測値に基づいて調整します - モデル選択もレイテンシ予算の関数として決定します。分類・抽出には軽量モデル、生成にはミッド〜フラグシップを選びます - 構造化出力(JSON Schema等)を使い、レスポンスの軽量検証を常にONにします。意味検証はレイテンシに余裕がある場合のみ追加します - 対面UIで生成が長文になる場合はSSEストリーミングを併用し、体感レイテンシを短縮します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Eval Harness|評価ハーネス 🎯 プロンプトを変えたら品質が下がっていた、モデルが更新されていつの間にか精度が劣化していた――気づいたのはユーザクレームの後でした。評価ハーネスがあれば、デプロイ前に検知できます。 🔥 解決する課題 AIエージェントは確率的であり、コードの単体テストのように全入力に対して正解が決定論的に定まりません。ハルシネーションは個別の目視確認では検出しきれず、LLMドリフト(プロバイダ側のモデル更新による品質変動)は自チームが何も変更していなくても発生します。評価ハーネスがなければ、品質劣化は本番のユーザクレームとして初めて顕在化します。 💡 提案パターン ゴールデンデータセット(入力と期待出力のペア)と自動評価関数(完全一致・LLM-as-Judge・カスタムメトリクス)を組み合わせた評価パイプラインを構築します。プロンプト・モデル・コードの変更ごとにCIで回帰検知を行い、変更がなくても日次〜週次の定期実行でLLMドリフトを検知します。評価はオフライン(デプロイ前バッチ)、オンライン(本番サンプリング)、シャドウ(A/B比較)の3層で実施します。回帰ゲートの閾値は安全性カテゴリでは劣化0件を推奨します。 ✅ 選定条件 使うとき: - エージェントが本番トラフィックを処理し、プロンプト・モデル・コードを継続的に変更する - 品質変化を定量的に示す必要がある(SLA遵守・規制報告等) - ゴールデンデータを作成・維持できるドメイン知識がある 使わないとき: - プロトタイプ段階でプロンプトが日単位で大幅に変わる - 出力がクリエイティブ生成(小説・詩)で正解の定義が困難 - 後段に決定論的検証ロジックがあり誤りが自動修正される ⚠️ 落とし穴 - ゴールデンデータは腐敗します。仕様変更に伴い期待出力が古くなると正しい出力が「回帰」と判定されます。オーナーと最終更新日を付与し定期棚卸ししてください - LLM-as-Judgeも確率的です。温度0でも判定が揺れる場合があるため、重要ケースでは3回実行の多数決を検討してください - ベースラインスコアの更新タイミングを明示的に定めておかないと、劣化が見えなくなります 🔧 実装方針 - ゴールデンデータセット(入力と期待出力のペア)にカテゴリ・評価関数名・期待キーワードを構造化して定義し、カテゴリ別に集計・回帰判定します - 評価パイプラインはオフライン(CI上でのデプロイ前バッチ)、オンライン(本番サンプリング)、シャドウ(新旧A/B比較)の3層で運用します - 回帰ゲートはベースラインとの相対比較で判定し、安全性カテゴリでは劣化0件、一般カテゴリでは概ね2%以内の劣化を閾値とします - シャドウ実行では副作用を持つツール実行をドライランにし、カナリアデプロイではsticky sessionで同一ユーザーを同一バージョンに固定します - ゴールデンデータにオーナーと最終更新日を付与し、仕様変更に伴う腐敗を定期棚卸しで防止します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Short DB Transaction, Long Agent Session|長セッション・短トランザクション 🎯 LLMの推論中にDBトランザクションを開いたままにしていませんか?数秒〜数十分の待機でコネクションプールが枯渇し、システム全体が止まります。 🔥 解決する課題 従来のWebアプリではリクエスト処理がミリ秒で完結するため、トランザクション=リクエストスコープで問題ありませんでした。しかしAIエージェントのLLM呼び出しは数秒〜数十分に及びます。その間トランザクションを開いたままにすると、コネクションプール枯渇・デッドロック・ロック競合・トランザクションタイムアウトが同時多発します。P99レイテンシがP50の数倍になることもあり、「平均的には問題ない」設計でもテール側で障害が発生します。 💡 提案パターン LLM推論の間はトランザクションもコネクションも保持しません。DB読取を短トランザクションで行いコミット・コネクション返却した後にLLMを呼び出し、推論結果を再び短い独立トランザクションで書き込みます。ステップ間の中間状態は外部ステートストア(Redis、DynamoDB等)に永続化し、クラッシュ後の再開を可能にします。楽観的ロック(versionカラム等)でLLM推論中のデータ競合に対処し、悲観的ロックの長時間保持は避けます。 ✅ 選定条件 使うとき: - エージェントがLLM呼び出しの前後でDB読み書きを行う - LLM呼び出し1回あたりの所要時間が概ね1秒を超える - 同時セッション数がコネクションプールサイズの半分に達しうる 使わないとき: - LLMを使わない従来のCRUD処理 - 単一トランザクションでアトミックに完結しなければならない操作(銀行間送金等) ⚠️ 落とし穴 - 読取と書込の間に他プロセスが同じ行を更新する可能性があります。楽観的ロックを必ず併用してください - コネクションプールサイズは「同時セッション数」ではなく「同時トランザクション実行中のステップ数」で計算します。本パターンにより同時セッション数の10-20%で運用可能です - 不可逆な操作を含むセッションでは、ステートストアにディスク永続化を持つストアを選んでください 🔧 実装方針 - DB読取→コミット→コネクション返却→LLM呼び出し→再取得→結果書込の順で、LLM推論中はトランザクションもコネクションも保持しません - 楽観的ロック(versionカラムやupdated_at)を書込トランザクションに含め、LLM推論中のデータ競合をリトライで解決します - ステップ間の中間状態は外部ステートストア(Redis、DynamoDB、RDB上のセッションテーブル等)に永続化し、クラッシュ後の再開を可能にします - コネクションプールサイズは同時セッション数ではなく同時トランザクション実行中のステップ数で設計します(概ね同時セッション数の10-20%) - 不可逆性が高いセッションではディスク永続化を持つステートストアを選定し、耐久性要件に合わせます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Verified Structured Output|検証済み構造化出力 🎯 LLMの出力をそのまま下流システムに流していませんか?JSONが壊れている、値が不正、フィールドが足りない――「黙って壊れる」を防ぐのがこのパターンです。 🔥 解決する課題 LLMの出力は本質的に曖昧な自然言語です。下流のコードやAPIが期待する型やフィールドに従わない出力が返ると、パース失敗・型エラー・無効な値の混入がサイレントに後続処理を破壊します。フォーマットが正しくても「過去の日付を未来として返す」「存在しない商品IDを含める」といったビジネスルール違反は、構文チェックだけでは検出できません。 💡 提案パターン LLMの出力をresponse_formatやfunction_callingでJSON Schemaに準拠させる第1層(スキーマ検証)と、決定論的コードでビジネスルール制約を検証する第2層(意味的検証)の二段構成にします。違反時はエラー内容をコンテキストに追加して自己修正リトライを行い、予算内(目安1-3回)で収束しなければfail-fastします。温度は0.0-0.3に設定し、構造化出力の従順率を確保します。 ✅ 選定条件 使うとき: - LLMの出力を下流のコード・API・データベースが消費する - 出力が従うべきスキーマ(型・必須フィールド・値域)が定義可能 - 不正な出力が後続処理を壊すと業務影響がある 使わないとき: - 出力が自由形式のテキスト(要約・対話)で構造化の必要がない - 出力スキーマが頻繁に変わりスキーマ維持コストが利益を上回る - 不正出力をそのまま捨てても問題ない低リスク用途 ⚠️ 落とし穴 - リトライ時にエラーメッセージを毎回追加するとトークン消費が膨らみます。直前のエラーだけを渡すか要約する工夫が必要です - スキーマのフィールド数が多すぎると(概ね15超)LLMの従順率が下がります。大きいスキーマは分割呼び出しを検討してください - response_formatはプロバイダ依存です。スキーマ定義はPydanticやJSON Schemaなど中間表現で管理してください 🔧 実装方針 - 第1層(スキーマ検証)ではresponse_formatやfunction_callingでJSON Schemaに準拠させ、Pydanticモデルで型・値域を強制します - 第2層(ビジネスルール検証)では決定論的コードで日付範囲・ID存在・権限等のドメイン制約を検証します - 検証失敗時はエラー内容をコンテキストに追加して自己修正リトライを行い、予算(目安1-3回)で打ち切りfail-fastします - LLMの温度は0.0-0.3に設定し、構造化出力の従順率を確保します - スキーマ定義はPydanticやJSON Schemaなどプロバイダ非依存の中間表現で管理し、移植性を担保します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Risk-based Human Approval|リスクベース人間承認 🎯 エージェントに「全部お任せ」も「全部確認」も間違いです。操作のリスクに応じて自動実行・人間承認・禁止を動的に振り分けるのが正解です。 🔥 解決する課題 エージェントが外部システムに副作用を持つ操作を実行できるとき、すべてを自動実行すれば不可逆な損害が起きえます。しかしすべてに人間承認を求めれば待ち時間で業務が止まり、エージェントの自動化の価値が消失します。LLMに「危険だと思ったら聞いて」と指示しても、その判断自体が確率的でありすり抜けが起きます。 💡 提案パターン 操作をリスクスコア(不可逆性 x 失敗コスト)で3層に分類します。低リスク(読取・可逆操作)は自動実行、中〜高リスク(不可逆または高コスト)は人間承認を経由、極高リスク(不可逆かつ致命的)は禁止とします。分類はLLMではなく決定論的なルールエンジンで行い、承認タイムアウト後のデフォルトは安全側(自動却下)に倒します。さらに段階的自律性(Autonomy Ladder)により、エージェントの実績に応じて閾値を動的に調整する仕組みも設計できます。 ✅ 選定条件 使うとき: - エージェントが書込・削除・送信など副作用を伴う操作を実行する - 操作によって不可逆性と失敗コストが異なり、一律ポリシーでは過剰か不足になる - 人間がレビューに関与できる運用体制がある 使わないとき: - すべての操作が読取専用で副作用がない - 失敗コストが一律に低くロールバックが容易 - レイテンシ要件が極めて短く人間介在を許容できない ⚠️ 落とし穴 - リスク分類自体をLLMに任せてはいけません。分類は決定論的なコードかポリシーエンジンの責務です - 承認待ちの状態を永続化しないと、プロセス再起動で承認待ち操作が消失します - 条件付き承認(パラメータ修正して実行)を設計に含めないと、却下と再提案のラウンドトリップが増えます 🔧 実装方針 - リスク分類はツール名×アクション名の静的テーブルまたはポリシーエンジンで行い、LLMには委譲しません - リスクスコアは不可逆性(reversibility)と失敗コスト(failure_cost)の積で算出し、閾値で3層(auto/approval/forbidden)に振り分けます - 承認待ち状態は耐久的なストア(キュー+永続化)に保持し、プロセス再起動で消失しない設計にします - 承認タイムアウト時のデフォルト動作は安全側(自動却下)に倒します - リスクポリシーはYAML等の宣言的設定として外部化し、コード変更なしでルール追加・変更できるようにします #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # コンテキスト予算配分 🎯 「全部入れれば精度が上がる」は幻想です。コンテキストウィンドウは有限の予算として管理しましょう。 スロットごとに配分比率を決め、信号密度を最大化するパターンです。 🔥 解決する課題 RAGやメモリを使うエージェントでは、検索結果・会話履歴・システム指示・長期メモリが同じコンテキストウィンドウを奪い合います。情報を詰め込むほどコストは増え、会話が長くなるとシステム指示の割合が縮んで振る舞いが劣化します。さらに"Lost in the Middle"問題により、窓の中盤に置かれた重要な情報が実質的に無視されてしまいます。 💡 提案パターン コンテキストウィンドウをシステム指示・検索結果・会話履歴・メモリなどのスロットに分け、各スロットに最大占有率と優先度を設定します。システム指示は圧縮対象外の固定枠(10〜20%)として先に確保し、検索結果はリランク後にtop-k件に絞り、履歴は窓使用率が閾値を超えたら要約圧縮します。配置順序はLost in the Middle対策として、最重要情報を先頭に、直近入力を末尾に置きます。cost_sensitivityが高い環境ほどtop-kを絞り、圧縮閾値を下げ、履歴を短く保ちます。 ✅ 選定条件 使うとき: - RAGやメモリを使い、投入候補がモデル窓サイズの50%を超えうる - コスト感度が中以上で、投入トークンの増加がコストや推論時間に影響する - 複数ターンの会話で履歴が蓄積し、他の情報のスペースを圧迫する 使わないとき: - 投入情報がシステム指示+単発入力のみで窓の30%未満に収まる場合 - ロングコンテキストモデルを使い投入量が窓の20%未満、かつコスト感度が低い場合 ⚠️ 落とし穴 - システム指示を圧縮対象にしてはいけません。ツール定義や安全指示が削られると振る舞いが壊れます - リランクなしのtop-kは信号密度が低いです。ベクトル検索上位20件からクロスエンコーダで3〜8件に絞りましょう - 要約圧縮は非可逆です。重要な決定事項や固有名詞が落ちるリスクがあるため、キーワード抽出を併用してください 🔧 実装方針 - コンテキストウィンドウをスロット(system/user/retrieval/history/memory)に分割し、各スロットに最大占有率・優先度・圧縮可否を定義した構造体で管理します - システム指示は圧縮対象外の最高優先度として先に確保し、残りの予算を他スロットに優先度降順で配分します - 検索結果はベクトル検索の上位候補をクロスエンコーダでリランクしてから予算内に収め、信号密度を最大化します - 履歴スロットが予算を超過した場合は要約圧縮を適用し、圧縮前にキーワード抽出して重要情報の欠落を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Dry-run & Commit|差分提示してから実行 🎯 LLMがハルシネーションしたパラメータで決済が走る。それ、dry-runで防げます。 Terraformの plan → apply と同じ発想をエージェントのツール呼び出しに適用。「何が変わるか」を見てから実行する二相プロトコルです。 🔥 解決する課題 LLMはハルシネーションで意図しないパラメータを生成することがあり、ツール呼び出しは副作用を伴います。この二つが掛け合わさると、存在しないリソースIDや桁違いの金額で不可逆な操作が実行されるリスクが生まれます。dry-runなしの直接実行では、人間が「エージェントが何をしようとしているか」を確認する手段がなく、問題は事後にしか検出できません。 💡 提案パターン 副作用を伴う操作を「計画(dry-run)→ 差分提示 → 承認 → 実行(commit)」の二相で行います。dry-runフェーズではシステムを一切変更せず差分だけを計算し、承認を得てからcommitフェーズで書込を実行します。承認方式はリスクに応じて段階化し、高リスクは人間承認、中リスクはポリシー自動検証、低リスクは自動承認とします。planにはTTLを設け、状態変化が起きていたら再生成を強制します。 ✅ 選定条件 使うとき: - 不可逆な操作(データ削除、外部API書込、課金処理)をエージェントが実行する - 誤操作が金銭的・法的・運用的な実害を生みうる - 差分を評価するための数秒〜数分の待機が許容される 使わないとき: - 全操作が読み取り専用の場合 - 全操作が可逆かつ低コストの場合(チャット応答生成など) - レイテンシ制約が極めて厳しく承認待ちが許容されない場合 ⚠️ 落とし穴 - planとcommitの間に状態が変わるTOCTOU問題があります。commit時に前提条件を再検証する設計が必須です - 外部APIがdry-runモードを提供していない場合は、パラメータ検証とシミュレーションで代替し「推定」であることを明示します - commitエンドポイントがplan IDなしで呼べると、dry-runを迂回できてしまいます 🔧 実装方針 - ツール実行をdry-run(差分計算のみ)→承認→commit(実行)の三段階パイプラインとして構成し、各フェーズを独立したエンドポイントに分離します - planオブジェクトに変更前後の値・影響範囲・ロールバック手順・前提条件のハッシュを含め、commit時に前提条件の再検証(TOCTOU対策)を行います - commitエンドポイントは有効なplan IDと承認トークンの両方を必須パラメータとし、直接呼び出しによるdry-run迂回を構造的に防止します - planにTTLを設定し、期限切れの場合は再planを強制することで、古い差分に基づく実行を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # 読取自由・書込ゲート 🎯 「全ツール呼び出しに承認を求める」設計は、承認疲れで自壊します。 読取と書込を非対称に扱うだけで、安全性と生産性の両立が実現できます。承認すべき操作に人間の注意を集中させましょう。 🔥 解決する課題 エージェントのツール呼び出しには副作用のある操作とない操作が混在しています。すべてに一律の承認を求めると、読取が大半を占める実運用では承認疲れが発生し、肝心の書込操作の承認が形骸化してしまいます。かといってすべてを自由にすれば、不可逆な書込操作で取り返しのつかない変更が走るリスクが残ります。 💡 提案パターン ツール呼び出しを「読取(検索・取得・参照)」と「書込(作成・更新・削除・送信)」に二分し、読取は自由に許可、書込にだけ認可・検証・承認・監査のゲートを設けます。R/W分類はツール定義時に静的に付与し、LLMの判断には委ねません。書込ゲートの厳格度は可逆性で段階化し、不可逆操作(メール送信・決済)は人間承認必須、可逆操作(下書き保存)はポリシー検証のみとします。これにより承認疲れを劇的に減らしつつ、副作用の安全性を維持できます。 ✅ 選定条件 使うとき: - 読取と書込が混在し、読取が多数を占める - 不可逆な書込操作(メール送信、決済、本番DB変更)が含まれる - 承認疲れを防ぎ、人間のレビュー帯域を高リスク操作に集中させたい 使わないとき: - 読取自体が機密データへのアクセスを含む場合(個人情報検索など)は、読取にも認可が必要 - 全操作が読取専用で書込がそもそも存在しない場合 - 実験環境で全操作が可逆かつ低コストな場合 ⚠️ 落とし穴 - R/W分類をLLMに任せてはいけません。インジェクションで書込ツールが「読取」と判断される経路を作ります - 「読取だが副作用がある」操作(API呼び出し回数カウント、閲覧履歴記録など)を見落とさないでください - 可逆な書込と不可逆な書込を同じ厳格度にすると、承認疲れの問題が再発します 🔧 実装方針 - ツール定義時にtype(read/write)とgate種別(none/auto/human_approval)を静的に付与し、実行時にLLMが分類を変更できない構造にします - 読取パスではメタデータのみをログに記録し、書込パスでは入力検証・ゲート判定・実行・監査ログの全量記録をパイプラインとして実装します - 書込ゲートの厳格度をreversibleフラグで段階化し、不可逆操作にはdry-runの前段必須化も組み合わせます - ゲート判定ロジックはゲートウェイ層のコードで強制し、プロンプトによる制御は一切使用しません #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # ツールゲートウェイ・MCP仲介 🎯 エージェントのツール呼び出し、全部「野良API」になっていませんか? AIエージェントが複数のツールやMCPサーバを直接呼び出す構成は、認可漏れ・二重実行・監査不能の温床です。単一のゲートウェイを挟むだけで、セキュリティの一貫性が劇的に変わります。 🔥 解決する課題 エージェントが外部ツールを直接叩く構成では、認可・レート制限・ログがツールごとにバラバラになります。プロンプトインジェクションで悪意ある引数が混入しても個別ツール側では弾けず、権限昇格や意図しない操作が起きえます。さらに呼び出しログが分散し、「誰の権限で・なぜこのツールが呼ばれたか」の事後追跡コストが跳ね上がります。 💡 提案パターン 全ツール呼び出しを単一のゲートウェイ層に集約し、認可・入力サニタイズ・レート制限・監査ログを一元管理します。タスク種別やユーザ権限に応じてツールを動的にスコーピングし、LLMに不要なツールを見せない設計にします。書込系ツールには操作単位の細粒度認可とHITL承認を、読取系にはカテゴリ単位の緩い認可を適用する非対称ポリシーが鍵です。ツールの追加・削除もゲートウェイの設定変更だけで完結し、エージェント本体のコード変更は不要になります。 ✅ 選定条件 使うとき: - エージェントが複数ツールを呼び出し、少なくとも一つが副作用を持つ - ユーザ入力や外部データがツール引数に含まれうる(input_trustが低い) - 「どのツールが・どの引数で・誰の権限で呼ばれたか」の説明義務がある 使わないとき: - ツールが1つだけかつ読み取り専用で、ゲートウェイのオーバーヘッドが見合わない - 全ツールが社内信頼済みの実験環境で、まずプロトタイプ速度を優先したい ⚠️ 落とし穴 - ゲートウェイ自体が単一障害点になります。ヘルスチェックと縮退モード(読取のみ許可など)の設計が必須です - 認可やサニタイズをプロンプトで行ってはいけません。「このツールは使わないで」はインジェクションで迂回されます - レート制限はセッション単位だけでは不十分です。大量セッション攻撃に備え、グローバル単位との二層で設けましょう 🔧 実装方針 - ゲートウェイのポリシーをYAML等の宣言的定義で管理し、ツールごとにtype(read/write)・認可粒度・レート制限・サニタイズ・ログレベルを設定します - タスク種別・ユーザ権限・会話フェーズに応じてLLMに露出するツールを動的にスコーピングし、不要なツールを選択肢から除外します - ヘルスチェックと縮退モード(読取のみ許可)を設け、ゲートウェイ障害時にもシステム全体が停止しない設計にします - MCPサーバ間のスキーマ不統一をゲートウェイ層で正規化し、エージェントには一貫したインターフェースを提供します - 高リスクなコード実行はサンドボックスへルーティングし、長時間セッションには短命の権限リースで権限範囲を時間制限します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Model Router & Adaptive Effort|モデル段階化と適応的努力配分 🎯 全リクエストを最高性能モデルで処理していませんか? タスク難易度に応じてモデルを使い分けるだけで、品質を落とさずにコストを大幅に削減できます。実運用ではリクエストの60〜80%が軽量モデルで十分に処理できることが多いです。 🔥 解決する課題 すべてのリクエストを最高性能モデルで処理すると月間予算を容易に超過します。一方、すべてを軽量モデルに寄せると複雑な推論や計画タスクで品質が崩壊します。大型モデルはレイテンシも大きく、単純なタスクにまで使うとシステム全体の応答速度が不必要に悪化します。「コストか品質か」の二者択一に陥るのが問題です。 💡 提案パターン タスクの難易度・種別・リスクに応じて呼び出すモデルを動的に選択します。まず軽量モデルで試行し、信頼度が低ければ上位モデルへエスカレーションする構成です。ルーターはまずルールベース(入力長・タスク種別・キーワード)で始め、精度不足なら分類器を追加します。2〜3層(小型・中型・大型)が運用しやすい出発点です。 ✅ 選定条件 使うとき: - タスクの種類が多岐にわたり、定型処理と高度処理が混在している - 月間コスト上限が明確に存在する - トラフィックが十分にあり、ルーティング機構のコストを回収できる 使わないとき: - 全リクエストが同程度の難易度 → 単一モデルで十分 - 全件で品質を1%も落とせない → 常に最高性能モデルを使い、キャッシュでコスト削減 - リクエスト量が少なく(月数百件以下)、ルーティング開発コストが節約額を上回る ⚠️ 落とし穴 - ルーター自身のコストを無視しないでください。LLMをルーターに使うと、分類コストだけで軽量モデル1回分に匹敵する場合があります。まずルールベースで始めてください - 信頼度の定義を明確にしてください。構造化出力のパースエラー率・回答の拒否率・内部ログ確率など、測定可能な指標に落とし込まないと運用できません - エスカレーション無限ループを防いでください。最上位モデルでも信頼度が低い場合の打ち切り条件を設定し、人間エスカレーションまたはエラー返却にしてください 🔧 実装方針 - ルーターはまずルールベース(入力長・タスク種別・キーワード)で実装し、分類精度が不足した場合にのみメタ分類器へ昇格させます - モデル階層は2〜3層(小型・中型・大型)を共通インターフェースで抽象化し、プロバイダ差し替えを容易にします - 軽量モデルの応答に対して信頼度チェック(パースエラー率・拒否率・ログ確率)を行い、閾値未満なら上位モデルへ自動エスカレーションします - エスカレーションは最上位で打ち切り、それでも信頼度が低い場合は人間エスカレーションまたはエラー返却にします - ルーティング比率・コスト・レイテンシを定期的に監視し、モデルバージョン変更によるドリフトに備えて閾値を再調整する運用体制を整えます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る