# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 棄権閾値｜Abstention Threshold 🎯 ポイント エージェントが「自信がないときに黙る」仕組み、ちゃんと設計していますか？ 棄権閾値とは、エージェントが「自信がない」と判断して回答を棄権し人間にエスカレーションする信頼度スコアの境界線です。低すぎると誤答がユーザーに届き、高すぎるとエスカレーションだらけで自動化の意味がなくなります。誤答コストの大きさに応じてタスクカテゴリごとに異なる閾値を設定する多段構成が正解です🔑 📋 概要 棄権閾値は、エージェントが回答に自信がないときに人間へのエスカレーションを発動する信頼度スコアの基準値です。閾値が低ければ自動解決率は上がりますが誤答リスクも上がり、高ければ安全ですがエスカレーションが増えて人間の負荷と応答遅延が増大します。「間違った回答を自信満々にする」エージェントは信頼を致命的に損ないます。一方で「何でもかんでも聞いてくる」エージェントは導入の意味がありません。この間のバランスを、業務の誤答コストに基づいて精密に設計するのがこのダイヤルの役割です。 🔍 意思決定のポイント このダイヤルは「誤答した場合のコスト」で決めます。 致命的（不可逆・法的リスク・金銭損害）→ 高い閾値（0.85〜0.95）。返金金額の誤り、契約条件の誤案内、医療・法律相談など。少しでも不確実なら棄権。 中程度（修正可能だが手間がかかる）→ 中程度の閾値（0.70〜0.85）。Jiraチケットの優先度誤判定、Salesforceの商談ステージ誤更新など。 軽微（すぐ修正でき影響が限定的）→ 低い閾値（0.50〜0.70）。FAQ回答候補の表示、Slackでの情報検索結果など。多少の誤りは許容。 一律の閾値は避け、タスクカテゴリごとに異なる閾値を設定する多段構成にしてください⚡ 💡 要点と詳細 棄権閾値を機能させるには、信頼度スコアの設計が重要です。4つの算出方法があります： モデルのlogprob — トークンレベルの確率を集約します。分類タスクでは有効ですが、自由形式の回答では使いにくくなります。 自己評価プロンプト — 「回答の確信度を0〜1で評価せよ」と追加プロンプトで問います。キャリブレーションが必要です。 複数回生成の一致度 — 同じ入力を3〜5回生成し、回答の一致率を信頼度とします。コストはかかりますがロバストです。 検索ヒットの関連度スコア — RAGベースの回答では、検索結果の類似度スコアを信頼度の代理指標にします。 計測すべき指標は、自動解決率（エスカレーションせずに完了した割合）、誤答率（自動回答のうち誤っていた割合、目安として2〜5%以下）、不要棄権率（棄権したが正しく回答できていたケースの割合）、エスカレーション後の解決時間、そして信頼度スコアのキャリブレーション（信頼度0.8の回答の実際の正答率が80%前後か）です📊 ⚖️ トレードオフ 閾値が低すぎると、自動解決率は上がりますが誤答がユーザーに到達します。「間違った回答を自信満々にする」ケースが増え、信頼毀損や実害が発生します。特に金銭・法的リスクが絡む業務では、一度の誤答が取り返しのつかない結果を招きます😰 一方、閾値が高すぎると、エスカレーションが増えすぎて人間がボトルネックになります。ユーザーの待ち時間が増加し、エージェント導入の価値が問われます。期待される自動解決率の目安は、致命的リスクで40〜60%、中程度で60〜80%、軽微で80〜95%です。この数字から大きく外れていれば閾値の見直しが必要です⚠️ 🛠️ ユースケース Zendesk顧客対応：返金・解約に関する回答は閾値0.90で厳格に棄権します。間違った返金額を案内するリスクは取れません。一方、商品情報の案内は閾値0.65で自動回答を優先し、スループットを確保します📚 ServiceNow ITサポート：パスワードリセット手順（定型・低リスク）は閾値0.50で積極的に自動対応。権限変更の承認判断（高リスク）は閾値0.90で、不確実なら即エスカレーションします🎯 Salesforce営業支援：商談の受注確度予測は閾値0.75。データが不十分で信頼度が閾値を下回る場合は「判断を保留します。追加情報をご確認ください」と棄権し、誤った確度予測による営業判断ミスを防ぎます🔧 実践のコツ：初期は高めの閾値（0.85）で開始し、2〜4週間のデータ蓄積後に不要棄権率を分析して0.05刻みで下げてください。誤答率が許容範囲を超えたら即座に閾値を戻すこと。信頼度スコアのキャリブレーションは月次で実施し、モデル更新によるドリフトを補正してください。棄権時には「確認中です、担当者におつなぎします」のように、棄権を透明に伝えるUX設計も忘れずに💪 #AIエージェント# #エンタープライズアーキテクチャ#

【発表】エフサステクノロジーズ（FTI）のオンプレミス生成AI基盤 Private AI Platform on PRIMERGY で、PLaMo 2.2 Prime および PLaMo翻訳が利用可能となりました。クラウドを介さず自社内に設置したオンプレミス環境で、高速かつ安全に運用いただけます。

動画生成AIに複数ステップで考える力を持たせる新手法HDR（Hierarchical Denoising for Visual Reasoning）が発表された（https://arxiv[.]org/html/2607.15278v1）。 いまの動画生成AIの多くは拡散モデル（ランダムなノイズを少しずつクリアな映像に近づけていく生成の仕組み）を使っていて、迷路やハノイの塔のような視覚的な推論もできるようになってきた。ただし既存の生成方式には弱点がある。ストリーミング型（過去のフレームだけを見て左から右へ逐次生成する方式、CausVidなど）は速いが、一度生成したフレームを後から直せず序盤の判断ミスを引きずる。双方向型（動画全体を毎ステップまとめてノイズ除去する方式）は前の判断を修正できて賢いが、毎回全フレームを更新するので計算コストが重くストリーミングに向かない。 HDRは動画の潜在表現（モデル内部で圧縮された動画データ）を6段階の木構造の階層に組む。粗いレベルはノイズを多めに残して複数の可能性を保持したまま大枠の計画を立て、細かいレベルに降りるほどノイズを削って具体的な映像へ絞り込む。各階層の中は左から右への逐次生成を保つのでストリーミングの速さはそのまま。SHAP（疎な階層的注意機構、各フレームが近くのフレームと一つ上の階層だけを参照して計算量を抑える仕組み）も導入している。論文では、既存方式が迷路で序盤に間違った分岐を選んで失敗するのに対し、HDRは分岐の判断を保留してから細部を詰めて正解にたどり着く例が紹介されている。 迷路・ハノイの塔・一筆書き・スライドパズル・倉庫番・水注ぎの6タスク、370本の評価動画によるベンチマークでは、ストリーミング型ベースライン（CausalForcing）比で成功率が34.22から60.29へ（76.2%の相対改善）、平均進捗スコアも76.00から89.56へ向上。推論速度は1フレームあたり0.70秒で、双方向型（37.92秒）より54.2倍速いのにストリーミング型ベースライン（0.72秒）とほぼ同速。学習データを2%に絞っても82.9%の成功率を維持できており（双方向型は52.0%まで低下）、データ効率の高さも見どころ。実機ロボットアームの迷路実験でも同じ枠組みが機能したという。

言語モデルの推論ミスには「型」があった。トークンレベルの不確実性が、その“失敗のサイン”を映し出します🔬 タイトル: How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures URL: 🔬 概要 言語モデルが推論にどう失敗するのかを、トークンレベルの不確実性から分析した研究です。失敗が立ち現れるパターンを特徴づけ、検出に活かせる手がかりを示します。 ❓ 解決する課題 モデルは推論に失敗しますが、そのメカニズムは未解明でした。「いつ・どう失敗が検出可能になるか」を理解することが、信頼性向上に不可欠です。 💡 方法論と提案手法 トークン単位の不確実性分析から、2つの失敗パターンを特定しました。 ・コミット型の失敗：早い段階で誤った推論経路に固執する。診断上の「コミット点」があり、それを過ぎるとトークンを足すほど検出が難しくなる ・持続的な不確実性：生成全体で不確実性が徐々に蓄積し、成功と失敗の区別には全トレースが必要 複数のモデル×データセットでシグナルを分析しました。 📊 実験結果 ・23のモデル×データセット構成で検証 ・反証可能な予測が23例中20例で成立（偶然を大きく上回る） ・不確実性シグナルが自己整合性を補完する場面と、冗長になる場面を識別 #LLM# #信頼性#

「CI/CDのYAML、もう手で書きたくない」——その願いを叶えにきた研究です⚙️ 自然言語の説明から、リポジトリに合ったパイプラインを自動生成します。 タイトル: AutoPipelineAI: Context-Aware CI/CD Pipeline Generation from Natural Language URL: ⚙️ 概要 本研究は、自然言語の説明からCI/CDパイプライン構成を自動生成するシステム「AutoPipelineAI」を提案しています。LLMを活用し、リポジトリの構造を解析したうえで、GitHub ActionsやGitLab CI/CD向けのプラットフォーム固有スクリプトを生成し、検証とフィードバックで品質を担保します。 ❓ 解決する課題 現代の開発では、テストやデプロイを自動化するCI/CDパイプラインが欠かせませんが、その設定は難しく時間のかかる作業です。 ・GitHub ActionsやGitLab CI/CDなど、プラットフォームごとに異なる構文を理解する必要があります ・その複雑さが設定ミスや生産性の低下を招きます ・特にDevOps経験の浅い開発者にとっては、大きな参入障壁になっていました 💡 方法論と提案手法 AutoPipelineAIは、3つの主要コンポーネントで構成されます。 ・リポジトリ認識型の解析：プロジェクト構造を分析し、どんな言語・依存・構成かという文脈を理解します ・LLMによる変換：開発者の自然言語による意図を、対象プラットフォーム固有の構成へ翻訳します ・自動検証とフィードバック：生成したパイプラインの正確さと使いやすさを確認し、必要に応じて修正します 単に文章をYAMLに変換するのではなく、リポジトリの文脈を取り込んでターゲット環境に合った構成を作る点が「Context-Aware（文脈認識）」たる所以です。 🌍 ユースケース / 実験結果 評価は、実務に直結する観点で行われました。 ・precision（精度）指標 ・構成の妥当性（configuration validity） ・手作業に対する労力削減（effort reduction） これらを通じて、「リポジトリ認識・自然言語駆動のCI/CD生成が、実用的で有望なパラダイムである」という初期的な証拠が示されました。DevOps専任がいない小規模チームのオンボーディングコストを下げる効果が期待されます。 #CICD# #DevOps#

# Antigravityの機能と実践的な使い方 🚀 「考えてから動く」Planと「すぐやる」Fast。タスクの性質に応じて、慎重さとスピードを使い分けられます。 📌 タイトルと機能のURL タイトル: Plan / Fast モード URL: 📝 概要 Antigravityには2つの実行モードがあります。Planモードは着手前に詳細な計画（計画Artifact＝Implementation Plan）を生成し、承認を経てから実装します。Fastモードは計画フェーズを挟まず、依頼を即座に解釈して実行します。複雑なタスクはPlan、軽微な修正はFastという使い分けが基本です。 🔧 機能の説明 両モードの動きは次のとおりです。 ・Planモード：範囲を分析しファイルを調べ、目標・技術選定・手順・変更ファイル・テスト方針をまとめた実装計画を生成。承認後に実装し、完了後はウォークスルーで変更点を記録します。 ・インタラクティブな承認：計画の該当箇所をハイライトしてコメントでき、エージェントは反映してから実装に入ります。 ・Fastモード：「とにかくやる」方針で、計画や承認待ちなしに即実行し、結果を報告します。 ・モード切替：インターフェースの操作、またはキーボードショートカット（Cmd/Ctrl + .）で切り替え。現在のモードは入力欄に表示されます。 🛠 実践的な使い方 ・複雑なリファクタや本番影響のある変更はPlanで計画を承認してから着手します。 ・タイプミス修正・変数リネーム・定型ボイラープレートなど軽微な作業はFastで即実行します。 ・基盤的な作業はPlanで進め、その後の微調整はFastに切り替える、という併用が効果的です。 ・モード切替は新規リクエストにのみ適用され、進行中タスクは元のモードのまま続きます。 🎯 ユースケース ・大規模リファクタをPlanで計画Artifactとして承認してから安全に実装する。 ・ボタン追加やtypo修正をFastで即座に片付ける。 ・不慣れな技術領域ではPlanで方針を確認し、パターンが定まったらFastへ。 ・本番・重要システムへの変更はPlanでオーバーサイトを確保する。 ⚠️ 注意点 ・Fastは曖昧さを解消する計画フェーズが無いため、依頼は具体的に。1度に複数を束ねず単一タスクに絞ります。 ・Fastはスピードと引き換えに網羅性を犠牲にします。重要な変更には向きません。 ・モード切替は進行中タスクに遡及しません。切り替えは次の依頼から有効です。 #Antigravity# #AIcoding#

便利だけど知られていないOpenAI APIの機能 🐍 「このデータを分析して」と言うだけで、AIがコードを書いて実行してくれたら便利だと思いませんか？ OpenAIの「Code interpreter（コードインタープリタ）」は、サンドボックス環境でPythonを実行し、データ分析やファイル処理ができるホスト型ツールです。コードの生成だけでなく実行まで一気通貫で任せられます。 📌 タイトル：Code interpreter（コードインタープリタ） 🔗 URL： 🧩 概要 通常のLLMはコードを「書く」ことはできても「実行する」ことはできません。Code interpreterはサンドボックス内でPythonコードを実行し、計算結果やグラフ、ファイルの加工結果を直接返せる仕組みです。データ分析、数値計算、ファイル変換など「結果が必要」なタスクで威力を発揮します。 🛠 使い方 ツール定義にcode_interpreterを追加します。モデルが必要に応じてPythonコードを生成・実行し、結果をレスポンスに含めて返します。ファイルのアップロード・ダウンロードにも対応しており、CSVやExcelを渡して分析結果を受け取ることも可能です。 🏗 本番システムへの組み込み方 ・データ分析ダッシュボード：ユーザーが自然言語で質問すると、裏側でPythonを実行して集計・可視化した結果を返す。 ・レポート自動生成：アップロードされたデータファイルを分析し、グラフ付きのレポートを自動で作成。 ・ファイル変換パイプライン：CSV→JSON、画像リサイズ、PDFからのテキスト抽出などのファイル処理を自動化。 ・数学・統計の計算サービス：複雑な計算をコード実行で正確に処理。LLMの計算ミスを回避できる。 💡 ユースケース 📊 自然言語によるデータ分析・可視化 📈 アップロードデータの自動レポート生成 🔄 ファイル形式の変換・加工 🧮 正確な数値計算・統計処理 ⚠️ 注意点 サンドボックス環境にはリソースの制限があり、非常に大きなデータセットや長時間の処理には向きません。また、サンドボックス内にインストールされていないパッケージは使えないので、特殊なライブラリに依存する処理は事前に確認が必要です。機密データを扱う場合は、データの取り扱いポリシーも確認しておきましょう。 ✨ 「コードを書いて実行する」をAIに丸ごと任せられる。まずはCSVファイルの分析から試してみてください。 #OpenAI# #LLM#

# ADKの便利で実践的な使い方 ## 🎨 実戦で使えるコールバックパターン集！ADKのCallback Design Patterns コールバックの基本は分かった、でも実際どう使うの？ADKの **Callback Design Patterns** で、ログ・キャッシュ・セキュリティなど実戦パターンをマスターしましょう！💪 ## 📌 タイトル Callback Patterns（コールバックデザインパターン） ## 🔗 URL ## 🧩 概要 ADKのコールバックには、実戦で繰り返し使われる定番パターンがあります。ロギング、キャッシュ、ステート管理、セキュリティガードレール、リクエスト/レスポンス変換、条件付きスキップ、アーティファクト処理などです。 さらに、これらのパターンを効果的に使うためのベストプラクティス（単一責任、パフォーマンス、冪等性、エラーハンドリング）も定義されています。 重要な判断基準として、**エージェント横断のセキュリティガードレールにはCallbacksよりもPluginsが推奨**されています。 ## 🛠 使い方 **パターン1: ロギング＆モニタリング** `logging_before_tool(ctx, tool, args)` では `ctx.invocation_id`、` を ` で記録し、`None` を返してフローを変更しません。`logging_after_model(ctx, response)` では ` の長さを ` で記録し、同様に `None` を返して観察のみ行います。 **パターン2: キャッシュ戦略** `cache_before_tool(ctx, tool, args)` では、` と `hash(str(args))` からキャッシュキーを生成し、`ctx.state.get(cache_key)` でキャッシュを検索します。キャッシュヒットすればその値を返してツール実行をスキップし、ミスなら `None` を返して通常実行します。`cache_after_tool(ctx, tool, args, tool_ctx, result)` では、同じキャッシュキーで `ctx.state[cache_key] = result` として結果を保存し、`None` を返してフローを変更しません。 **パターン3: ステート管理** `state_aware_callback(ctx, req)` では、`ctx.state.get("user:tier", "free")` でユーザーティアを取得し、`"premium"` であれば `req.config.system_instruction` にプレミアム向けの追加指示を動的に付加します。`None` を返してフローはそのまま続行します。 ## 🏗 実践的な使い方 **本番環境での多層防御パターン：** セキュリティガードレール（本番ではPluginsを推奨）として `security_before_model(ctx, req)` を定義します。`req.contents[-1].parts[0].text` からユーザー入力を取得し、`detect_pii()` でPIIを検出した場合は `audit_log()` で監査記録を残し、拒否メッセージ入りの `LlmResponse` を返してLLM呼び出しをスキップします。続いて `detect_injection()` でプロンプトインジェクションを検出した場合も同様にブロックします。いずれにも該当しなければ `None` を返して続行します。ツール引数のサニタイズとして `sanitize_before_tool(ctx, tool, args)` を定義し、` が `"database_query"` の場合に `args.get("query", "")` に `"DROP"` が含まれていればエラー辞書を返してツール実行をブロックします。アーティファクト保存として `save_artifact_after_agent(ctx)` を定義し、`generate_report(ctx)` でレポートを生成して `"execution_report.json", report)` で保存し、`None` を返します。 ## 💡 ユースケース - 📊 **構造化ロギング**：全実行ポイントで invocation_id 付きの構造化ログを出力 - 💾 **APIコスト削減**：before/after パターンでツール結果をキャッシュし、同じ引数の再呼び出しを防止 - 🔐 **多層セキュリティ**：PII検出、インジェクション防止、SQLサニタイズを各レイヤーに配置 - 📦 **アーティファクト管理**：実行結果やレポートをアーティファクトとして自動保存 - 🎚️ **動的振る舞い制御**：ユーザーティアやステートに応じてインストラクションを動的変更 ## ⚠️ 注意点 - **単一責任の原則**：1つのコールバックに1つの目的を持たせてください（ロギングとバリデーションを混ぜない） - **パフォーマンス**：コールバックは同期実行されるため、ブロッキングI/Oや重い処理は避けましょう - **冪等性**：外部副作用を持つコールバックは、リトライ時に安全であるように設計してください - **エラーハンドリング**：必ず try-except で囲み、コールバックエラーがプロセス全体をクラッシュさせないようにしましょう - **Plugins推奨**：エージェント横断のセキュリティポリシーには、Callbacksよりも **Plugins** を検討してください ## ✨ まとめ コールバックパターンを知ることで、ADKエージェントの実践力が格段に上がります。ログ・キャッシュ・セキュリティ・ステート管理…定番パターンを組み合わせて、堅牢でコスト効率の良いエージェントを構築しましょう。ただし、横断的なセキュリティにはPluginsの利用もお忘れなく！ #ADK# #AIAgent#