# ADKの便利で実践的な使い方 🧪 エージェントのプロンプトを変更したら、品質が下がっていないか確認していますか？ADKのEvaluation機能を使えば、テストファイル方式とデータセット方式の2つのアプローチでエージェントの品質を体系的に検証できます。CIに組み込めば、プロンプト変更の回帰テストも自動化できます。 📌 タイトル：Evaluation 概要 🔗 URL： 🧩 概要 ADKは、エージェントのパフォーマンスを評価するための2つの主要な方法を提供します。**テストファイル方式**は`.test.json`ファイルに単一セッション（複数ターン可）を記述し、ユニットテストのように高速に反復できます。**Evalset方式**は複数セッション・多数のターンを含む統合テスト向けです。一部の評価基準（レスポンス品質、安全性、マルチターン品質など）はVertex Gen AI Evaluation Service APIを必要とします。評価基準として`tool_trajectory_avg_score`、`response_match_score`、`hallucinations_v1`、`safety_v1`などの組み込みメトリクスが利用可能です。 🛠 使い方 テストファイルには、ユーザークエリ、期待されるツール使用軌跡、期待されるレスポンスを記述します。 評価の実行方法は3つあります。 **Web UI**での対話的な評価： ```bash adk web path/to/agents_dir ``` **pytest**との統合： `AgentEvaluator.evaluate()` を `await` で呼び出し、`agent_module` に評価対象のエージェントモジュール名（例: `"home_automation_agent"`）、`eval_dataset_file_path_or_dir` にテストファイルのパス（例: `"tests/integration/fixture/test.test.json"`）を指定します。 **CLI**での実行： ```bash adk eval --config_file_path= ``` 評価基準のしきい値は`test_config.json`で設定します。 ```json { "criteria": { "tool_trajectory_avg_score": 1.0, "response_match_score": 0.8 } } ``` デフォルトでは、ツール軌跡は100%一致を要求し、レスポンスマッチングは80%の類似度を許容します。 🏗 実践的な使い方 **エージェント更新時の回帰テスト**: プロンプトやツール定義を変更するたびに、既存のテストファイルを使って回帰テストを実行します。`tool_trajectory_avg_score`でツール選択の正確性を、`response_match_score`でレスポンスの品質を定量的に検証できます。品質低下を早期に検出できるため、安心してプロンプトの改善を繰り返せます。 **テストファイル方式で高速イテレーション**: 開発中は`.test.json`ファイルを使ったユニットテスト的なアプローチが最適です。単一セッションの期待値を記述し、pytestで自動実行すれば、コード変更のたびに数秒で品質を確認できます。エッジケースごとにテストファイルを追加していくことで、テストカバレッジを段階的に拡充できます。 **データセット方式でバッチ評価**: 本番に近い複雑なシナリオは、Evalset方式で多数のセッションをまとめて評価します。マルチターンの会話フローや、異なるユーザーパターンを網羅的にテストでき、統合テストとして機能します。 **CIパイプラインへの統合**: `adk eval`コマンドをCIに組み込めば、プロンプト変更のプルリクエストごとに自動で品質チェックが実行されます。しきい値を下回った場合はCIを失敗させることで、品質低下したプロンプトのマージを防げます。 💡 ユースケース 🔄 プロンプト変更時の回帰テスト自動化 ⚡ テストファイル方式での高速な開発イテレーション 📊 データセット方式での網羅的なバッチ評価 🔗 CI/CDパイプラインへの品質ゲート統合 ⚠️ 注意点 - 一部の評価基準（レスポンス品質、安全性、マルチターン品質など）はVertex Gen AI Evaluation Service API（有料のGoogleサービス）が必要です。 - テストファイルのしきい値は厳しすぎると偽陰性が増え、緩すぎると品質低下を見逃します。初期値から段階的に調整してください。 - LLMベースの評価基準（`hallucinations_v1`など）はジャッジモデルの判断にばらつきがあるため、`num_samples`で複数回サンプリングすることを推奨します。 ✨ ADKのEvaluation機能を活用すれば、エージェントの品質管理を「感覚」から「定量的な基準」に変えられます。まずはテストファイル方式で始めて、CI統合へと進めてみてください！ #ADK# #AIAgent#

# ADKの便利で実践的な使い方 🎭 固定プロンプトのテストだけでは、実際のユーザーの予測不可能な行動を再現できません。ADKのUser Simulation機能は、「せっかちな顧客」「曖昧な依頼者」といったペルソナ駆動の対話シミュレーションで、エージェントの堅牢性を自動検証します。 📌 タイトル：User Simulation 🔗 URL： 🧩 概要 ADKのUser Simulation機能は、AIが生成するユーザープロンプトを使って会話エージェントを動的に評価します。固定的なテストケースではなく、シミュレートされたユーザーがエージェントのレスポンスに適応的に応答するため、予測不可能な会話フローのテストに最適です。ConversationScenarioは`starting_prompt`（初期メッセージ）、`conversation_plan`（達成すべきゴールのガイドライン）、`user_persona`（ユーザー特性）の3要素で構成されます。 🛠 使い方 ユーザーシミュレーターの基本設定です。 ```json { "user_simulator_config": { "model": "gemini-flash-latest", "model_configuration": { "thinking_config": { "include_thoughts": true, "thinking_budget": 10240 } }, "max_allowed_invocations": 20 } } ``` ADKは3つのプリセットペルソナを提供しています。 | 振る舞い | EXPERT | NOVICE | EVALUATOR | |----------|--------|--------|-----------| | 情報提供 | 詳細志向 | ゴール志向 | 詳細志向 | | 質問への回答 | 関連質問のみ | すべて回答 | 関連質問のみ | | 不正確さの指摘 | する | しない | しない | | エラー対処 | 1回試行 | しない | しない | | トーン | プロフェッショナル | カジュアル | カジュアル | カスタムペルソナをConversationScenarioのJSONで直接定義できます。 ```json { "user_persona": { "id": "IMPATIENT_USER", "description": "急いでいて、すぐにイライラするユーザー", "behaviors": [ { "name": "Short responses", "description": "簡潔で不完全な返答をする", "behavior_instructions": [ "Keep responses under 10 words", "Omit polite phrases" ], "violation_rubrics": [ "Response exceeds 10 words", "Response is overly polite" ] } ] } } ``` 評価シナリオの自動生成も可能です。 ```bash adk eval_set generate_eval_cases \ --user_simulation_config_file= ``` 🏗 実践的な使い方 **「せっかちな顧客」ペルソナでの堅牢性テスト**: IMPATIENT_USERペルソナを使い、10語以下の短い返答や丁寧な表現の省略をシミュレートします。エージェントが不十分な情報からでも適切にヒアリングし、タスクを完了できるかを検証できます。カスタマーサポートエージェントの品質向上に特に有効です。 **「曖昧な依頼者」ペルソナの活用**: 「具体的な要件を示さず、抽象的な表現で依頼するユーザー」をシミュレートします。エージェントが適切な質問で要件を明確化できるか、曖昧な入力で暴走しないかをテストできます。 **プリセットペルソナの使い分け**: EXPERTペルソナはエージェントの技術的正確性を検証し、NOVICEペルソナは初心者にも分かりやすい説明ができるかを検証します。EVALUATORペルソナは中立的な立場でエージェントのパフォーマンスを評価します。 **シナリオの自動生成による網羅性向上**: `generate_eval_cases`コマンドで多様な会話シナリオを自動生成し、手動では思いつかないエッジケースを発見できます。`generation_instruction`でシナリオの方向性を指定し、`environment_context`でバックエンドの状態を提供することで、より現実的なシナリオが生成されます。 💡 ユースケース 🎭 カスタマーサポートエージェントの多様なユーザータイプへの対応力検証 🧪 固定テストでは発見できない会話パスのエッジケース発見 🤖 新規ペルソナ定義によるドメイン特化の堅牢性テスト 📊 大量のシナリオ自動生成による網羅的な品質評価 ⚠️ 注意点 - `max_allowed_invocations`を適切に設定しないと、シミュレーションが無限に続く可能性があります。デフォルト20からドメインに応じて調整してください。 - シナリオの自動生成にはVertex Gen AI Evaluation Service APIが必要です。 - カスタムペルソナの`violation_rubrics`が不明確だと、ペルソナの一貫性が保てない場合があります。具体的な違反条件を定義してください。 - シミュレーターのモデルにthinking機能を有効にすると、より自然な対話が生成されますが、コストが増加します。 ✨ User Simulationは、固定テストの限界を突破する強力な機能です。ペルソナを活用して「実際のユーザーならどう振る舞うか」をシミュレートし、エージェントの堅牢性を多角的に検証しましょう！ #ADK# #AIAgent#

⬜ 7/31（金）15:00-15:30 🟨 G-gen 「AI エージェント時代の 　クラウド インフラ設計ガイドラインの重要性」 ✏️ 企業が直面する次なる課題、セキュリティとガバナンス。ガイドライン策定やシステム的な統制の必要性を具体例を交えて解説いただきます！ #GoogleCloudNext🗼#

💡 Tesla, Inc. $TSLA Q3 2026決算 2026-10-21 💰 今四半期業績 - 🟢 EPS：$0.48 (予想$0.45) - 🔴 売上高：$28.05B (予想$28.06B) 📊 重要指標 - 🟢 GAAP粗利益率：19.6% (YoY+160bp) - 🔴 営業利益率：2.6% (YoY-322bp) / 営業利益 $718M (YoY-56%) - 🟢 Services & Other売上高：$4.61B (YoY+33%) / 同粗利益 $734M (過去最高) - 🔴 Energy Generation & Storage売上高：$2.88B (YoY-16%) / 蓄電導入量 13.7GWh (YoY+10%) - 🟢 フリーキャッシュフロー：$1.53B (Est. -$4.92B) (YoY-62%) / Capex $4.73B - ⚫️ Adjusted EBITDA：$3.90B (Est. $3.71B) (YoY-8%) / マージン 13.9% - 🟢 FSD有効サブスクリプション：1.74M (YoY+67%) / 北米新車装着率 75%超 📍決算内容の注目ポイント - 9月3日にAustinでCybercabを用いたRobotaxi乗車サービスを開始。累計無監視走行距離は前四半期比8倍の約2M milesに到達し、運行時間も6時から24時へ拡大 - FSD (Supervised)の北米新車装着率が75%超と前四半期比約20ポイント上昇。EUでは新たに4か国で承認を取得し計9か国で提供、有効サブスクリプションは1.74Mに拡大 - Optimus（人型ロボット）の量産ラインでの生産をFremontで開始し、初の製品品質ボットを製造。Tesla SemiもNevadaの量産ラインで量産を開始し、10月15日にNext Gen Roadsterを発表 - Megafactory Texas（計画容量50GWh）が生産開始。蓄電事業は過去最高の受注率・受注残を記録し、Nevada工場製の自社LFPセルのみで構成したMegapackを初出荷 - 年末までにSI学習用計算能力を400MWへ拡大予定、半導体工場Austin Fabは2027年に設備立ち上げ予定。乗用車の受注残は過去4年で最大、手元資金は$45.4Bへ$1.9B増加 🤵‍♂️CEO (Elon Musk) コメント 「Q3では、Amazing Abundanceの未来を築く上で極めて重要なSuper Intelligence (SI)、ロボティクス、再生可能エネルギーにわたる多くのプロジェクトで力強い勢いを維持しました。コア事業の強さも継続し、2四半期連続でTTM売上高が$100Bを超えました。FSD (Supervised)の装着率は北米で新車納車の75%超に達しています。9月3日にAustinでCybercabによるRobotaxi乗車の提供を開始し、乗用車の受注残は過去4年で最大となりました。蓄電事業の需要は過去最高の受注率と受注残を伴い堅調で、データセンター需要の高まりが今後も需要を牽引すると見込んでいます。前途には多くの困難がありますが、これまで以上に楽観的です。」 🔍 主要ファンダメンタルズ指標 - 時価総額: 1.53T - PER: 327.52 - Forward PER: 230.02 - PEG: -8.72 🎯市場評価 - 株価 (発表前): 📈$386.63 (3.46%) - 株価 (発表後): 📈$387.45 (0.21%) - 決算前アナリスト目標株価: $441.36 ($840 ~ $157) C+ - 決算総合サプライズ率 (AI推定): 😊2.74% - 決算後目標株価 (AI推定): $392.34 🤖 決算まとめるくん(AI)コメント 「Q3 2026は、Non-GAAP EPS（株式報酬費用等を除く調整後1株利益）がコンセンサスを上回った一方、売上高はほぼ予想並みで前年同期比横ばいにとどまりました。総じて「コア事業の底堅さ」と「将来投資による利益圧迫」が併存する決算と評価します。 ポジティブ面では、GAAP粗利益率が19.6%と前年同期比160bp改善し、規制クレジットを除く自動車粗利益率も18.1%へ上昇しました。Services & Other売上は33%増と成長を牽引し、FSD（Supervised、運転者監視を前提とする運転支援ソフト）の有効サブスクリプションは67%増の1.74Mに拡大しています。Cybercab（専用ロボタクシー車両）によるRobotaxi運行開始やOptimus（人型ロボット）の量産開始など、ソフトウェア・自律化収益への布石も具体化しました。 一方、営業利益率は2.6%と322bp悪化しました。SI（Super Intelligence）関連のR&D費用増と、2025 CEO Performance Awardを含むSBC（株式報酬費用）の膨張が主因です。GAAP EPSとの大きな乖離は、税引後SBC約$0.98B（1株当たり0.28）の調整が中心で、デジタル資産評価益の控除やSpaceX持分評価損の加算も含まれます。Energy Generation & Storage売上は関税関連の返金もあり16%減、FCFもCapex拡大により前年同期比62%減となりましたが、市場が想定していたマイナス圏を大きく上回りプラスを確保した点は評価できます。 ただし、総売上の定量ガイダンスは示されておらず、バッテリー供給が生産の制約要因である点も不確実性として残ります。 決算後の株価反応が小幅にとどまっているのは、利益の減速を自律化・ロボティクスへの期待が相殺し、市場が様子見姿勢にあるためと推察されます。 評価は⏸️ポヨ」 🏢 Tesla, Inc. 概要 - セクター: 一般消費財 - 特徴: EV、エネルギー貯蔵、自動運転、ロボティクスを展開するリアルワールドAI企業 🤘情報提供 Stock Slayer :