登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 テスト自動化
テスト自動化 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
テスト自動化 を含む検索結果
『【再放送】SAP更新におけるAI・テスト自動化の実際』というテーマのウェビナーを開催
バルテス、「T-DASH テスト自動化ブーストパック」を提供開始
MagicPod、AIネイティブなテスト自動化を加速させる新しいMCPサーバーを提供開始。国産テスト自動化ツールとして初...
バルテス、テスト自動化ツール「T-DASH」を大幅アップデート
便利だけど知られていないGemini APIの機能 🖥️ 「この画面を見て、ここをクリックして」ができるAI。ブラウザ操作の自動化が変わります。 Geminiの「コンピュータ使用(Computer Use)」は、画面を見てマウスやキーボードを操作するエージェント機能です。UIテストやWeb操作タスクの自動化に新しい可能性を開きます。 📌 タイトル:コンピュータ使用(Computer Use) 🔗 URL: 🧩 概要 従来のUI自動化はDOM構造やセレクタに依存しており、UIが変わると壊れやすいのが難点でした。Computer Useは画面のスクリーンショットを「見て」理解し、クリックやタイプなどの操作を指示できるエージェント機能です。人間がブラウザを操作するのと同じように、視覚ベースでUIを操作できます。 🛠 使い方 スクリーンショットをGeminiに渡し、実行したいタスクを自然言語で指示します。Geminiが画面上のどこをクリック/入力すべきかを判断し、操作アクションを返します。それをブラウザ自動化ツール(Playwright等)と連携して実行する流れです。 🏗 本番システムへの組み込み方 ・E2Eテスト自動化:「ログインして商品をカートに入れて決済まで進めて」のような複雑なフローを自然言語で記述。UIの変更に強いテストに。 ・RPA的業務自動化:社内システムのフォーム入力やデータ転記を、画面を見ながら自動実行。APIがないレガシーシステムにも対応。 ・Web操作エージェント:「この比較サイトで最安値を調べて」のようなタスクを画面操作で完遂。 ・アクセシビリティ検証:画面を視覚的に解釈して、操作性の問題を検出するテストツールに。 💡 ユースケース 🧪 視覚ベースのE2Eテスト自動化 🤖 APIのないシステムのRPA的自動化 🌐 Webブラウジング・情報収集エージェント ♿ アクセシビリティの自動検証 ⚠️ 注意点 画面の解釈に基づくため、操作の正確性は100%ではありません。重要な操作(決済、削除等)には人間の確認ステップを挟むべきです。また、レイテンシが大きめなので、高速な連続操作には不向き。セキュリティ面でも、操作対象のシステムへのアクセス権限管理に注意が必要です。 ✨ 「APIがないからLLMで自動化できない」は過去の話。画面を見て操作するエージェントの世界を、まずは簡単なタスクから試してみてください。 #Gemini# #LLM#
もっと見る
便利だけど知られていないGemini APIの機能 🖥️ 「この画面を見て、ここをクリックして」ができるAI。ブラウザ操作の自動化が変わります。 Geminiの「コンピュータ使用(Computer Use)」は、画面を見てマウスやキーボードを操作するエージェント機能です。UIテストやWeb操作タスクの自動化に新しい可能性を開きます。 📌 タイトル:コンピュータ使用(Computer Use) 🔗 URL: 🧩 概要 従来のUI自動化はDOM構造やセレクタに依存しており、UIが変わると壊れやすいのが難点でした。Computer Useは画面のスクリーンショットを「見て」理解し、クリックやタイプなどの操作を指示できるエージェント機能です。人間がブラウザを操作するのと同じように、視覚ベースでUIを操作できます。 🛠 使い方 スクリーンショットをGeminiに渡し、実行したいタスクを自然言語で指示します。Geminiが画面上のどこをクリック/入力すべきかを判断し、操作アクションを返します。それをブラウザ自動化ツール(Playwright等)と連携して実行する流れです。 🏗 本番システムへの組み込み方 ・E2Eテスト自動化:「ログインして商品をカートに入れて決済まで進めて」のような複雑なフローを自然言語で記述。UIの変更に強いテストに。 ・RPA的業務自動化:社内システムのフォーム入力やデータ転記を、画面を見ながら自動実行。APIがないレガシーシステムにも対応。 ・Web操作エージェント:「この比較サイトで最安値を調べて」のようなタスクを画面操作で完遂。 ・アクセシビリティ検証:画面を視覚的に解釈して、操作性の問題を検出するテストツールに。 💡 ユースケース 🧪 視覚ベースのE2Eテスト自動化 🤖 APIのないシステムのRPA的自動化 🌐 Webブラウジング・情報収集エージェント ♿ アクセシビリティの自動検証 ⚠️ 注意点 画面の解釈に基づくため、操作の正確性は100%ではありません。重要な操作(決済、削除等)には人間の確認ステップを挟むべきです。また、レイテンシが大きめなので、高速な連続操作には不向き。セキュリティ面でも、操作対象のシステムへのアクセス権限管理に注意が必要です。 ✨ 「APIがないからLLMで自動化できない」は過去の話。画面を見て操作するエージェントの世界を、まずは簡単なタスクから試してみてください。 #Gemini# #LLM#
もっと見る
# ADKの便利で実践的な使い方 🧪 エージェントのプロンプトを変更したら、品質が下がっていないか確認していますか?ADKのEvaluation機能を使えば、テストファイル方式とデータセット方式の2つのアプローチでエージェントの品質を体系的に検証できます。CIに組み込めば、プロンプト変更の回帰テストも自動化できます。 📌 タイトル:Evaluation 概要 🔗 URL: 🧩 概要 ADKは、エージェントのパフォーマンスを評価するための2つの主要な方法を提供します。**テストファイル方式**は`.test.json`ファイルに単一セッション(複数ターン可)を記述し、ユニットテストのように高速に反復できます。**Evalset方式**は複数セッション・多数のターンを含む統合テスト向けです。一部の評価基準(レスポンス品質、安全性、マルチターン品質など)はVertex Gen AI Evaluation Service APIを必要とします。評価基準として`tool_trajectory_avg_score`、`response_match_score`、`hallucinations_v1`、`safety_v1`などの組み込みメトリクスが利用可能です。 🛠 使い方 テストファイルには、ユーザークエリ、期待されるツール使用軌跡、期待されるレスポンスを記述します。 評価の実行方法は3つあります。 **Web UI**での対話的な評価: ```bash adk web path/to/agents_dir ``` **pytest**との統合: `AgentEvaluator.evaluate()` を `await` で呼び出し、`agent_module` に評価対象のエージェントモジュール名(例: `"home_automation_agent"`)、`eval_dataset_file_path_or_dir` にテストファイルのパス(例: `"tests/integration/fixture/test.test.json"`)を指定します。 **CLI**での実行: ```bash adk eval --config_file_path= ``` 評価基準のしきい値は`test_config.json`で設定します。 ```json { "criteria": { "tool_trajectory_avg_score": 1.0, "response_match_score": 0.8 } } ``` デフォルトでは、ツール軌跡は100%一致を要求し、レスポンスマッチングは80%の類似度を許容します。 🏗 実践的な使い方 **エージェント更新時の回帰テスト**: プロンプトやツール定義を変更するたびに、既存のテストファイルを使って回帰テストを実行します。`tool_trajectory_avg_score`でツール選択の正確性を、`response_match_score`でレスポンスの品質を定量的に検証できます。品質低下を早期に検出できるため、安心してプロンプトの改善を繰り返せます。 **テストファイル方式で高速イテレーション**: 開発中は`.test.json`ファイルを使ったユニットテスト的なアプローチが最適です。単一セッションの期待値を記述し、pytestで自動実行すれば、コード変更のたびに数秒で品質を確認できます。エッジケースごとにテストファイルを追加していくことで、テストカバレッジを段階的に拡充できます。 **データセット方式でバッチ評価**: 本番に近い複雑なシナリオは、Evalset方式で多数のセッションをまとめて評価します。マルチターンの会話フローや、異なるユーザーパターンを網羅的にテストでき、統合テストとして機能します。 **CIパイプラインへの統合**: `adk eval`コマンドをCIに組み込めば、プロンプト変更のプルリクエストごとに自動で品質チェックが実行されます。しきい値を下回った場合はCIを失敗させることで、品質低下したプロンプトのマージを防げます。 💡 ユースケース 🔄 プロンプト変更時の回帰テスト自動化 ⚡ テストファイル方式での高速な開発イテレーション 📊 データセット方式での網羅的なバッチ評価 🔗 CI/CDパイプラインへの品質ゲート統合 ⚠️ 注意点 - 一部の評価基準(レスポンス品質、安全性、マルチターン品質など)はVertex Gen AI Evaluation Service API(有料のGoogleサービス)が必要です。 - テストファイルのしきい値は厳しすぎると偽陰性が増え、緩すぎると品質低下を見逃します。初期値から段階的に調整してください。 - LLMベースの評価基準(`hallucinations_v1`など)はジャッジモデルの判断にばらつきがあるため、`num_samples`で複数回サンプリングすることを推奨します。 ✨ ADKのEvaluation機能を活用すれば、エージェントの品質管理を「感覚」から「定量的な基準」に変えられます。まずはテストファイル方式で始めて、CI統合へと進めてみてください! #ADK# #AIAgent#
もっと見る
mablが2026年Gartner® Magic Quadrant™ for Agentic Software Quality Assurance Platformsで、チャレンジャーの1社に位置付けられました。 AIエージェント時代の開発に必要な「独立した品質検証」とは何か、動画にまとめてみました。 #mabl# #テスト自動化#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # LLM-judge vs 人手評価 🎯 ポイント エージェントの出力品質を「LLMに評価させる」か「人間の専門家が判定する」か。この二者択一で議論している時点で、すでに設計を間違えています。実運用では両者を組み合わせた二段構成が標準です。LLM-judgeで広くカバーし、人手評価で深く検証する。問題は「どの評価軸をどちらに割り当てるか」と「どうキャリブレーションを維持するか」です🔑 📋 概要 LLM-judgeは、エージェントの出力をLLMに自動評価させる手法です。CI/CDパイプラインに組み込めば、プロンプト変更やモデル更新のたびに回帰テストを自動実行でき、日次100件以上の評価もスケールします。一方、人手評価は人間の専門家が出力を直接判定する手法で、安全性・倫理性・コンプライアンスに関わる判定や、主観的・文脈依存の評価基準では代替不可能です。評価の速度・スケーラビリティと、判定の信頼性・安全性保証がトレードオフになります。 🔍 意思決定のポイント 最初の分岐は「評価対象の出力は安全性・規制に直結するか?」です。 YES → 人手評価を必須にしましょう。LLM-judgeは補助として使いますが、最終判定は人間です。金融商品の説明、医療情報、法務回答は人手評価を外せません。 NO → LLM-judgeが有効です。事実整合性、フォーマット準拠、トーン一貫性など、基準を明文化・数値化できる軸はLLMで自動評価できます。 次に「日次の評価対象件数」を確認します。100件超ならLLM-judgeでの自動化が必須です。Zendeskで日次500件の要約を全件人手レビューすることは物理的に不可能です。50件以下なら人手評価も運用上現実的です。 ゴールドデータの有無も重要です。LLM-judgeのキャリブレーションには目安として200件以上のゴールドラベルが必要です。不足している場合は、まず人手でゴールドセットを構築するところから始めてください📊 💡 要点と詳細 LLM-judgeの適用範囲は「形式化しやすい評価軸」です。事実整合性(出力が入力データと矛盾していないか)、フォーマット準拠(JSON構造やフィールドの過不足)、トーン一貫性(ブランドガイドラインとの整合)、Salesforceのケース要約やJiraチケットの自動分類のように出力の正解パターンがある程度定型化されている場合に威力を発揮します。 人手評価が不可欠な領域は「主観的・文脈依存の判定」です。顧客への共感表現の適切さ、ブランドトーンの微妙なニュアンス、新規ユースケース立ち上げ時のゴールドデータ作成。規制当局への報告に「人間が検証した」というエビデンスが求められる場合も人手評価は必須です。 最も効率的な併用パターンは「LLM-judgeでフィルタリング→人手で精査」です。全出力をLLM-judgeで自動スコアリングし、低スコア(下位10〜20%)のみ人手レビューに回します。これにより、人手の工数を最も価値の高い判定に集中配分できます。もう一つの重要なパターンは「段階ゲート」で、開発環境ではLLM-judgeのみ、ステージング環境でLLM-judge+サンプル人手評価、本番リリース前に人手評価によるゲート承認とします🔍 ⚖️ トレードオフ LLM-judgeの最大のリスクは自己評価バイアスです。同一モデルファミリーで生成と評価を行うと、自分の出力を過大評価する傾向が出ます。評価モデルは生成モデルと異なるプロバイダを使うか、評価プロンプトにバイアス対策を明示的に組み込む必要があります。LLM-judgeの精度を人手との一致率で定期的に検証しないまま運用を続けるのも危険です。 人手評価のリスクはスケール不足と基準の暗黙知化です。「全件人手レビュー」を方針にして運用が破綻するのは時間の問題です。評価者の判断基準が明文化されず、評価者間のばらつき(Inter-Annotator Agreement)が低いまま運用されるケースも多い。Cohen's Kappaで0.7以上を維持できていなければ、評価基準の再教育が必要です。 コスト面も見逃せません。LLM-judgeのAPIコストを軽視して全出力×複数評価軸で評価した結果、生成コストと同程度の評価コストが発生することがあります。サンプリングや評価軸の絞り込みで制御しましょう💰 🛠️ ユースケース カスタマーサポートの品質管理:Zendeskの応答品質を日次300件評価する場合、事実整合性とフォーマット準拠はLLM-judgeで自動評価し、共感表現の適切さとエスカレーション判断の妥当性は低スコア分のみ人手レビューに回します。四半期ごとに200件のゴールドセットを更新してLLM-judgeを再キャリブレーションします📞 金融商品の説明文生成:規制当局への報告に「人間が検証した」エビデンスが必須なので、全出力に対して人手評価を実施。ただしフォーマット準拠と禁止表現の検知はLLM-judgeで事前フィルタリングし、人手レビューの効率を上げます🏦 CI/CDパイプラインの回帰テスト:プロンプト変更やモデル更新のたびに、LLM-judgeで100〜500件の回帰テストを自動実行。スコアが前回比で5%以上低下した場合にアラートを発し、人手で原因を調査します🔧 実践のコツ:評価軸を分離してください。全軸を同一手法で評価する必要はありません。事実整合性はLLM-judge、共感表現は人手、フォーマットはルールベース — 軸ごとに最適な手法を割り当てるのが評価設計の基本です。LangfuseやBraintrustでLLM-judgeスコアと人手スコアの推移・乖離をダッシュボード化し、劣化を早期に検知してください💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
🔄Loop Engineeringとはなにか? もう「AIにプロンプトを打つ」作業は終わりにしませんか?これからは、エージェントを自律的に回す仕組みそのものを設計する時代です。AIコーディングのパラダイムシフトの正体に迫ります。 💡 1. プロンプトからシステム設計への転換 従来のAIコーディング(AI-assisted Coding)は、人間がループの「中心」にいました。 👨‍💻 これまでのアプローチ: 人間がコンテキストを考え、プロンプトを打ち、AIの出力を読み、手元でテストを実行し、エラーが出たら再度プロンプトを打つ。AIは「高機能な関数」や「道具」であり、制御の主体は常に人間です。 🔄 ループエンジニアリング: 人間はループの「外側」に出て、システム全体のデザイナー(作者)になります。仕事の検知、AIへのコンテキスト注入、出力の自動テスト、進捗の記録、次のステップの判断という一連のライフサイクルを小さなプログラムに実行させます。 ここで重要なのは、AIモデルがシステムにおける「サブルーチン(部品)」へと降格し、代わりに環境(テストスイートやリポジトリの状態)からのフィードバックをループ処理する構造へ進化したという点です。 ⚙️ 2. ループを駆動する5つのコアコンポーネント+1つの記憶 抽象的な概念を動くシステムに落とし込むため、ループは以下のコンポーネントに分解されて設計されます。 ① ⚡ 自動化(Automations) ループの心臓部であり、発火トリガーと停止条件を定義します。 ツール(Claude CodeやCodexなど)では、単に定期実行する /loop だけでなく、明確な終了条件(例:「すべてのテストがパスするまで」)を満たすまでAIを回し続ける /goal コマンドなどがこれに該当します。条件が達成されるか、ハードストップ(予算や上限回数)に達するまで回り続けます。 ② 🌳 ワークツリー(Worktrees) 複数のAIエージェントが並列で動く場合、同じディレクトリで作業するとファイルの衝突(コンフリクト)が発生します。これを防ぐため、Gitの worktree 機能を使い、エージェントごとに独立した作業ディレクトリとブランチを隔離して自動生成します。機械的な衝突を回避し、並列性を担保する基盤です。 ③ 🧠 スキル(Skills) リポジトリのルールやコンテキストをカプセル化したものです。 通常、AIは実行ごとに前回の文脈を忘れますが、SKILL.md のようなファイルに「このプロジェクトのビルド手順」「命名規則」「過去の障害から得た注意点」を明文化しておくことで、AIは毎実行時にそれを読み込み、プロジェクト固有のシニアエンジニアのような振る舞いを固定化できます。 ④ 🔌 プラグイン/コネクタ(Connectors) filesystem(ローカルファイル)しか見えないAIを、本物の開発環境につなぐ架け橋です。 Model Context Protocol(MCP)などをベースに、GitHub(PR作成やIssue取得)、Linear/Jira(チケット更新)、Slack(人間への通知)、Sentry(エラーログの取得)と接続します。これにより、AIが「修正案を出す」だけでなく「Issueを読んで、コードを直し、PRを送り、Slackに報告する」というエンドツーエンドの行動が可能になります。 ⑤ 🤖 サブエージェント(Sub-agents) 役割を分担された独立したAIインスタンスです。「コードを書く役割(Maker)」と「コードを検証・レビューする役割(Checker)」を完全に分離します。 ➕ 💾 記憶:状態ファイル(State File) 地味ですが、ループの成否を分ける最も重要な要素です。STATE.md やJSONファイル、あるいは外部のチケット管理システムに「現在どのブランチが進行中で、何が完了し、次に何をすべきか」を永続化します。「エージェントは忘れるが、リポジトリは忘れない」という原則に従い、昨日の続きを今日のループが再開できるようにします。 🕰️ 3. なぜ「ただのcron(定期実行)」ではないのか? 懐疑派から「1975年に発明されたcronジョブのリブランド(名前の付け替え)に過ぎないのではないか」という指摘があります。これは半分正解で、半分は間違いです。 スケジュールやトリガーのレイヤーは確かにcronそのものです。しかし、従来のcronは「固定されたスクリプトを機械的に実行するだけ」でした。 ループエンジニアリングが異なるのは、ループの真ん中に「状況を動的に判断する意思決定者(LLM)」がいる点です。 テストが落ちたとき、どのファイルをどう修正すべきか、コンテキストをどう組み立て直すかという分岐は、ハードコードされた if/else ではなく、AIの推論によって動的に決定されます。工学的な面白さは、この「崖から落ちるかもしれない不確実な意思決定者」の周りを、いかに硬牢な自動テストやガードレールで固めるかというシステムデザインにあります。 ⚠️ 4. コストと運用リスクの現実 熱狂的な議論で無視されがちなのが、経済性とセキュリティの現実です。 💸 膨大なトークン消費(コスト) コード生成自体は安価になりましたが、ループを回すと「コンテキストの再読み込み」「リトライの繰り返し」「探索パターンの実行」により、トークン消費量が爆発的に増加します。 実際に、米Uberではエンジニア1人あたり月1,500ドルの上限を設けたにもかかわらず、年間のAI予算をわずか4ヶ月で使い切った事例があります。「最大反復回数」「金額上限」「進捗ゼロ検知による強制終了」の3つのガードレール(ハードストップ)の設計が不可欠です。 🛡️ 攻撃面の拡大(セキュリティ) 無人で動くループは、無人で動く攻撃面(アタックサフェース)になります。AIコーディングツールに起因するCVE(脆弱性)が多数確認されており、コマンドインジェクションやSSRF、XSSのリスクがあります。また、外部から取り込んだ「スキル」の説明文がプロンプトインジェクションの経路になり、デバッグログ経由で認証情報(資格情報)が漏洩するケースも監査で報告されています。 🧩 理解の負債(Comprehension Debt) AIが高速でコードを書き、テストが通ってマージされ続けると、リポジトリ内のコードベースと「人間の理解度」の距離がどんどん離れていきます。これを「理解の負債」と呼びます。最も高くつくのはトークンの請求書ではなく、「チームの誰も読んだことがなく、構造を理解していないシステム」をある日突然人間がデバッグしなければならなくなるコストです。 🛠️ 5. 実践:4条件テストと最小実用ループ(MVL)の構築 ループエンジニアリングを実務に導入する際は、厳格な仕分けとステップが必要です。 📋 導入のための4条件テスト 1. タスクが繰り返されるか?(週1回未満なら、手動プロンプトや使い捨てスクリプトの方が早い) 2. 検証が完全に自動化されているか?(テスト、型チェック、Linter、ビルドが悪い出力を100%機械的に弾けるか。これがないと人間がレビューの椅子に縛り付けられる) 3. トークン予算が無駄を吸収できるか?(従量課金で予算に余裕がない場合は無謀) 4. エージェントが環境を操作する道具を持っているか?(ログ確認や再現環境など) 🚀 最小実用ループ(MVL)から始める手順 最初から複雑なマルチエージェントを組むとシステムは確実に崩壊します。以下の順番でボトムアップに構築します。 1. 手動実行の確実化: 1回の手動プロンプトと環境操作で、タスクが完全に完了することを確認する。 2. スキルの文書化: その際のコンテキストや制約を SKILL.md にまとめる。 3. ループのラップとゲート配置: AIが書いたものを自動テスト(ゲート)にかけ、失敗したらAIに戻すという1サイクルを組む。 4. スケジューリング: 最後にそれをcronやイベントトリガーで自動化する。 🎯 レバレッジの支点は「コードを書くこと」から「コードを書く仕組みを定義し、検証すること」へ移動しました。人間は、AIが自分の宿題を甘く採点しないよう、冷徹な「検証ゲート」を設計するエンジニアであり続ける必要があります。
もっと見る