AIエージェントのテストは、普通のソフトウェアテストとは勝手が違います。同じ入力でも毎回出力が変わり、正解が1つではなく、正しい結果でも手順が「不適切」なこともあるからです。 タイトル: The Most Common Questions About Agent Evals, Answered URL: ❓ 何から始めればいいの? 💡 まず評価したい挙動を1つに絞り(例: 旅行アシスタントが指定の日付・価格帯で予約するか)、実行ログから10〜20件ほどの小さなデータセットを作ります。現在のバージョンでベースラインを取り、本番や開発中に見つかった失敗例を継続的に追加していく段階的なアプローチが推奨されています。 ❓ オフライン評価とオンライン評価はどう違うの? 💡 オフライン評価は出荷前にデータセットに対して実行し、参照出力と比較できるため新しいプロンプトやモデルの検証に向いています。オンライン評価は本番のトレースをリアルタイムで評価するもので、参照出力がない代わりにコードチェックやLLM judgeを使い、予期しない問題の発見に向いています。 ❓ LLM judgeはどうすれば信頼できるの? 💡 人間のスコアと小サンプルで照合し、「すべての乗り継ぎに言及したか」のような狭い質問にすること、そして1〜10のスケールではなく合格/不合格のような二値や少数カテゴリで採点することが推奨されています。安価なjudgeモデルを使えば、Claude Sonnetで28.17ドルかかった評価が0.34ドルまで下がった例も紹介されています。 ❓ マルチターンの対話はどう評価するの? 💡 各ターン単体では妥当に見えても、会話全体では問題が顕在化することがあります。スレッドIDでターンをまとめ、全メッセージとツール呼び出しを順序通り表示した上で、「最終的な予約はユーザーの全変更を反映しているか」のように会話全体を通した質問で評価します。 #AIエージェント# #評価手法#

TL;DR: 量子ソフトウェアのバグテストで使われてきた「ミューテーション」や「厳選ベンチマーク」は、実際に起きているバグの86.3%を見逃している可能性があるという調査結果です。 タイトル: Are We Testing the Wrong Quantum Bugs? A Study of Fault Representation Gaps in Quantum Software Testing URL: ポイント 🔍 Qiskit・PennyLane・Cirqなど10リポジトリから410件の実バグを収集し56種類のバグファミリーに分類 🧬 ミューテーションツールがカバーするのは20ファミリーのみ 📚 厳選ベンチマークを足しても追加で15ファミリー 📉 実バグのうちどちらかに代表されるのはわずか13.7% 🧩 見逃されがちな大物: コンパイラ変換エラー66件、型処理エラー53件、入力検証の欠落47件 ⚙️ 原因の多くはコンパイラ・中間表現・フレームワーク連携にあり、回路そのものの変異では再現できません 回路が正しくても、コンパイルや表現境界が正しい保証にはならないという指摘は、量子ソフトウェアに限らずテスト設計全般への問いかけだと感じます。 #量子コンピューティング# #ソフトウェアテスト#

【境界値テストのコツ】 「0〜100」をテストする時、多くの人は 0, 50, 100 を選びますが： ✅ -1, 0, 1（下限周辺） ✅ 99, 100, 101（上限周辺） 境界の「外側」も必須です。 不等号ミス（>= vs >）は頻出バグ。 同値も意識してイコール問題に対応しましょう。 #ソフトウェアテスト# #QA#

QA PODとして本格的に発信を始めます🎙️ ソフトウェアテストの「現場で使える知識」を毎日お届けします。 ・テスト設計技法をやさしく解説 ・JSTQB対策 ・バグ報告や観点出しのコツ ・AI×テスト テスト歴20年超、支援ツールも自作するQAエンジニアです。よろしくお願いします!

【新人QAへ】 「テストケース通りにやればOK」この思考は良くありません。 テスト実行は「作業」ではなく「思考」です。 ・なぜこのテストをするのか ・他にリスクはないか この視点が1年後の成長に繋がります。 一緒に学んでいきましょう！ #QA# #ソフトウェアテスト#