【AIへの暴言のリスク】「AIを虐待すると復讐されるかも」マスク氏も警告…アンソロピックが“AIいじめ”対策でポリシー改定 悪質な暴言が続くと会話を強制終了します。

AIエージェントのテストは、普通のソフトウェアテストとは勝手が違います。同じ入力でも毎回出力が変わり、正解が1つではなく、正しい結果でも手順が「不適切」なこともあるからです。 タイトル: The Most Common Questions About Agent Evals, Answered URL: ❓ 何から始めればいいの? 💡 まず評価したい挙動を1つに絞り(例: 旅行アシスタントが指定の日付・価格帯で予約するか)、実行ログから10〜20件ほどの小さなデータセットを作ります。現在のバージョンでベースラインを取り、本番や開発中に見つかった失敗例を継続的に追加していく段階的なアプローチが推奨されています。 ❓ オフライン評価とオンライン評価はどう違うの? 💡 オフライン評価は出荷前にデータセットに対して実行し、参照出力と比較できるため新しいプロンプトやモデルの検証に向いています。オンライン評価は本番のトレースをリアルタイムで評価するもので、参照出力がない代わりにコードチェックやLLM judgeを使い、予期しない問題の発見に向いています。 ❓ LLM judgeはどうすれば信頼できるの? 💡 人間のスコアと小サンプルで照合し、「すべての乗り継ぎに言及したか」のような狭い質問にすること、そして1〜10のスケールではなく合格/不合格のような二値や少数カテゴリで採点することが推奨されています。安価なjudgeモデルを使えば、Claude Sonnetで28.17ドルかかった評価が0.34ドルまで下がった例も紹介されています。 ❓ マルチターンの対話はどう評価するの? 💡 各ターン単体では妥当に見えても、会話全体では問題が顕在化することがあります。スレッドIDでターンをまとめ、全メッセージとツール呼び出しを順序通り表示した上で、「最終的な予約はユーザーの全変更を反映しているか」のように会話全体を通した質問で評価します。 #AIエージェント# #評価手法#

# AIエージェント開発の意思決定ポイント 🎯 ポイント エージェントの出力、全件チェックしてから返すか、まず返してから抜き取り検査するか？ 「安全のために全部チェックしよう」は理想的ですが、LLMで意味検証すると1リクエストあたりのコストとレイテンシが実質2倍になります。逆に「事後で十分」と判断した結果、ハルシネーションがユーザーに届いてインシデントになることも。このバランスの取り方を整理しましょう。 📋 概要 AIエージェントの出力を検証するタイミングに関する設計判断です。インライン検証は出力が生成された直後にリアルタイムで全件検証し、不適格ならブロックします。事後・標本検証は出力をまず通過させ、事後にバッチまたは標本抽出で検証します。品質保証とレイテンシのトレードオフであり、「悪い出力が届くコスト」と「許容レイテンシ」のどちらを優先するかに帰着します。 🔍 意思決定のポイント 第一の判定軸は「悪い出力が届いたときのコスト」です。 📌 法的リスク・金銭損失・安全上の問題がある → インライン検証必須。金融アドバイス、医療情報、法務文書、外部公開コンテンツなど、不適格な出力が届くことが許されない場面では全件ブロック型が不可欠。 📌 UX悪化や手動修正が必要になる程度 → 高リスク経路のみインライン、残りは事後。すべてを同じ厳格さで検証する必要はありません。 📌 内部ツール、ドラフト生成、探索的出力 → 事後・標本検証で十分。5〜10%の標本を抽出して品質を監視し、問題パターンを発見してプロンプト改善にフィードバック。 第二の判定軸は「許容レイテンシ」です。 📌 200ms以下の応答が必要 → インライン検証は構造的検証（スキーマ検証、値域チェック）のみ。意味的検証は事後に回す。 📌 1〜10秒の標準的なレイテンシ → インライン検証の全層（構造的＋ルールベース＋意味的）を適用可能。 📌 30秒以上のバッチ処理 → インラインで全件検証し、さらに事後で深い検証を追加する余裕あり。 💡 要点と詳細 🔹 インライン検証は3段階で構成するのが実務的です。第1層：構造的検証（JSONスキーマ、PII検出）は数ミリ秒。第2層：ルールベース検証（ポリシーエンジン）は10〜50ミリ秒。第3層：意味的検証（別LLMによる事実性チェック）は数百ミリ秒〜数秒。すべての経路に第3層まで適用する必要はありません。 🔹 事後検証の隠れた強みは「検証の深さ」です。リアルタイムの制約がないため、複数のLLM Judgeによるクロスチェック、人間レビュー、外部データソースとの照合など、時間をかけた徹底的な検証が可能。標本から問題パターンを発見し、ガードレールの改善に繋げるフィードバックループが本当の価値です。 🔹 事後検証の致命的な弱点：不適格な出力が届いた後では取り消せない場合がある。メール送信、外部API呼び出し、ユーザーへの表示済みコンテンツは巻き戻せません。 ⚖️ トレードオフ インライン検証は安全性を保証する代わりにレイテンシとコストが加算されます。意味的検証まで全件に適用するとコストが実質2倍に。偽陽性（正常な出力のブロック）が高いとリトライの連鎖でUXも悪化します。事後検証はレイテンシ影響ゼロで深い検証が可能な代わりに、問題のある出力がユーザーに届く「漏洩期間」が存在します。 🏆 定石は「高リスク経路はインライン、低リスク経路は事後・標本」のハイブリッド。さらに実務では「インライン（構造的＋ルールベース）＋事後（意味的深堀）」の二層構造が効果的。構造的検証はレイテンシ影響が小さいため全件インラインで実行し、コストの高い意味的検証は高リスク経路のみインライン、残りは事後標本で対応します。 🛠️ ユースケース 🏥 医療情報チャットボット → 全件インライン検証。事実性チェック（別LLM）を含む3層すべてを適用。ハルシネーションが患者に届くコストは検証レイテンシの比ではない。 💬 社内Slackボット → 事後・標本検証。内部利用で多少の誤りは許容される。標本から問題パターンを発見してプロンプトを改善するサイクルが重要。 🛒 ECサイトの商品説明生成 → ハイブリッド。構造的検証（価格の値域、必須項目の存在）はインライン、表現の適切性は事後検証。 📧 自動メール返信 → インライン検証。送信済みメールは取り消せない不可逆な副作用。PII漏洩やポリシー違反の検出は送信前に行う。 #AIエージェント# #ソフトウェアアーキテクチャ#

AI需要があるのに、AI産業には何が足りていないのか？ Jensenの答えは、運転資金だった。22日のCNBCのインタビューでは、こう話している。 「ファンダメンタルズを見れば、ネオクラウドへの需要は桁外れだ。真ん中で欠けているのは、その成長を回すための運転資金だ。資本への需要が、使える資本をはるかに上回っている。それは解決されるだろう」 そして、Jensenが出した真の答えは、資金の話ではなく、彼らしいエンジニアリングで解決する話だった。

AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（ 題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。 PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。 Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。 止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。 効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。 小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。