【コラボ企画開催🎉】 みなさんの『ウチのコ』が 美味しくいっぱい食べている姿、見せてください🍽️✨ #AI大食いイラスト# 三国 vs 戦国、開幕!!🔥 今回は センゴクポニー殿(@sengoku_pony) とのコラボ企画です!! ※初めてのコラボなので至らないことも多いかと思いますが、許してちょ🥰 【それぞれの食べられるもの】 🥟 てと会場：肉まん 🍡 センゴクポニー会場：三色団子 となっておりますので、お間違えないようよろしくお願いします🐱💕 無表情で限界まで頬張るもよし、 幸せそうに食べるもよし—— あなたのウチのコの“大食いシーン”をお待ちしてます！ ⏰ 開催期間 5/3 15:00 ～ 5/4 23:59 📌 参加ルール ・タグ【#AI大食いイラスト】をつける# ・この投稿を引用して投稿 ・お一人様1回まで（食べ過ぎ厳禁🙅笑） できれば三国と戦国…両陣営に参陣いただけると嬉しいのです、皆様の参陣お待ちしてます!!🔥

【AIへの暴言のリスク】「AIを虐待すると復讐されるかも」マスク氏も警告…アンソロピックが“AIいじめ”対策でポリシー改定 悪質な暴言が続くと会話を強制終了します。

AIエージェントのテストは、普通のソフトウェアテストとは勝手が違います。同じ入力でも毎回出力が変わり、正解が1つではなく、正しい結果でも手順が「不適切」なこともあるからです。 タイトル: The Most Common Questions About Agent Evals, Answered URL: ❓ 何から始めればいいの? 💡 まず評価したい挙動を1つに絞り(例: 旅行アシスタントが指定の日付・価格帯で予約するか)、実行ログから10〜20件ほどの小さなデータセットを作ります。現在のバージョンでベースラインを取り、本番や開発中に見つかった失敗例を継続的に追加していく段階的なアプローチが推奨されています。 ❓ オフライン評価とオンライン評価はどう違うの? 💡 オフライン評価は出荷前にデータセットに対して実行し、参照出力と比較できるため新しいプロンプトやモデルの検証に向いています。オンライン評価は本番のトレースをリアルタイムで評価するもので、参照出力がない代わりにコードチェックやLLM judgeを使い、予期しない問題の発見に向いています。 ❓ LLM judgeはどうすれば信頼できるの? 💡 人間のスコアと小サンプルで照合し、「すべての乗り継ぎに言及したか」のような狭い質問にすること、そして1〜10のスケールではなく合格/不合格のような二値や少数カテゴリで採点することが推奨されています。安価なjudgeモデルを使えば、Claude Sonnetで28.17ドルかかった評価が0.34ドルまで下がった例も紹介されています。 ❓ マルチターンの対話はどう評価するの? 💡 各ターン単体では妥当に見えても、会話全体では問題が顕在化することがあります。スレッドIDでターンをまとめ、全メッセージとツール呼び出しを順序通り表示した上で、「最終的な予約はユーザーの全変更を反映しているか」のように会話全体を通した質問で評価します。 #AIエージェント# #評価手法#

# AIエージェント開発の意思決定ポイント 🎯 ポイント エージェントの出力、全件チェックしてから返すか、まず返してから抜き取り検査するか？ 「安全のために全部チェックしよう」は理想的ですが、LLMで意味検証すると1リクエストあたりのコストとレイテンシが実質2倍になります。逆に「事後で十分」と判断した結果、ハルシネーションがユーザーに届いてインシデントになることも。このバランスの取り方を整理しましょう。 📋 概要 AIエージェントの出力を検証するタイミングに関する設計判断です。インライン検証は出力が生成された直後にリアルタイムで全件検証し、不適格ならブロックします。事後・標本検証は出力をまず通過させ、事後にバッチまたは標本抽出で検証します。品質保証とレイテンシのトレードオフであり、「悪い出力が届くコスト」と「許容レイテンシ」のどちらを優先するかに帰着します。 🔍 意思決定のポイント 第一の判定軸は「悪い出力が届いたときのコスト」です。 📌 法的リスク・金銭損失・安全上の問題がある → インライン検証必須。金融アドバイス、医療情報、法務文書、外部公開コンテンツなど、不適格な出力が届くことが許されない場面では全件ブロック型が不可欠。 📌 UX悪化や手動修正が必要になる程度 → 高リスク経路のみインライン、残りは事後。すべてを同じ厳格さで検証する必要はありません。 📌 内部ツール、ドラフト生成、探索的出力 → 事後・標本検証で十分。5〜10%の標本を抽出して品質を監視し、問題パターンを発見してプロンプト改善にフィードバック。 第二の判定軸は「許容レイテンシ」です。 📌 200ms以下の応答が必要 → インライン検証は構造的検証（スキーマ検証、値域チェック）のみ。意味的検証は事後に回す。 📌 1〜10秒の標準的なレイテンシ → インライン検証の全層（構造的＋ルールベース＋意味的）を適用可能。 📌 30秒以上のバッチ処理 → インラインで全件検証し、さらに事後で深い検証を追加する余裕あり。 💡 要点と詳細 🔹 インライン検証は3段階で構成するのが実務的です。第1層：構造的検証（JSONスキーマ、PII検出）は数ミリ秒。第2層：ルールベース検証（ポリシーエンジン）は10〜50ミリ秒。第3層：意味的検証（別LLMによる事実性チェック）は数百ミリ秒〜数秒。すべての経路に第3層まで適用する必要はありません。 🔹 事後検証の隠れた強みは「検証の深さ」です。リアルタイムの制約がないため、複数のLLM Judgeによるクロスチェック、人間レビュー、外部データソースとの照合など、時間をかけた徹底的な検証が可能。標本から問題パターンを発見し、ガードレールの改善に繋げるフィードバックループが本当の価値です。 🔹 事後検証の致命的な弱点：不適格な出力が届いた後では取り消せない場合がある。メール送信、外部API呼び出し、ユーザーへの表示済みコンテンツは巻き戻せません。 ⚖️ トレードオフ インライン検証は安全性を保証する代わりにレイテンシとコストが加算されます。意味的検証まで全件に適用するとコストが実質2倍に。偽陽性（正常な出力のブロック）が高いとリトライの連鎖でUXも悪化します。事後検証はレイテンシ影響ゼロで深い検証が可能な代わりに、問題のある出力がユーザーに届く「漏洩期間」が存在します。 🏆 定石は「高リスク経路はインライン、低リスク経路は事後・標本」のハイブリッド。さらに実務では「インライン（構造的＋ルールベース）＋事後（意味的深堀）」の二層構造が効果的。構造的検証はレイテンシ影響が小さいため全件インラインで実行し、コストの高い意味的検証は高リスク経路のみインライン、残りは事後標本で対応します。 🛠️ ユースケース 🏥 医療情報チャットボット → 全件インライン検証。事実性チェック（別LLM）を含む3層すべてを適用。ハルシネーションが患者に届くコストは検証レイテンシの比ではない。 💬 社内Slackボット → 事後・標本検証。内部利用で多少の誤りは許容される。標本から問題パターンを発見してプロンプトを改善するサイクルが重要。 🛒 ECサイトの商品説明生成 → ハイブリッド。構造的検証（価格の値域、必須項目の存在）はインライン、表現の適切性は事後検証。 📧 自動メール返信 → インライン検証。送信済みメールは取り消せない不可逆な副作用。PII漏洩やポリシー違反の検出は送信前に行う。 #AIエージェント# #ソフトウェアアーキテクチャ#

AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（ 題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。 PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。 Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。 止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。 効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。 小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。

AIに「この操作を許可してよいか」「作業は完了したか」を任せるなら、平均正解率に加えて、条件が変わったときに判断も変えられるかを見たいという視点の評価、DecisionPivot（ たとえば、ファイルをコピーしてから移動する手順と、その順番を入れ替えた手順。文章はよく似ていても、最後に必要な場所へファイルが残るかは変わる。片方だけ当てても、違いを正しく扱えたとは言えない。 48タスク、40,033問を収録。生成した7,800問は関連する問題群にまとめ、別実装のソルバーで正解を検証している。各問の正解率だけでなく、群の全問を当てる割合や、モデルが出す確率の信頼性を測る。 面白いのが、確率の順序と最終判断のずれ。2択の対照ペアでは、Perplexity Deciderが正例に高い確率を付けた割合は92.3%なのに、両方を正しく答えた割合は74.1%。正例にも負例にも「はい」を出せば、順序が合っていても判断は失敗する。 ただし、これは文章で与えた事例の評価。実際の業務システムを一通り動かした成功率ではなく、自動処理に回せる割合も評価データを使った事後測定だ。本番の閾値には別の検証が必要になる。 エージェントの権限や完了判定を設計するとき、成功例を増やすだけでなく、「何を変えたら拒否すべきか」を対にして確かめる。この評価の作り方は実務でも参考になると思う。