🧭 TL;DR: LLMの「自信」を今この瞬間の推論だけで決めるのをやめ、過去の似た経験からどれくらい当たってきたかで較正する手法が登場しました。10サンプルの自己整合性より安く、しかも精度は同等以上です。 タイトル: Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents URL: ポイント 🗂 過去のタスク・推論・当初の確信度・実際の正誤・教訓を経験バンクに蓄積 🔍 類似エピソードをk=50件検索し実際の的中率を統計的に把握(Recall) 💭 その実績を踏まえてモデル自身に確信度を言葉で再表明させる(Reflect) 🏆 24モデル×データセットの組み合わせ中23でSC@10と同等以上のAUROC 🤖 失敗が静かに起きがちなエージェントタスクで最大の差、AppWorldでは専用検証器すら上回る 📉 キャリブレーション誤差はドメイン全体で2〜20倍改善、計算コストは約10分の1 「今の推論だけ見る」から「積み重ねた実績を見る」への発想転換が効いている好例だと思います。 #LLM評価# #AIエージェント#

# AIエージェントをソフトウェアに組み込むプラクティス # Critic/Judge & Sampling-Aggregation｜独立検証と多数決 🎯 LLMの出力を、同じLLMに「正しい？」と聞いていませんか？ 生成と検証を別系統にするだけで、自己確認バイアスを断ち切り、出力の信頼性を構造的に高められます。 🔥 解決する課題 LLMは確率的に出力が揺れ、事実と異なる内容をもっともらしく生成します。生成と検証を同一のモデル・プロンプトに任せると、生成時のバイアスが検証にも引き継がれます。法律文書のドラフトを生成したLLMに「この文書は正しいか」と尋ねても、自分の生成物に肯定的に評価しがちです。これが「自己確認バイアス」です。 💡 提案パターン 2つの手法を組み合わせます。まず、生成系とは別のモデル・別のプロンプト・決定論的コードで出力を検証する「Critic/Judge」。次に、同じ入力からN個の候補を生成し、スコアリングや多数決で最良を選ぶ「Sampling-Aggregation」。両者を組み合わせると「N個生成 → Judgeが各候補を評価 → 最高スコアを採用」となります。コストはN倍になるため、リクエスト価値と失敗コストが高い経路に限定して適用します。 ✅ 選定条件 使うとき： - 誤った出力がそのまま下流に流れると実害がある（契約書・医療要約・金融レポートなど） - 1回の生成に追加コストをかける経済合理性がある - 出力品質を客観的に評価できる基準がある 使わないとき： - 多少の誤りが許容されるカジュアルな対話 → ガードレールで十分 - レイテンシが極めて厳しい（数百ミリ秒以内） - 評価基準が主観的で定量化困難（創作文章の「面白さ」など） ⚠️ 落とし穴 - JudgeがGeneratorと同じバイアスを持つ場合があります。同じモデル・同じ知識で評価すると同じ種類の誤りを見逃します。異なるモデルファミリを使うか、決定論的チェックをJudgeの一部に組み込んでください - Nを増やしてもコストは線形に増えますが、品質向上は逓減します。N=1とN=3の差は大きいですが、N=3とN=5の差は小さいことが多いです。まずN=3から始めてください - Judgeのプロンプトに評価基準を明示してください。「正しいか」だけでは曖昧な判断になります。事実性・論理的整合性・スキーマ適合など具体的な軸を与えてください 🔧 実装方針 - Generator（候補生成）とJudge（評価）を別々のモデルまたは別プロンプトで構成し、同一系統による自己確認バイアスを構造的に排除します - N個の候補生成は並列実行し、レイテンシの増加を最小限に抑えます - Judgeの出力はスコアと理由を含む構造化データとして定義し、集約ロジック（最高スコア選択・多数決）を決定論的コードで実装します - 全候補がJudgeの品質閾値を下回った場合のフォールバック（再生成上限・人間エスカレーション）を事前に設計しておきます - 決定論的チェック（スキーマ検証・値域チェック・データベース照合）をJudgeの一部として組み込み、LLM判定だけに頼らない検証層を構築します #AIエージェント# #ソフトウェアアーキテクチャ#

公開されている会話データだけで、実運用でのAIの安全性の失敗を予測できるのか？🔍 OpenAIがその精度を桁レベルで検証した研究です。 タイトル: Can public chat data predict real-world AI misalignments? URL: 🔍 概要 公開会話データセットが、デプロイ済みモデルの実際の安全性の失敗をどこまで予測できるかを検証した研究です。外部の研究者が本番データにアクセスできない、という評価のギャップに正面から取り組みます。 ❓ 解決する課題 フロンティアのAIラボは実世界での失敗の内部証拠を持ちますが、機微なユーザーデータゆえ外部と共有できません。 ・「最も有益な証拠が、作ったラボにしか手に入らない」という非対称性があります ・合成プロンプトの公開ベンチは、本物の利用や固有の失敗を反映できているか疑問でした 💡 方法論と提案手法 ・公開データWildChat（ChatGPT会話100万件）から約10万件をサンプリング ・最近のOpenAIモデル5種で最終応答を再生成 ・GPT-5 Thinkingをジャッジに、19の安全性カテゴリで採点 ・各モデル20万件以上の本番データの失敗率と比較 📊 実験結果 ・WildChatの予測の95%が、本番失敗率に対して1.04桁以内（内部シミュレーション比で約1.86倍の誤差） ・傾き1.2（R=0.65）で、4桁にわたる失敗頻度で比例関係を維持 ・GPT-5.1の「電卓ハッキング」のようなモデル固有の失敗も同程度の率で出現 ・一方、ツール使用のエージェント的失敗では誤差が37倍に拡大し、限界も明確に #AI安全性# #評価#

評價全是滿分！瀬戸環奈的相部屋是出道以來最強作品！ 你看了瀬神的新作嗎？番號是SNOS-334，片中她與暗黑周董トニー大木(東尼大木)一起出差結果喝醉了被硬上，結果這支作品好評爆表，FANZA(DMM)評價全是五顆星滿分，她從打扮到演出都是無可挑剔⋯ #瀬戸環奈# #瀨戶環奈#