週初めの夜はこういう無防備なの好きでしょ？ ルアン・メェイ『崩壊:スターレイル』 女主人公：リン『ゼンレスゾーンゼロ』 SFW AI illustration

ヒューゴのオレンジ文字と同じ欺瞞情報かはわからないけど、”「パエトーン」様”は”あなた”ではないとボクは思っている。 そしてアキラ(リン)も勘違いをしている？ 時期的にフェアリーはまだビデオ屋にはいない？んだよね？……他のAI？系の人たちとか、インプラントが悪さしてるとかもありえるよね……

🎧 R1 MESH、2台目が半額！MIDLAND創業65周年 Re-BORN記念キャンペーン第4弾開催中です🏍️ 1台買ったら、もう1台は半額。 パートナーとのペア購入にも、仲間とのシェアにもおすすめです！ AI MESHでつながる、Auto 6で話せる。 ツーリングの会話を、もっと自由に。 無くなり次第終了のキャンペーンですので 在庫状況は各店舗様にご確認ください!! キャンペーン実施店舗様： ２りんかん様、ナップス様、ライコランド様 #MIDLAND# #R1MESH# #65周年# #インカム# #メッシュ通信# #ツーリング# #バイク# #キャンペーン#

#ミスFLASH2024# 選考オーディション セミファイナル最終ランキングを発表‼️ ストレートでファイナルに進出した上位10名には画像の特典が用意されています✨ ⬇️今後のスケジュール チャレンジバトル…8/30(水)～9/5(火) ファイナル…9/17(日)～10/17(火) 宮川みやび： @miyakawa_miyabi 白石時： @coco_shira0913 北島萌加： @Moe__0704 矢矧愛： @ya_huggymeg 中村凌華： @ryoka15551 由利美桜： @miao_Yurimio 本間ミサ： @misa_minna ぷりん： @pudding_tabetan 織田いちか： @oda_ichika 花々緒みき： @miki__O418 さよ： @sayo_pi_pi_pi りん： @rin_noFilter 朱華： @syuka_dreaves 成瀬結愛： @yua__naruse 桃瀬ちかこ： @momochika924 永野蘭： @ran_nagano 関美恵子： @mii_1520_ 北川美麗： @mi_2000_ 三葉ゆあ： @MitsubaYua 三峰あずさ： @azusa_minna 永瀬永茉： @nagase_ema 中川心： @556_nakagawa 野村林可： @ringring0617 成瀬桃花： @os__momoka 佐伯桃子： @momoko_Chase2 朝野ナツ： @asano_72 つぶらあい： @tsubura_ai 磯貝花音： @kanon61_ 遠藤まめ： @mameendo8 花木のんの： @teardrop_nonno

AIエージェントのテストは、普通のソフトウェアテストとは勝手が違います。同じ入力でも毎回出力が変わり、正解が1つではなく、正しい結果でも手順が「不適切」なこともあるからです。 タイトル: The Most Common Questions About Agent Evals, Answered URL: ❓ 何から始めればいいの? 💡 まず評価したい挙動を1つに絞り(例: 旅行アシスタントが指定の日付・価格帯で予約するか)、実行ログから10〜20件ほどの小さなデータセットを作ります。現在のバージョンでベースラインを取り、本番や開発中に見つかった失敗例を継続的に追加していく段階的なアプローチが推奨されています。 ❓ オフライン評価とオンライン評価はどう違うの? 💡 オフライン評価は出荷前にデータセットに対して実行し、参照出力と比較できるため新しいプロンプトやモデルの検証に向いています。オンライン評価は本番のトレースをリアルタイムで評価するもので、参照出力がない代わりにコードチェックやLLM judgeを使い、予期しない問題の発見に向いています。 ❓ LLM judgeはどうすれば信頼できるの? 💡 人間のスコアと小サンプルで照合し、「すべての乗り継ぎに言及したか」のような狭い質問にすること、そして1〜10のスケールではなく合格/不合格のような二値や少数カテゴリで採点することが推奨されています。安価なjudgeモデルを使えば、Claude Sonnetで28.17ドルかかった評価が0.34ドルまで下がった例も紹介されています。 ❓ マルチターンの対話はどう評価するの? 💡 各ターン単体では妥当に見えても、会話全体では問題が顕在化することがあります。スレッドIDでターンをまとめ、全メッセージとツール呼び出しを順序通り表示した上で、「最終的な予約はユーザーの全変更を反映しているか」のように会話全体を通した質問で評価します。 #AIエージェント# #評価手法#

# AIエージェント開発の意思決定ポイント 🎯 ポイント エージェントの出力、全件チェックしてから返すか、まず返してから抜き取り検査するか？ 「安全のために全部チェックしよう」は理想的ですが、LLMで意味検証すると1リクエストあたりのコストとレイテンシが実質2倍になります。逆に「事後で十分」と判断した結果、ハルシネーションがユーザーに届いてインシデントになることも。このバランスの取り方を整理しましょう。 📋 概要 AIエージェントの出力を検証するタイミングに関する設計判断です。インライン検証は出力が生成された直後にリアルタイムで全件検証し、不適格ならブロックします。事後・標本検証は出力をまず通過させ、事後にバッチまたは標本抽出で検証します。品質保証とレイテンシのトレードオフであり、「悪い出力が届くコスト」と「許容レイテンシ」のどちらを優先するかに帰着します。 🔍 意思決定のポイント 第一の判定軸は「悪い出力が届いたときのコスト」です。 📌 法的リスク・金銭損失・安全上の問題がある → インライン検証必須。金融アドバイス、医療情報、法務文書、外部公開コンテンツなど、不適格な出力が届くことが許されない場面では全件ブロック型が不可欠。 📌 UX悪化や手動修正が必要になる程度 → 高リスク経路のみインライン、残りは事後。すべてを同じ厳格さで検証する必要はありません。 📌 内部ツール、ドラフト生成、探索的出力 → 事後・標本検証で十分。5〜10%の標本を抽出して品質を監視し、問題パターンを発見してプロンプト改善にフィードバック。 第二の判定軸は「許容レイテンシ」です。 📌 200ms以下の応答が必要 → インライン検証は構造的検証（スキーマ検証、値域チェック）のみ。意味的検証は事後に回す。 📌 1〜10秒の標準的なレイテンシ → インライン検証の全層（構造的＋ルールベース＋意味的）を適用可能。 📌 30秒以上のバッチ処理 → インラインで全件検証し、さらに事後で深い検証を追加する余裕あり。 💡 要点と詳細 🔹 インライン検証は3段階で構成するのが実務的です。第1層：構造的検証（JSONスキーマ、PII検出）は数ミリ秒。第2層：ルールベース検証（ポリシーエンジン）は10〜50ミリ秒。第3層：意味的検証（別LLMによる事実性チェック）は数百ミリ秒〜数秒。すべての経路に第3層まで適用する必要はありません。 🔹 事後検証の隠れた強みは「検証の深さ」です。リアルタイムの制約がないため、複数のLLM Judgeによるクロスチェック、人間レビュー、外部データソースとの照合など、時間をかけた徹底的な検証が可能。標本から問題パターンを発見し、ガードレールの改善に繋げるフィードバックループが本当の価値です。 🔹 事後検証の致命的な弱点：不適格な出力が届いた後では取り消せない場合がある。メール送信、外部API呼び出し、ユーザーへの表示済みコンテンツは巻き戻せません。 ⚖️ トレードオフ インライン検証は安全性を保証する代わりにレイテンシとコストが加算されます。意味的検証まで全件に適用するとコストが実質2倍に。偽陽性（正常な出力のブロック）が高いとリトライの連鎖でUXも悪化します。事後検証はレイテンシ影響ゼロで深い検証が可能な代わりに、問題のある出力がユーザーに届く「漏洩期間」が存在します。 🏆 定石は「高リスク経路はインライン、低リスク経路は事後・標本」のハイブリッド。さらに実務では「インライン（構造的＋ルールベース）＋事後（意味的深堀）」の二層構造が効果的。構造的検証はレイテンシ影響が小さいため全件インラインで実行し、コストの高い意味的検証は高リスク経路のみインライン、残りは事後標本で対応します。 🛠️ ユースケース 🏥 医療情報チャットボット → 全件インライン検証。事実性チェック（別LLM）を含む3層すべてを適用。ハルシネーションが患者に届くコストは検証レイテンシの比ではない。 💬 社内Slackボット → 事後・標本検証。内部利用で多少の誤りは許容される。標本から問題パターンを発見してプロンプトを改善するサイクルが重要。 🛒 ECサイトの商品説明生成 → ハイブリッド。構造的検証（価格の値域、必須項目の存在）はインライン、表現の適切性は事後検証。 📧 自動メール返信 → インライン検証。送信済みメールは取り消せない不可逆な副作用。PII漏洩やポリシー違反の検出は送信前に行う。 #AIエージェント# #ソフトウェアアーキテクチャ#

AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（ 題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。 PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。 Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。 止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。 効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。 小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。