가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
가입 May 2026
286 팔로잉 중    471 팬
社内のSQL分析エージェント、「構文は正しいのに0行が返っている」という失敗を見逃していませんか? Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents Amazonが、トレースベースのLLMジャッジ(Strands Evals)、テキストのみのLLMジャッジ(PromptFoo)、決定論的チェック(Agenta)を、小売サプライチェーン予測エージェント2種で比較しました。約11,700回の評価です。 注目ポイント 🔍 見える情報が検出力を決める 72ケースの既知失敗の検出で、実行トレース全体を見るStrandsはF1 0.896、誤検知率10.3%でした。テキストのみのPromptFooは再現率こそ87.9%でも誤検知率が48.7%に跳ね上がります。ツール正確性の検出は89%対11%でした。 🧪 未知の失敗はテストの種類で別物 自動生成テストで見つかった新規の失敗24件のうち、機能テストとセキュリティテストの重複はゼロでした。Strandsは負インデックスのSUBSTRバグなどを、PromptFooはスキーマ漏洩やシステムプロンプト開示を見つけています。 🎲 LLMジャッジは揺れる 36構成中35は安定でしたが、判定の一貫性は82〜92%でした。Qwen3のある構成は一貫性20%まで落ちています。個別ケースでのCI/CDゲートに使うにはまだ早そうです。 結論は、機能評価はトレース付きジャッジ、セキュリティはレッドチーミングという二本立てです。 #AIエージェント# #LLM評価#
더 보기