エージェントの不具合を「本番で気づく」から「デプロイ前に潰す」へ。LangSmithが新機能を発表しました。 タイトル: LangSmith Engine v2: Red Teaming and Automated Testing URL: 📝 概要 LangSmith Engineは問題の自動検知と修正生成を行うツールで、5月のローンチ以来7,000万件超のトレースを解析してきました。v2では「レッドチーミング」と「修正の自動検証」という2つの新機能が加わります。 ❓ 解決する課題 これまで開発者は、未検証の修正をそのままデプロイするか、手動検証に時間をかけるかの二択を迫られていました。レイテンシ増加や非効率な実行パスといった微妙な劣化も、人のレビューでは見落とされがちでした。 💡 方法論と提案手法 Engineは本番トレースとリポジトリを解析してエージェントの挙動を理解し、ハルシネーションやプロンプト違反を本番投入前に体系的にテストします。さらに、失敗をサンドボックスで再現して修正案を生成し、元の失敗ケースで反復的に検証した上で、通過した解決策だけを人間のレビューに回します。 📊 実験結果 ・問題検知能力がIssueBenchで2倍以上改善 ・生成される修正案の有効性がTerminal-Bench相当の指標で25%向上 🌍 ユースケース LangSmith PlusおよびEnterprise SaaSユーザー向けに提供開始、セルフホスト対応も近日予定。Deploymentユーザー向けにはプライベートベータで提供中です。 #LangSmith# #AIエージェント#

『ゼンレスゾーンゼロ』2周年を記念して特別に、#妄想エンジェル# 千夏役の #森嶋優花# 様、アリア役の #前田佳織里# 様、南宮羽役の #高尾奏音# 様による「ReDreaming Angel」をお届けします！ 日頃からの皆様のご支援とご愛顧に感謝いたします！ #HoYoFair# #ゼンゼロ2周年# #ZZZDREAMLAND#

『ゼンレスゾーンゼロ』2周年を記念して特別に、#妄想エンジェル# 千夏役の #森嶋優花# 様、アリア役の #前田佳織里# 様、南宮羽役の #高尾奏音# 様による「ReDreaming Angel」をお届けします！ 日頃からの皆様のご支援とご愛顧に感謝いたします！ #HoYoFair# #ゼンゼロ2周年# #ZZZDREAMLAND#