cv usk(@cv_usk):エージェントの不具合を「本番で気づく」から「デプロイ前に潰す」へ。LangSmithが新機能を発表しました。タイトル: LangSmith Engine v2: Red Teaming and Automated Testing URL: https://t.co/hU6h7nFu9C 📝 概要 LangSmith Engineは問題の自動検知と修正生成を行うツールで、5月のローンチ以来7,000万件超のトレースを解析してきました。v2では「レッドチーミング」と「修正の自動検証」という2つの新機能が加わります。 ❓ 解決する課題これまで開発者は、未検証の修正をそのままデプロイするか、手動検証に時間をかけるかの二択を迫られていました。レイテンシ増加や非効率な実行パスといった微妙な劣化も、人のレビューでは見落とされがちでした。 💡 方法論と提案手法 Engineは本番トレースとリポジトリを解析してエージェントの挙動を理解し、ハルシネーションやプロンプト違反を本番投入前に体系的にテストします。さらに、失敗をサンドボックスで再現して修正案を生成し、元の失敗ケースで反復的に検証した上で、通過した解決策だけを人間のレビューに回します。 📊 実験結果・問題検知能力がIssueBenchで2倍以上改善・生成される修正案の有効性がTerminal-Bench相当の指標で25%向上 🌍 ユースケース LangSmith PlusおよびEnterprise SaaSユーザー向けに提供開始、セルフホスト対応も近日予定。Deploymentユーザー向けにはプライベートベータで提供中です。 #LangSmith #AIエージェント

2026.09.25 23:41

エージェントの不具合を「本番で気づく」から「デプロイ前に潰す」へ。LangSmithが新機能を発表しました。タイトル: LangSmith Engine v2: Red Teaming and Automated Testing URL: 📝 概要 LangSmith Engineは問題の自動検知と修正生成を行うツールで、5月のローンチ以来7,000万件超のトレースを解析してきました。v2では「レッドチーミング」と「修正の自動検証」という2つの新機能が加わります。 ❓ 解決する課題これまで開発者は、未検証の修正をそのままデプロイするか、手動検証に時間をかけるかの二択を迫られていました。レイテンシ増加や非効率な実行パスといった微妙な劣化も、人のレビューでは見落とされがちでした。 💡 方法論と提案手法 Engineは本番トレースとリポジトリを解析してエージェントの挙動を理解し、ハルシネーションやプロンプト違反を本番投入前に体系的にテストします。さらに、失敗をサンドボックスで再現して修正案を生成し、元の失敗ケースで反復的に検証した上で、通過した解決策だけを人間のレビューに回します。 📊 実験結果・問題検知能力がIssueBenchで2倍以上改善・生成される修正案の有効性がTerminal-Bench相当の指標で25%向上 🌍 ユースケース LangSmith PlusおよびEnterprise SaaSユーザー向けに提供開始、セルフホスト対応も近日予定。Deploymentユーザー向けにはプライベートベータで提供中です。 #LangSmith# #AIエージェント#