本番のAIエージェントが壊れたとき、何万件ものトレースを人手でさかのぼる時代は終わりを迎えつつあります。 🔍 エージェントが大規模に動き始めると、問題の見つけ方が根本から変わります。数行のログを追うのではなく、数千万件のトレースの中から異常の糸口を引き出す必要が生まれる。それを人の目でこなすのは、どう考えても持続しません。LangSmith Engineはそのギャップを埋めるために2025年5月にローンチし、以来6000万件超のトレースをスキャンして2万件以上の課題を検出し、数万時間分のエンジニアリング工数を節約してきました。 💡 今回のアップデートで、Engineの中核である課題検出能力が大きく前進しました。内部ベンチマークでissue検出精度が2倍以上、業界標準ベンチマークでissue修正精度が25%向上しています。Engineは証拠・インシデントタイムライン・根本原因分析を伴う診断を行い、プロンプトまたはコード変更の修正案と即デプロイ可能なPRを自動生成します。さらに修正後の再発監視まで担い、人が介在する部分を最小限に抑えます。 🏗️ 今回あわせて発表された新機能も実用性が高いです。エンタープライズ顧客は自社VPC内にEngineをデプロイするセルフホスト構成が選択可能になり、Slack通知でエンジニアへのアラートが届き、Linear連携でチケットが自動作成されます。コスト面ではスキャンするトレース数を絞るReduced Analysisモードが加わり、古い未対応issueを自動クローズするStale issue管理も整備されました。 ロードマップでは、既存データセットへの自動修正検証と、プロダクショントレースから評価データセットをEngine自身が生成する機能が控えています。「発見→修正→検証→監視」の閉ループが完成に近づいています。 New in LangSmith Engine: >2x better issue detection #LangSmith# #AIAgents#