エージェントの不具合を「本番で気づく」から「デプロイ前に潰す」へ。LangSmithが新機能を発表しました。 タイトル: LangSmith Engine v2: Red Teaming and Automated Testing URL: 📝 概要 LangSmith Engineは問題の自動検知と修正生成を行うツールで、5月のローンチ以来7,000万件超のトレースを解析してきました。v2では「レッドチーミング」と「修正の自動検証」という2つの新機能が加わります。 ❓ 解決する課題 これまで開発者は、未検証の修正をそのままデプロイするか、手動検証に時間をかけるかの二択を迫られていました。レイテンシ増加や非効率な実行パスといった微妙な劣化も、人のレビューでは見落とされがちでした。 💡 方法論と提案手法 Engineは本番トレースとリポジトリを解析してエージェントの挙動を理解し、ハルシネーションやプロンプト違反を本番投入前に体系的にテストします。さらに、失敗をサンドボックスで再現して修正案を生成し、元の失敗ケースで反復的に検証した上で、通過した解決策だけを人間のレビューに回します。 📊 実験結果 ・問題検知能力がIssueBenchで2倍以上改善 ・生成される修正案の有効性がTerminal-Bench相当の指標で25%向上 🌍 ユースケース LangSmith PlusおよびEnterprise SaaSユーザー向けに提供開始、セルフホスト対応も近日予定。Deploymentユーザー向けにはプライベートベータで提供中です。 #LangSmith# #AIエージェント#

9ターンの会話が60個のメッセージに膨らむエージェントセッション、どこで問題が起きたか一目で追えますか？ タイトル: Trajectories now in LangSmith: A readable view of every agent session URL: LangSmithに、スレッド内の全メッセージを時系列に並べ直して読みやすく見せる新機能「Trajectories」が追加されました。 注目ポイント 🔍 ネスト構造をなくした時系列ビュー サブエージェントへのハンドオフやツール呼び出し、リトライを含む複雑な実行トレースを、human・AI・toolのメッセージだけを時系列に並べた1本の流れとして提示します。ツールの無駄な再呼び出しなど、問題箇所を素早く発見できます。 👥 非エンジニアもレビューできるSME向け設計 医療の臨床問診エージェントや金融のコンプライアンス対応、サポートのエスカレーション判断などを、技術的なトレースを読まずに専門家がアノテーションキューでレビューできます。 🎓 ポストトレーニングデータとしての活用 高品質なトラジェクトリをそのまま教師ありファインチューニング用データとしてエクスポートでき、システムプロンプトからツール呼び出しまで本番の挙動をまるごと学習データ化できます。 エージェントのデバッグを、エンジニアだけでなく組織全体で担える民主化への一歩だと感じます。 #LangSmith# #AIエージェント#

本番で貯まったエージェントのログ、ただ眺めて終わっていませんか？そのデータを専用モデルに変える仕組みがLangSmithに加わりました。 タイトル: Introducing LangSmith Fine-Tuning URL: ❓ LangSmith Fine-Tuningとは何ですか？ 本番のエージェント実行トレースを、独自インフラを組まずにファインチューニング済みモデルへ変換する `smithtune` CLIです。データセット作成・学習・評価・デプロイの4段階を一気通貫で扱えます。 ❓ どうやって学習データを作るのですか？ LangSmithプロジェクトからメッセージやツール呼び出しの時系列（トラジェクトリ）を取得し、マルチエージェントのレビューでカスタムルーブリックに沿った高品質な事例だけを選別します。ツールの利用可能状態まで含めた正確な文脈を保存するのがポイントです。 ❓ 学習やデプロイはどう進めますか？ LoRAによる教師ありファインチューニング（SFT）をFireworksやBasetenと連携して実行するため、GPUの用意は不要です。ベースモデルとの比較評価を経て、`smithtune deploy` でそのまま本番投入できます。 ❓ 効果はどれくらいありますか？ 問題検知タスクではKimi K3がSFTでスコア90.0から96.0に向上。コードレビューでは同等以上の品質を保ちつつ、モデル呼び出しを29.8%、ツールリクエストを29.4%削減できました。 #LangSmith# #ファインチューニング#

ログを取るだけでは事故は防げません。問題のあるリクエストを、LLMに届く前に止める「実行時ガバナンス」の登場です🛡️ タイトル: LangSmith LLM Gateway: runtime governance built into the agent lifecycle URL: 🛡️ 概要 エージェントとモデルプロバイダーの間に立つ実行時ガバナンスの層です。LangSmithプラットフォーム内の強制ポイントとして、問題を「後から記録する」のではなく「発生源で止める」ことを狙います。 ❓ 解決する課題 可観測性（ログ）だけでは問題を防げません。インシデントが起きてから記録するのでは遅く、問題のあるリクエストは外部のLLMプロバイダーに届く前に止めるべきだ、という考えが出発点です。 💡 機能の説明 ・支出コントロール：組織・ワークスペース・ユーザー・APIキー単位でハード上限。超過時は402エラー ・コストの可視化：組織単位のリアルタイム支出追跡 ・データ保護：モデルに渡る前にPIIや秘密情報を自動リダクション ・トレース統合：Gateway経由の呼び出しが同じワークスペースに表示 ・監査ログと階層的ポリシー 設定は最小限で、base_urlをGatewayに向け、キーをシークレットに保存し、UIでポリシーを定義するだけです。 🌍 ユースケース ・リトライループによる暴走的な支出の防止 ・SSNやPIIなど機微データのプロバイダーログ流出の防止 ・組織的なコストガバナンスとコンプライアンス監査 #LLMOps# #AIガバナンス#

本番のAIエージェントが壊れたとき、何万件ものトレースを人手でさかのぼる時代は終わりを迎えつつあります。 🔍 エージェントが大規模に動き始めると、問題の見つけ方が根本から変わります。数行のログを追うのではなく、数千万件のトレースの中から異常の糸口を引き出す必要が生まれる。それを人の目でこなすのは、どう考えても持続しません。LangSmith Engineはそのギャップを埋めるために2025年5月にローンチし、以来6000万件超のトレースをスキャンして2万件以上の課題を検出し、数万時間分のエンジニアリング工数を節約してきました。 💡 今回のアップデートで、Engineの中核である課題検出能力が大きく前進しました。内部ベンチマークでissue検出精度が2倍以上、業界標準ベンチマークでissue修正精度が25%向上しています。Engineは証拠・インシデントタイムライン・根本原因分析を伴う診断を行い、プロンプトまたはコード変更の修正案と即デプロイ可能なPRを自動生成します。さらに修正後の再発監視まで担い、人が介在する部分を最小限に抑えます。 🏗️ 今回あわせて発表された新機能も実用性が高いです。エンタープライズ顧客は自社VPC内にEngineをデプロイするセルフホスト構成が選択可能になり、Slack通知でエンジニアへのアラートが届き、Linear連携でチケットが自動作成されます。コスト面ではスキャンするトレース数を絞るReduced Analysisモードが加わり、古い未対応issueを自動クローズするStale issue管理も整備されました。 ロードマップでは、既存データセットへの自動修正検証と、プロダクショントレースから評価データセットをEngine自身が生成する機能が控えています。「発見→修正→検証→監視」の閉ループが完成に近づいています。 New in LangSmith Engine: >2x better issue detection #LangSmith# #AIAgents#

🧵 TL;DR: 長く走るAIエージェントはトークンコストが膨らみがち。Deep Agents はプロンプトキャッシュを"設定不要"で効かせ、実タスクで最大80%のコスト削減を実現します。 タイトル: Prompt Caching with Deep Agents URL: ポイント 💸 毎リクエストで会話履歴・システムプロンプト・ツール定義を再処理してコストが積み上がるのが課題 ⚡ プロンプトキャッシュは静的部分の計算結果を再利用し、新規の差分だけを処理 🧩 明示的なキャッシュ区切り（breakpoint）で、プロンプトが少し変わっても部分ヒットを維持 🤖 Deep Agents は3戦略を自動適用（明示breakpoint／プロバイダ側の暗黙キャッシュ／キャッシュ最大化の構造化） 📊 実測でClaude Haiku 4.5は-77%、GPT-5.4-miniは-80%、Gemini 3.5-Flashは-49% 🔭 LangSmith でキャッシュ読み取りトークンを可視化し、削減を計測・最適化 ⏳ 会話が長いほど効果増。短いタスクでは恩恵は小さい 設定ゼロでプロバイダ差を吸収してくれる点が、実運用で効いてきそうです。 #LangChain# #AIエージェント#

コーディングエージェントは1タスクで数十回もAPIを叩くので、誰にも気づかれず週に数千ドル溶かしてしまう——LangChainがこの「支出の予測不能性」を社内でどう潰したかの話です💸 鍵は予算管理をオブザーバビリティと同じ場所に統合することでした。 タイトル: How LangChain Made Coding Agent Spend Predictable URL: 💸 概要 LangSmithに統合した「LLM Gateway」で、全社のモデル支出を分単位で俯瞰し、予算を中央集権的に管理する仕組みです。外付けプロキシではなく、既存のトレース・評価・ユーザー管理と同じ基盤の上に乗せた点が特徴です。 ❓ 解決する課題 モデル利用が一部チームから全社に拡大し、プレミアムモデルの値上げも重なってコストが急増。 ・コーディングエージェントは1タスクで数十回のAPI呼び出しを発生させます ・個々の開発者が気づかぬうちに週数千ドルを使い、月末まで誰も気づけませんでした 💡 方法論と提案手法 予算を多階層で設定できます。 ・組織／ワークスペース／ユーザー／APIキーの単位で上限を設定 ・月次・週次・日次・時間単位の既定ウィンドウを全従業員に適用し、高負荷プロジェクトには例外を許可 ・Claude Code・Codex・LangChain Deep Agents経由のエージェントをカバー ・MDMで配布し各自のセットアップを不要に ・実行はトレースされユーザーとAPIキーに紐づき、超過時は該当トレースを評価データで診断できます 🌍 ユースケース チーム単位で上限を設定しつつ、サプライズ請求の不安なくエージェント利用を許可できます。月末の請求ショックを、リアルタイム監視に置き換えるのが実用的な価値です。 📊 教訓と成果 ・モデル価格は静的な表ではすぐ陳腐化するため、キャッシュやティア差を含め動的に扱う必要がありました ・CursorやClaude DesktopはきれいにルーティングできずGateway捕捉分と提供側設定の差分を計測して補正 ・ハードリミットだけでは業務が止まるため、早期警告アラートと監査可能な増額申請に進化 ・社内展開以降、LLMコストは予算内に収まっています #コーディングエージェント# #LLMOps#

毎日数十億トークンのトレースを、フロンティアLLMで評価するのはコスト的に無理がありました💸 小型オープンモデルのファインチューニングで、同等精度を10〜100倍安く実現した事例です。 タイトル: Building a 100x Cheaper Trace Judge with Fireworks URL: 💸 概要 LangChain LabsがFireworksと連携し、エージェントのトレースに対する「Perceived Error（知覚されたエラー）」検出器を構築した事例です。ユーザーが「間違い」や「修正が必要」と感じたケースを、小型のオープンモデルで検出します。 ❓ 解決する課題 LangSmithは本番トレースを通じて日次で数十億トークンを処理しています。 ・これらをフロンティアの大規模LLMで評価すると、規模が大きすぎてコストが非現実的になります ・「フロンティア級の性能を保ちつつ、全トレースから重要なシグナルをコスト効率よく抽出できるか」が問いでした 💡 方法論と提案手法 ・オープンソースのQwen-3.5-35Bを、Fireworks基盤上でLoRAによる教師ありファインチューニング（SFT） ・訓練データは2つの本番データセット：chat-langchain（技術Q&A・707例）とFleet（ノーコードエージェント・727例） ・「Perceived Error」を学習し、巨大なフロンティアモデルに頼らず評価をこなします 📊 実験結果 ・精度：ファインチューニングしたQwenがフロンティアモデルと同等以上（chat-langchainで96.1%、ドメイン横断のFleetで90.8%） ・コスト：トレース量に応じてフロンティアより10〜100倍安い ・転移性：chat-langchainで訓練したモデルが、再訓練なしでFleetでも全フロンティアモデルを上回る #LLM評価# #ファインチューニング#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【オブザーバビリティ / トレース＋プロベナンス】 💡 「なぜその回答になったか」を説明できないエージェントは、本番に出してはいけません。構造化トレースとプロベナンスで、確率的な挙動を追跡可能にしましょう。 🔥 解決する課題 - 「なぜこの回答になったか」を再現・分析できない - 部署・プロジェクト・エージェント単位のコストを把握できない - モデル変更やプロンプト変更による品質劣化をサイレントに見逃す - 規制下の意思決定で「なぜこの判断になったか」を後から説明できない 🏗️ 提案パターン 推論ステップ・ツール呼び出し・トークン数・コスト・レイテンシ・評価スコアをOpenTelemetry準拠の構造化トレースで記録します。ログ基盤にはメタデータを、オブジェクトストレージにはプロンプト本文や生出力を格納し、トレースIDで紐付けます。正常系はサンプリング（1〜10%が起点）、エラーや低評価は全量記録します。規制下の重要な意思決定には、参照データ・推論経路・使用モデル・承認者まで遡れるプロベナンス（来歴）を追加します。 ✅ 選定条件 - 向き：本番運用するすべてのエージェント（例外なし） - 不向き：特になし（本番では必須パターン） ⚠️ 落とし穴 - 全プロンプト本文をログ基盤に入れると容量・コストが非現実的になる - PIIのマスキングを怠るとトレースログ自体がセキュリティリスクになる - プロベナンスの粒度を決める設計判断は、必ず人間のレビューを通すべき 🛠️ 実装方針 1. OpenTelemetry GenAI semantic conventions 準拠のスパンを全エージェントに組み込み、推論・ツール呼び出し・検索の各ステップをトレースIDで一貫して記録します 2. Langfuse / LangSmith / Arize 等のLLMオブザーバビリティ基盤にメタデータ（モデル名・トークン数・レイテンシ・コスト・評価スコア）を送信し、ダッシュボードで部署別コスト・品質推移を監視します 3. プロンプト本文・コンテキスト・生出力はオブジェクトストレージ（S3等）に格納し、ログ基盤のメタデータとIDで紐付けます 4. tail-based sampling を導入し、正常系は1〜10%サンプリング、エラー・低評価・高コストのリクエストは全量記録します 5. 規制対応が必要な場合は、決定ログをappend-onlyの不変監査ログとして保持し、参照データ・使用モデル・プロンプトバージョン・承認者まで逆引き可能なプロベナンスを構築します #AIエージェント# #エンタープライズアーキテクチャ#

🛡️ コードを実行できるAIエージェントは強力ですが、その自由度こそが最大の攻撃面になります。「どんなサンドボックスを選べばいいのか」を体系的に整理した必読ガイドです。 タイトル: How to Choose the Right Sandbox for Your Agent URL: 💡 概要 AIエージェントにコード実行を任せると価値が一気に上がりますが、プロンプトインジェクションという確実な防御策のない脅威がついて回ります。この記事は、その脅威を「致命的な三要素（lethal trifecta）」として整理し、サンドボックス選定の実践基準を示しています。 ⚠️ 解決する課題 危険な状態は、エージェントが（1）機微なデータにアクセスでき、（2）信頼できないコンテンツにさらされ、（3）外部と通信できる、の3つが同時に揃うときです。これが揃うと攻撃者にデータを盗まれかねません。Metaの「Rule of Two」は、この3条件を完全自律のまま同時に満たさせるな、という考え方です。 🛠 方法論と提案手法 サンドボックスは三要素を消すのではなく、リスクが十分小さくなるまで「アクセスと外部通信を絞り込む」隔離環境です。必須要件は次の5つです。 ・隔離されたファイルシステム（必要なデータだけ） ・制限されたネットワークアクセス（持ち出し防止） ・リソース制限（CPU/メモリ/実行時間） ・再利用の制御（侵害が残らないように） ・カーネルレベルの隔離（ホストのカーネルバグを悪用させない） 🎯 ユースケース / 実装 フルVMを立てずにカーネル隔離を実現するmicroVMが効率的な選択肢です。記事はLangSmith Sandboxesを紹介しており、サンドボックスごとに専用microVMと独立ファイルシステムを持ち、認可プロキシが外側で認証情報を注入することでシークレットも隔離します。 #AIエージェント# #セキュリティ#