LLMOpsで最初に作るべきは、派手なダッシュボードじゃない。evalだ。評価基準がないまま本番に出すのは「祈りながらデプロイ」してるのと同じ。計測してないものは改善できないし、評価してないものは固められない。LLMOpsは、ここから始まる。

ありがたいことに、8月は以下の勉強会・イベントで登壇させていただきます。 8/11（火）MLOps/LLMOps/AgentOps勉強会 8/31（月）BPStudy#228〜LLM・AIエージェントシステムベストプラクティス# どちらも8/20発売の『LLM・AIエージェントシステムベストプラクティス』についてお話します。 よろしくお願いします。

LLMの運用は、一度デプロイしたら終わり……だと思ってると足をすくわれる。プロバイダ側がモデルを勝手に更新するし、入力も時間とともに変わる。普通のソフトと違って、LLMOpsに「完成」はない。動いた後こそ、評価を回し続ける必要がある。

TL;DR 信頼できるエージェントAIは「良いモデルやプロンプト」ではなく、コンテキストとオーケストレーションのハーネスを明示設計することで生まれる――Bayer×Thoughtworksの製薬システムPRINCEの実装知です。🧪 タイトル: Building Reliable Agentic AI Systems URL: ポイント 🧭 逐次エージェント＋一時停止点：意図確認→Think&Plan→Researcher→Reflection→Writerの流れで段階的に検証 🔁 3種類の内省ループ：プロセス(軌道)・データ(証拠の十分性)・ドラフト(出力の完全性)で別々の失敗を捕捉 🔎 ハイブリッド検索：クエリ拡張n=5、意味0.7＋キーワード0.3の加重、bge-rerankerで約20→7件に再ランク 🗃️ 構造化はText-to-SQL：SELECTのみ許可、最大3回の自己修正、1クエリ50件以下に制限 🛟 ハーネス工学：PostgreSQL/DynamoDBで状態永続化、障害点から再開、プロバイダ自動フォールバック 📌 文単位の引用＋RAGASとLangfuseで評価。本番トラフィックも毎日バッチでハルシネーション検出 🏷️ NERで試験PDFから実体抽出、信頼度スコアで高信頼は自動更新・低信頼は人手レビューへ 「大きなコンテキスト窓でも選択性は要る」という割り切りが現場感あります。 #AIエージェント# #LLMOps#

コーディングエージェントは1タスクで数十回もAPIを叩くので、誰にも気づかれず週に数千ドル溶かしてしまう——LangChainがこの「支出の予測不能性」を社内でどう潰したかの話です💸 鍵は予算管理をオブザーバビリティと同じ場所に統合することでした。 タイトル: How LangChain Made Coding Agent Spend Predictable URL: 💸 概要 LangSmithに統合した「LLM Gateway」で、全社のモデル支出を分単位で俯瞰し、予算を中央集権的に管理する仕組みです。外付けプロキシではなく、既存のトレース・評価・ユーザー管理と同じ基盤の上に乗せた点が特徴です。 ❓ 解決する課題 モデル利用が一部チームから全社に拡大し、プレミアムモデルの値上げも重なってコストが急増。 ・コーディングエージェントは1タスクで数十回のAPI呼び出しを発生させます ・個々の開発者が気づかぬうちに週数千ドルを使い、月末まで誰も気づけませんでした 💡 方法論と提案手法 予算を多階層で設定できます。 ・組織／ワークスペース／ユーザー／APIキーの単位で上限を設定 ・月次・週次・日次・時間単位の既定ウィンドウを全従業員に適用し、高負荷プロジェクトには例外を許可 ・Claude Code・Codex・LangChain Deep Agents経由のエージェントをカバー ・MDMで配布し各自のセットアップを不要に ・実行はトレースされユーザーとAPIキーに紐づき、超過時は該当トレースを評価データで診断できます 🌍 ユースケース チーム単位で上限を設定しつつ、サプライズ請求の不安なくエージェント利用を許可できます。月末の請求ショックを、リアルタイム監視に置き換えるのが実用的な価値です。 📊 教訓と成果 ・モデル価格は静的な表ではすぐ陳腐化するため、キャッシュやティア差を含め動的に扱う必要がありました ・CursorやClaude DesktopはきれいにルーティングできずGateway捕捉分と提供側設定の差分を計測して補正 ・ハードリミットだけでは業務が止まるため、早期警告アラートと監査可能な増額申請に進化 ・社内展開以降、LLMコストは予算内に収まっています #コーディングエージェント# #LLMOps#

ログを取るだけでは事故は防げません。問題のあるリクエストを、LLMに届く前に止める「実行時ガバナンス」の登場です🛡️ タイトル: LangSmith LLM Gateway: runtime governance built into the agent lifecycle URL: 🛡️ 概要 エージェントとモデルプロバイダーの間に立つ実行時ガバナンスの層です。LangSmithプラットフォーム内の強制ポイントとして、問題を「後から記録する」のではなく「発生源で止める」ことを狙います。 ❓ 解決する課題 可観測性（ログ）だけでは問題を防げません。インシデントが起きてから記録するのでは遅く、問題のあるリクエストは外部のLLMプロバイダーに届く前に止めるべきだ、という考えが出発点です。 💡 機能の説明 ・支出コントロール：組織・ワークスペース・ユーザー・APIキー単位でハード上限。超過時は402エラー ・コストの可視化：組織単位のリアルタイム支出追跡 ・データ保護：モデルに渡る前にPIIや秘密情報を自動リダクション ・トレース統合：Gateway経由の呼び出しが同じワークスペースに表示 ・監査ログと階層的ポリシー 設定は最小限で、base_urlをGatewayに向け、キーをシークレットに保存し、UIでポリシーを定義するだけです。 🌍 ユースケース ・リトライループによる暴走的な支出の防止 ・SSNやPIIなど機微データのプロバイダーログ流出の防止 ・組織的なコストガバナンスとコンプライアンス監査 #LLMOps# #AIガバナンス#