ウォーレン・マーフィーの「探偵トレース」シリーズ4作目、ケッ作『豚は太るか死ぬしかない』は、アホな大人のしょーもない会話が好きなら最高に楽しめる逸品 1ページ目からニヤけてしまい、ページをめくった途端に文字通りズッコケる 何度繰り返し ＃読了 しても飽きない、心底ゴキゲン（死語）なヤツ

# AIエージェント開発の意思決定ポイント # トレース・サンプリング率｜Trace Sampling Rate 🎯 ポイント エージェントのトレース、全量記録していますか？それとも全く記録していませんか？ 「全量か無か」ではなく「何を全量にするか」が正しい問いです。AIエージェントの1リクエストは数千〜数万トークンのトレースデータを生成します。全量記録すると観測コストが爆発し、記録しなければ障害時に原因究明が不可能。条件付きサンプリングがこのジレンマを解決します。 📋 概要 トレース・サンプリング率は、エージェントの実行トレース（各LLM呼び出し、ツール実行、意思決定のステップごとの記録）をどの割合で収集・保存するかを制御するパラメータです。100%ならすべてのリクエストのトレースを記録し、1%なら100リクエストに1件だけ記録します。 AIエージェントのトレースは従来のWebサービスのログとは質的に異なります。プロンプト全文、出力全文、ツール引数・戻り値、中間的な推論ステップなどを含めると、1リクエストで数十KB〜数百KBのデータが生成されます。さらにLLMの出力は確率的なため、「同じ入力を再投入すれば再現できる」という前提が成り立ちません。 🔍 意思決定のポイント サンプリング率はaccountability（説明責任）とcost_sensitivity（コスト感度）のバランスで決まりますが、最も重要なのは条件付きサンプリングの設計です 🎯 一律の確率ではなく、リクエストの属性に応じて率を変えます。 判定基準の優先順位: 1. エラー/例外が発生したリクエスト → 100%記録（必須） 2. HITL（人間介在）が発生したリクエスト → 100%記録 3. 高リスク操作（副作用あり、不可逆）を含むリクエスト → 100%記録 4. レイテンシがP95を超えたリクエスト → 100%記録 5. コストが閾値を超えたリクエスト → 100%記録 6. 成功したリクエスト → 標本率で記録（1〜10%） 💡 要点と詳細 目安値 📊 - エラー/例外発生 → 100%。再現性のない障害のデバッグに不可欠 - HITL発生（人間承認/エスカレーション） → 100%。承認判断の妥当性を事後検証 - 高リスク操作（送金、データ削除等） → 100%。不可逆操作の監査に必須 - レイテンシP95超過 → 100%。性能劣化の根本原因分析に必要 - 成功かつ低リスク → 1〜10%。品質の統計的モニタリングに十分 - 開発・ステージング環境 → 100%。コストが問題にならない範囲で全量記録 トレースの粒度をサンプリング率とは別に制御するのも重要です 📦 全量記録するリクエストでも、プロンプト全文はコールド層に、メタデータ（モデル名、トークン数、レイテンシ、ステータス）はホット層に分離します。 ⚖️ トレードオフ サンプリング率が低すぎると、障害の再現が不可能になります 🔍 LLMの出力は確率的なため、同じプロンプトを再投入しても同じエラーが再現するとは限りません。品質劣化の見逃し、監査要件の不達成、コスト異常の遅延検知も深刻なリスクです。 サンプリング率が高すぎると、観測コストが本番のLLM呼び出しコストに匹敵するか上回ることがあります 💸 パフォーマンスへの影響、PII（個人情報）の拡散リスク、大量データ中の信号がノイズに埋もれる問題も発生します。 サンプリング率は運用開始後に段階的に下げてください。最初は高い率（50〜100%）で始め、安定性を確認してから成功リクエストの率を徐々に下げます。 🛠️ ユースケース サンプリング判定はリクエストの終了時に行うことも検討してください 🔄 head-based sampling（開始時に決定）は実装が簡単ですが、エラーが発生するかどうかは事前に分かりません。tail-based sampling（完了後に決定）なら結果に基づいて判定できます。ただし中間データを一時的にバッファする必要があります。 correlation ID（trace ID）の伝播を確実にしてください 🔗 マルチステップのエージェント実行では、最初のリクエストから最後のツール呼び出しまで一貫したtrace IDが紐づいていないと、部分的なトレースしか得られません。非同期処理やキューを介する場合にIDが途切れやすいので要注意です。 ホット/コールド分離と組み合わせるのが効率的です。サンプリングされたトレースはコールド層に全文を、それ以外はホット層にメタデータのみを記録する構成が実用的です。 #AIエージェント# #ソフトウェアアーキテクチャ#

今日中に提出したいトレース作業があるのにiPadを忘れて出張に出てしまった…筆圧の代わりにマウス＋Photoshopのエアブラシとかで何とかなるかな。太さを小刻みに変える必要があるんだのね。

毎日数十億トークンのトレースを、フロンティアLLMで評価するのはコスト的に無理がありました💸 小型オープンモデルのファインチューニングで、同等精度を10〜100倍安く実現した事例です。 タイトル: Building a 100x Cheaper Trace Judge with Fireworks URL: 💸 概要 LangChain LabsがFireworksと連携し、エージェントのトレースに対する「Perceived Error（知覚されたエラー）」検出器を構築した事例です。ユーザーが「間違い」や「修正が必要」と感じたケースを、小型のオープンモデルで検出します。 ❓ 解決する課題 LangSmithは本番トレースを通じて日次で数十億トークンを処理しています。 ・これらをフロンティアの大規模LLMで評価すると、規模が大きすぎてコストが非現実的になります ・「フロンティア級の性能を保ちつつ、全トレースから重要なシグナルをコスト効率よく抽出できるか」が問いでした 💡 方法論と提案手法 ・オープンソースのQwen-3.5-35Bを、Fireworks基盤上でLoRAによる教師ありファインチューニング（SFT） ・訓練データは2つの本番データセット：chat-langchain（技術Q&A・707例）とFleet（ノーコードエージェント・727例） ・「Perceived Error」を学習し、巨大なフロンティアモデルに頼らず評価をこなします 📊 実験結果 ・精度：ファインチューニングしたQwenがフロンティアモデルと同等以上（chat-langchainで96.1%、ドメイン横断のFleetで90.8%） ・コスト：トレース量に応じてフロンティアより10〜100倍安い ・転移性：chat-langchainで訓練したモデルが、再訓練なしでFleetでも全フロンティアモデルを上回る #LLM評価# #ファインチューニング#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【オブザーバビリティ / トレース＋プロベナンス】 💡 「なぜその回答になったか」を説明できないエージェントは、本番に出してはいけません。構造化トレースとプロベナンスで、確率的な挙動を追跡可能にしましょう。 🔥 解決する課題 - 「なぜこの回答になったか」を再現・分析できない - 部署・プロジェクト・エージェント単位のコストを把握できない - モデル変更やプロンプト変更による品質劣化をサイレントに見逃す - 規制下の意思決定で「なぜこの判断になったか」を後から説明できない 🏗️ 提案パターン 推論ステップ・ツール呼び出し・トークン数・コスト・レイテンシ・評価スコアをOpenTelemetry準拠の構造化トレースで記録します。ログ基盤にはメタデータを、オブジェクトストレージにはプロンプト本文や生出力を格納し、トレースIDで紐付けます。正常系はサンプリング（1〜10%が起点）、エラーや低評価は全量記録します。規制下の重要な意思決定には、参照データ・推論経路・使用モデル・承認者まで遡れるプロベナンス（来歴）を追加します。 ✅ 選定条件 - 向き：本番運用するすべてのエージェント（例外なし） - 不向き：特になし（本番では必須パターン） ⚠️ 落とし穴 - 全プロンプト本文をログ基盤に入れると容量・コストが非現実的になる - PIIのマスキングを怠るとトレースログ自体がセキュリティリスクになる - プロベナンスの粒度を決める設計判断は、必ず人間のレビューを通すべき 🛠️ 実装方針 1. OpenTelemetry GenAI semantic conventions 準拠のスパンを全エージェントに組み込み、推論・ツール呼び出し・検索の各ステップをトレースIDで一貫して記録します 2. Langfuse / LangSmith / Arize 等のLLMオブザーバビリティ基盤にメタデータ（モデル名・トークン数・レイテンシ・コスト・評価スコア）を送信し、ダッシュボードで部署別コスト・品質推移を監視します 3. プロンプト本文・コンテキスト・生出力はオブジェクトストレージ（S3等）に格納し、ログ基盤のメタデータとIDで紐付けます 4. tail-based sampling を導入し、正常系は1〜10%サンプリング、エラー・低評価・高コストのリクエストは全量記録します 5. 規制対応が必要な場合は、決定ログをappend-onlyの不変監査ログとして保持し、参照データ・使用モデル・プロンプトバージョン・承認者まで逆引き可能なプロベナンスを構築します #AIエージェント# #エンタープライズアーキテクチャ#

61億リクエスト・9,174モデル・1年間の非サンプリング本番トレースでLLMサービングの実態を解明——LLM基盤の設計者なら必読の論文です。 A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing 🔍 概要 Chutesの本番環境から1年間（2025年4月〜2026年4月）のリクエストレベルトレースを収集。61.2億リクエスト・31.5万ユーザー・9,174モデルという規模で、LLMサービングの実態を初めて包括的に可視化しました。 ⚠️ 解決する課題 既存研究は短期間・サンプリング済み・単一モデルという制約を抱えていました。本論文はその空白を埋め、プレフィックスキャッシュの再利用・ルーティング・負荷分散を実データで検証します。 🔬 主要な発見 ・ワークロードは非定常: リクエスト数と実際のコストは別のトレンドで変化する（短期観測では容量計画が不正確になる） ・出力トークンは短縮傾向: 年初の数百トークンから年末は100以下へ下降 ・キャッシュ再利用の 99% は前回リクエストから 15分以内に到着（80% は 0.1秒以内） ・LRU は多くの場合に複雑アルゴリズムと同等以上、ARC は中間サイズで大幅劣化 ・Cache-first ルーティングはラウンドロビン・ロードファーストを大幅に上回り、負荷不均衡は 5〜7% 以内に収まる ・Sticky ルーティングは最高ヒット率だが負荷不均衡が桁違いに大きく非現実的 📊 実験結果 100K トークンの MiniMax-M2.5 リクエストは約27GB のKV状態を占有し、インスタンス間転送には約20.4GB が必要。ルーティングの変動がKV複製を招き、キャッシュ局所性と負荷分散は本質的なトレードオフを持ちます。Cache-first は局所性を保ちつつ、単一ターンセッションが多いという性質のため負荷不均衡が抑制されます。 #LLM# #MLシステム#

めちゃくちゃ解像度高い振り返り。トレースでしっかり手を動かしつつ、表現の構造理解、実装時のモーションやインタラクション理解、写真表現をAI再現で理解、など実行と内省のレベルがたけぇ。振り返りインタビューしてみたい。 @yumadesign__

本番のAIエージェントが壊れたとき、何万件ものトレースを人手でさかのぼる時代は終わりを迎えつつあります。 🔍 エージェントが大規模に動き始めると、問題の見つけ方が根本から変わります。数行のログを追うのではなく、数千万件のトレースの中から異常の糸口を引き出す必要が生まれる。それを人の目でこなすのは、どう考えても持続しません。LangSmith Engineはそのギャップを埋めるために2025年5月にローンチし、以来6000万件超のトレースをスキャンして2万件以上の課題を検出し、数万時間分のエンジニアリング工数を節約してきました。 💡 今回のアップデートで、Engineの中核である課題検出能力が大きく前進しました。内部ベンチマークでissue検出精度が2倍以上、業界標準ベンチマークでissue修正精度が25%向上しています。Engineは証拠・インシデントタイムライン・根本原因分析を伴う診断を行い、プロンプトまたはコード変更の修正案と即デプロイ可能なPRを自動生成します。さらに修正後の再発監視まで担い、人が介在する部分を最小限に抑えます。 🏗️ 今回あわせて発表された新機能も実用性が高いです。エンタープライズ顧客は自社VPC内にEngineをデプロイするセルフホスト構成が選択可能になり、Slack通知でエンジニアへのアラートが届き、Linear連携でチケットが自動作成されます。コスト面ではスキャンするトレース数を絞るReduced Analysisモードが加わり、古い未対応issueを自動クローズするStale issue管理も整備されました。 ロードマップでは、既存データセットへの自動修正検証と、プロダクショントレースから評価データセットをEngine自身が生成する機能が控えています。「発見→修正→検証→監視」の閉ループが完成に近づいています。 New in LangSmith Engine: >2x better issue detection #LangSmith# #AIAgents#

# Claude Agent SDKの便利で実践的な使い方 📊 OpenTelemetry でエージェントの全動作を Datadog / Grafana / Langfuse に一元可視化できます。 OpenTelemetry を使用した可観測性は、エージェントのトレース・メトリクス・ログを OTLP で外部監視ツールにエクスポートする機能です。 📌 タイトル：OpenTelemetry を使用した可観測性 🔗 URL： 🧩 概要 `CLAUDE_CODE_ENABLE_TELEMETRY=1` でトレース・メトリクス・ログを有効化し、OTLP プロトコルで Honeycomb / Datadog / Grafana / Langfuse 等にエクスポートします。W3C トレースコンテキストの自動伝播でアプリのトレースと統合できます。 🛠 使い方 ```bash export CLAUDE_CODE_ENABLE_TELEMETRY=1 export CLAUDE_CODE_ENHANCED_TELEMETRY_BETA=1 # 詳細スパン export OTEL_EXPORTER_OTLP_ENDPOINT=https://your-collector:4318 ``` 🏗 実践的な使い方 ・「どのツールを呼び、何秒かかり、トークンをいくつ使い、どこで失敗したか」を Datadog で一元監視します。 ・`CLAUDE_CODE_ENHANCED_TELEMETRY_BETA=1` で `claude_code.interaction` / `llm_request` / `tool` / `hook` のスパンを取得し、サブエージェントの委譲チェーン全体を1トレースで可視化します。 ・`OTEL_RESOURCE_ATTRIBUTES` に ` / ` を注入し、ユーザー毎の監査証跡を構築して SIEM へ転送します。 💡 ユースケース 🔍 エージェント実行の詳細トレース分析 👥 ユーザー毎の監査証跡 🚨 障害発生時のボトルネック特定 ⚠️ 注意点 `console` エクスポーターは SDK のメッセージチャネルと衝突するため使用できません。短命プロセスでは `OTEL_*_EXPORT_INTERVAL` を短縮してフラッシュ漏れを防いでください。 #ClaudeAgentSDK# #AI#

嬉しいです！😭 私も線画はちゃんと描くタイプなのですが、厚塗りをする時は色トレースを絶対するようにしています！隣接する色と線を馴染ませるのがコツかなと思います👨‍🦱 #マシュマロを投げ合おう#