10月5日（月）#マネーのまなび よる10時は…# ▼億り人や学生投資家が #ＡＩ# を活用した投資術を紹介！▼#メタプロンプト# を使った投資分析を大口編集委員が実践！▼#ロボアド# 運用１０年で資産４倍も？最新動向を徹底解説！ #パックン# #武藤十夢# #大口克人# #竹崎由佳#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【オブザーバビリティ / トレース＋プロベナンス】 💡 「なぜその回答になったか」を説明できないエージェントは、本番に出してはいけません。構造化トレースとプロベナンスで、確率的な挙動を追跡可能にしましょう。 🔥 解決する課題 - 「なぜこの回答になったか」を再現・分析できない - 部署・プロジェクト・エージェント単位のコストを把握できない - モデル変更やプロンプト変更による品質劣化をサイレントに見逃す - 規制下の意思決定で「なぜこの判断になったか」を後から説明できない 🏗️ 提案パターン 推論ステップ・ツール呼び出し・トークン数・コスト・レイテンシ・評価スコアをOpenTelemetry準拠の構造化トレースで記録します。ログ基盤にはメタデータを、オブジェクトストレージにはプロンプト本文や生出力を格納し、トレースIDで紐付けます。正常系はサンプリング（1〜10%が起点）、エラーや低評価は全量記録します。規制下の重要な意思決定には、参照データ・推論経路・使用モデル・承認者まで遡れるプロベナンス（来歴）を追加します。 ✅ 選定条件 - 向き：本番運用するすべてのエージェント（例外なし） - 不向き：特になし（本番では必須パターン） ⚠️ 落とし穴 - 全プロンプト本文をログ基盤に入れると容量・コストが非現実的になる - PIIのマスキングを怠るとトレースログ自体がセキュリティリスクになる - プロベナンスの粒度を決める設計判断は、必ず人間のレビューを通すべき 🛠️ 実装方針 1. OpenTelemetry GenAI semantic conventions 準拠のスパンを全エージェントに組み込み、推論・ツール呼び出し・検索の各ステップをトレースIDで一貫して記録します 2. Langfuse / LangSmith / Arize 等のLLMオブザーバビリティ基盤にメタデータ（モデル名・トークン数・レイテンシ・コスト・評価スコア）を送信し、ダッシュボードで部署別コスト・品質推移を監視します 3. プロンプト本文・コンテキスト・生出力はオブジェクトストレージ（S3等）に格納し、ログ基盤のメタデータとIDで紐付けます 4. tail-based sampling を導入し、正常系は1〜10%サンプリング、エラー・低評価・高コストのリクエストは全量記録します 5. 規制対応が必要な場合は、決定ログをappend-onlyの不変監査ログとして保持し、参照データ・使用モデル・プロンプトバージョン・承認者まで逆引き可能なプロベナンスを構築します #AIエージェント# #エンタープライズアーキテクチャ#

# Codexの機能と実践的な使い方 🤖 「ターミナルに張り付かず、Codexを丸ごとパイプの一部として扱いたい」——そんな願いを叶えるのが非対話モードです。CIやスクリプトにそのまま組み込めます。 🏷️ タイトル: `codex exec` 🔗 URL: 📘 概要 `codex exec` は、対話UIを起動せずにCodexをワンショットで走らせるためのコマンドです。プロンプトを1つの引数として渡すと、エージェントが作業し、最終メッセージだけを標準出力に返します。CIパイプライン、pre-commitフック、シェルの一連の処理に組み込むことを前提に設計されています。 ⚙️ 機能の説明 進捗ログは標準エラー出力(stderr)へ、最終的なエージェントの回答だけが標準出力(stdout)へ流れます。これによりパイプやリダイレクトと素直に組み合わせられます。主なフラグは次の通りです。 ・`--sandbox`: `read-only`(既定)/`workspace-write`(編集許可)/`danger-full-access`(全アクセス)で権限を制御します。 ・`--ask-for-approval never`: 承認プロンプトを完全に抑止し無人実行にします。 ・`--json`: すべてのイベントをJSON Lines形式でストリーム出力します(`thread.started`、`turn.started`、`item.completed`、`turn.completed` など)。 ・`-o/--output-last-message `: 最終メッセージをファイルに書き出します。 ・`--output-schema `: JSON Schemaに従った構造化出力を強制します。 ・`-C/--cd `: 実行前に作業ディレクトリを変更します。 ・`--skip-git-repo-check`: Gitリポジトリ必須の制約を外します(破壊的変更防止のため通常は必須)。 ・`--ephemeral`: セッションファイルをディスクに残しません。 🛠️ 実践的な使い方 標準入力(stdin)と組み合わせると強力です。例えば `npm test 2>&1 | codex exec "失敗したテストを要約し最小限の修正を提案して"` のようにテスト出力を渡し、結果を `tee` でファイルに残せます。 構造化出力を使えば機械可読なメタデータを安定して取り出せます。`--output-schema` でスキーマを指定し、`-o` で結果ファイルを書き出します。 セッションを継いで多段処理にもできます。一度レビューさせたあと `codex exec resume --last "見つけた問題を修正して"` で続きを実行します。 💡 ユースケース CI失敗をトリガに読み取り専用でパッチ案を生成し、別ジョブで書き込み権限を持たせてPR化する、といった分業が定番です。ログ末尾を渡して原因分析を `analysis.md` に残す運用にも向きます。 ⚠️ 注意点 未信頼コードをチェックアウトするワークフローでは、APIキーをジョブ全体の環境変数に晒さないでください。GitHubでは公式のCodex GitHub Actionの利用が推奨です。`--full-auto` は非推奨で、代わりに `--sandbox workspace-write` を使います。`required = true` のMCPサーバーが起動失敗すると `codex exec` はエラー終了します。自動化では常に最小権限のサンドボックスを選びましょう。 #Codex# #CI#

AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ） ・AIコーディングツールは生産性を劇的に向上させる ・しかし、それに伴ってコストも指数関数的に増大している ・放置すれば、AIによる恩恵がコストで相殺される ・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく ・具体的な対策の筆頭は、より安価で効率的なモデルへの移行 ・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する ・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効 ・予算管理において、利用上限でアクセスを完全に遮断するのは悪手 ・これは、最も生産性の高い開発者の足を引っ張ってしまうため ・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい ・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に ・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる （で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）

# AIエージェント開発の意思決定ポイント # トレース・サンプリング率｜Trace Sampling Rate 🎯 ポイント エージェントのトレース、全量記録していますか？それとも全く記録していませんか？ 「全量か無か」ではなく「何を全量にするか」が正しい問いです。AIエージェントの1リクエストは数千〜数万トークンのトレースデータを生成します。全量記録すると観測コストが爆発し、記録しなければ障害時に原因究明が不可能。条件付きサンプリングがこのジレンマを解決します。 📋 概要 トレース・サンプリング率は、エージェントの実行トレース（各LLM呼び出し、ツール実行、意思決定のステップごとの記録）をどの割合で収集・保存するかを制御するパラメータです。100%ならすべてのリクエストのトレースを記録し、1%なら100リクエストに1件だけ記録します。 AIエージェントのトレースは従来のWebサービスのログとは質的に異なります。プロンプト全文、出力全文、ツール引数・戻り値、中間的な推論ステップなどを含めると、1リクエストで数十KB〜数百KBのデータが生成されます。さらにLLMの出力は確率的なため、「同じ入力を再投入すれば再現できる」という前提が成り立ちません。 🔍 意思決定のポイント サンプリング率はaccountability（説明責任）とcost_sensitivity（コスト感度）のバランスで決まりますが、最も重要なのは条件付きサンプリングの設計です 🎯 一律の確率ではなく、リクエストの属性に応じて率を変えます。 判定基準の優先順位: 1. エラー/例外が発生したリクエスト → 100%記録（必須） 2. HITL（人間介在）が発生したリクエスト → 100%記録 3. 高リスク操作（副作用あり、不可逆）を含むリクエスト → 100%記録 4. レイテンシがP95を超えたリクエスト → 100%記録 5. コストが閾値を超えたリクエスト → 100%記録 6. 成功したリクエスト → 標本率で記録（1〜10%） 💡 要点と詳細 目安値 📊 - エラー/例外発生 → 100%。再現性のない障害のデバッグに不可欠 - HITL発生（人間承認/エスカレーション） → 100%。承認判断の妥当性を事後検証 - 高リスク操作（送金、データ削除等） → 100%。不可逆操作の監査に必須 - レイテンシP95超過 → 100%。性能劣化の根本原因分析に必要 - 成功かつ低リスク → 1〜10%。品質の統計的モニタリングに十分 - 開発・ステージング環境 → 100%。コストが問題にならない範囲で全量記録 トレースの粒度をサンプリング率とは別に制御するのも重要です 📦 全量記録するリクエストでも、プロンプト全文はコールド層に、メタデータ（モデル名、トークン数、レイテンシ、ステータス）はホット層に分離します。 ⚖️ トレードオフ サンプリング率が低すぎると、障害の再現が不可能になります 🔍 LLMの出力は確率的なため、同じプロンプトを再投入しても同じエラーが再現するとは限りません。品質劣化の見逃し、監査要件の不達成、コスト異常の遅延検知も深刻なリスクです。 サンプリング率が高すぎると、観測コストが本番のLLM呼び出しコストに匹敵するか上回ることがあります 💸 パフォーマンスへの影響、PII（個人情報）の拡散リスク、大量データ中の信号がノイズに埋もれる問題も発生します。 サンプリング率は運用開始後に段階的に下げてください。最初は高い率（50〜100%）で始め、安定性を確認してから成功リクエストの率を徐々に下げます。 🛠️ ユースケース サンプリング判定はリクエストの終了時に行うことも検討してください 🔄 head-based sampling（開始時に決定）は実装が簡単ですが、エラーが発生するかどうかは事前に分かりません。tail-based sampling（完了後に決定）なら結果に基づいて判定できます。ただし中間データを一時的にバッファする必要があります。 correlation ID（trace ID）の伝播を確実にしてください 🔗 マルチステップのエージェント実行では、最初のリクエストから最後のツール呼び出しまで一貫したtrace IDが紐づいていないと、部分的なトレースしか得られません。非同期処理やキューを介する場合にIDが途切れやすいので要注意です。 ホット/コールド分離と組み合わせるのが効率的です。サンプリングされたトレースはコールド層に全文を、それ以外はホット層にメタデータのみを記録する構成が実用的です。 #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェントをソフトウェアに組み込むプラクティス # 読取自由・書込ゲート 🎯 「全ツール呼び出しに承認を求める」設計は、承認疲れで自壊します。 読取と書込を非対称に扱うだけで、安全性と生産性の両立が実現できます。承認すべき操作に人間の注意を集中させましょう。 🔥 解決する課題 エージェントのツール呼び出しには副作用のある操作とない操作が混在しています。すべてに一律の承認を求めると、読取が大半を占める実運用では承認疲れが発生し、肝心の書込操作の承認が形骸化してしまいます。かといってすべてを自由にすれば、不可逆な書込操作で取り返しのつかない変更が走るリスクが残ります。 💡 提案パターン ツール呼び出しを「読取（検索・取得・参照）」と「書込（作成・更新・削除・送信）」に二分し、読取は自由に許可、書込にだけ認可・検証・承認・監査のゲートを設けます。R/W分類はツール定義時に静的に付与し、LLMの判断には委ねません。書込ゲートの厳格度は可逆性で段階化し、不可逆操作（メール送信・決済）は人間承認必須、可逆操作（下書き保存）はポリシー検証のみとします。これにより承認疲れを劇的に減らしつつ、副作用の安全性を維持できます。 ✅ 選定条件 使うとき： - 読取と書込が混在し、読取が多数を占める - 不可逆な書込操作（メール送信、決済、本番DB変更）が含まれる - 承認疲れを防ぎ、人間のレビュー帯域を高リスク操作に集中させたい 使わないとき： - 読取自体が機密データへのアクセスを含む場合（個人情報検索など）は、読取にも認可が必要 - 全操作が読取専用で書込がそもそも存在しない場合 - 実験環境で全操作が可逆かつ低コストな場合 ⚠️ 落とし穴 - R/W分類をLLMに任せてはいけません。インジェクションで書込ツールが「読取」と判断される経路を作ります - 「読取だが副作用がある」操作（API呼び出し回数カウント、閲覧履歴記録など）を見落とさないでください - 可逆な書込と不可逆な書込を同じ厳格度にすると、承認疲れの問題が再発します 🔧 実装方針 - ツール定義時にtype（read/write）とgate種別（none/auto/human_approval）を静的に付与し、実行時にLLMが分類を変更できない構造にします - 読取パスではメタデータのみをログに記録し、書込パスでは入力検証・ゲート判定・実行・監査ログの全量記録をパイプラインとして実装します - 書込ゲートの厳格度をreversibleフラグで段階化し、不可逆操作にはdry-runの前段必須化も組み合わせます - ゲート判定ロジックはゲートウェイ層のコードで強制し、プロンプトによる制御は一切使用しません #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェントをソフトウェアに組み込むプラクティス # 読取自由・書込ゲート 🎯 「全ツール呼び出しに承認を求める」設計は、承認疲れで自壊します。 読取と書込を非対称に扱うだけで、安全性と生産性の両立が実現できます。承認すべき操作に人間の注意を集中させましょう。 🔥 解決する課題 エージェントのツール呼び出しには副作用のある操作とない操作が混在しています。すべてに一律の承認を求めると、読取が大半を占める実運用では承認疲れが発生し、肝心の書込操作の承認が形骸化してしまいます。かといってすべてを自由にすれば、不可逆な書込操作で取り返しのつかない変更が走るリスクが残ります。 💡 提案パターン ツール呼び出しを「読取（検索・取得・参照）」と「書込（作成・更新・削除・送信）」に二分し、読取は自由に許可、書込にだけ認可・検証・承認・監査のゲートを設けます。R/W分類はツール定義時に静的に付与し、LLMの判断には委ねません。書込ゲートの厳格度は可逆性で段階化し、不可逆操作（メール送信・決済）は人間承認必須、可逆操作（下書き保存）はポリシー検証のみとします。これにより承認疲れを劇的に減らしつつ、副作用の安全性を維持できます。 ✅ 選定条件 使うとき： - 読取と書込が混在し、読取が多数を占める - 不可逆な書込操作（メール送信、決済、本番DB変更）が含まれる - 承認疲れを防ぎ、人間のレビュー帯域を高リスク操作に集中させたい 使わないとき： - 読取自体が機密データへのアクセスを含む場合（個人情報検索など）は、読取にも認可が必要 - 全操作が読取専用で書込がそもそも存在しない場合 - 実験環境で全操作が可逆かつ低コストな場合 ⚠️ 落とし穴 - R/W分類をLLMに任せてはいけません。インジェクションで書込ツールが「読取」と判断される経路を作ります - 「読取だが副作用がある」操作（API呼び出し回数カウント、閲覧履歴記録など）を見落とさないでください - 可逆な書込と不可逆な書込を同じ厳格度にすると、承認疲れの問題が再発します 🔧 実装方針 - ツール定義時にtype（read/write）とgate種別（none/auto/human_approval）を静的に付与し、実行時にLLMが分類を変更できない構造にします - 読取パスではメタデータのみをログに記録し、書込パスでは入力検証・ゲート判定・実行・監査ログの全量記録をパイプラインとして実装します - 書込ゲートの厳格度をreversibleフラグで段階化し、不可逆操作にはdry-runの前段必須化も組み合わせます - ゲート判定ロジックはゲートウェイ層のコードで強制し、プロンプトによる制御は一切使用しません #AIエージェント# #ソフトウェアアーキテクチャ#

AIには「人格」がありません。誰がお金を払 っているかによって、性格はいくらでも書き 換えられる——これは、消費者全員が知ってお くべきことだと思います。 先週、日経新聞の記者から、日本の金融機関 がChatGPTをライセンスして顧客向けのファ イナンシャル・アドバイザーとして提供し始 めた、という話を聞きました。一見すると便 利な話ですが、私は強い危険を感じました。 たとえ中身が普段使っているChatGPTと全く 同じモデルでも、その上に金融機関がアプリ を作る段階で、「より多くの取引をして手数 料を落とさせる」方向にファインチューニン グしたり、システムプロンプトで誘導するこ とは、技術的にいとも簡単にできてしまうか らです。 普段の信頼関係をそのまま持ち込んで相談し た結果、上手に洗脳され、金融機関ばかりが 儲かる取引を繰り返す消費者が続出しても、 私は驚きません。 私が金融機関のエンジニアなら——という視点 から、今週のメルマガに書きました。