# AIエージェント開発の意思決定ポイント # 自己修正リトライ｜Self-Correction Retry 🎯 ポイント LLMの出力が壊れた時、「もう一回！」と同じプロンプトを投げ直していませんか？ 自己修正リトライは「何が間違っていたか」をLLMにフィードバックして再生成させる仕組みです。ただし闇雲に回数を増やしても改善しません。3回目以降のリトライで品質が上がることは、ほとんどありません。 📋 概要 自己修正リトライは、LLMの出力がスキーマ違反や品質不足だった場合に、エラー内容をコンテキストに追加して再生成を試みる回数を制御するダイヤルです。ネットワークリトライ（同じリクエストをそのまま再送）とは本質的に異なります。「何が間違っていたか」を具体的にフィードバックすることで、次の生成で正しい出力を得ることを期待します。LLMの出力は確率的であり、JSONの閉じ括弧が足りない、値の範囲が逸脱しているといったエラーは日常的に発生します。こうしたエラーへの対処戦略として、自己修正リトライは非常に実用的です。 🔍 意思決定のポイント 最大の判断基準は「出力のエラーが下流にどれだけの損害を与えるか」（failure_cost）です。すべてのエラーに同じリトライ回数を適用するのは非効率なので、エラーの種類に応じて対応を分けるのが鉄則です。 構文レベルのエラー（JSON構文不正、型の不一致）はフィードバック1回でほぼ直ります。意味レベルのエラー（値の範囲逸脱、存在しないIDの参照）は2回目で直らなければ構造的な問題です。品質レベルのエラー（不完全な回答、情報の欠落）は主観的で改善が読みにくいため、リトライよりプロンプト改善に投資すべきです。 💡 要点と詳細 目安値として覚えておくと便利です 📊 - 一般的なケース → 1〜3回。2回目で改善しなければ構造的問題の可能性大 - 構造化出力（JSONスキーマ） → 1〜2回。response_formatを使えば初回成功率が高い - 高failure_cost領域（金銭・法務・医療） → 2〜3回。品質が上がらなければ人間エスカレーション - 低failure_cost領域 → 0〜1回。フォールバックで対応できるなら即諦める方が効率的 エラーメッセージは短く具体的に 🎯 「出力が不正です」ではなく「delivery_dateフィールドが過去の日付です。未来の日付を指定してください」のように、何が間違っていて何が期待されるかを明示します。ただしエラーメッセージ自体がトークンを消費するため、概ね200トークン以内に収めましょう。 ⚖️ トレードオフ リトライしなさすぎると、修正可能なエラーでも即失敗として扱われます。JSONの閉じ括弧が1つ足りないだけの出力を捨ててしまうのは、もったいないですよね。 一方でリトライしすぎると、コストとレイテンシが急膨張します ⚡ 1回のLLM呼び出しが30秒なら、5回リトライで2.5分以上。リトライのたびにエラーメッセージをコンテキストに追加するためトークン消費が累積的に増大し、最悪の場合コンテキスト長超過という別の問題に遷移します。 2回連続で同じ種類のエラーが出たら、3回目を試すよりプロンプトを疑ってください。同じエラーの反復は、LLMがそのプロンプトとスキーマの組み合わせで正しい出力を生成できないことを示しています。 🛠️ ユースケース JSON出力のスキーマ違反 → エラー内容を具体的にフィードバックし、リトライ1回でほぼ修正可能。response_format（Structured Outputs）を使えばこの種のリトライ自体が不要に。 ビジネスルール違反（配送日が過去の日付など） → 具体的な制約と現在の状態を含めたフィードバックが重要。2回で改善しなければプロンプト改善へ。 品質不足（「5つの観点から分析」に3つしか返らない） → 1回リトライして改善しなければ、部分結果を受け入れるかプロンプト分割の方が効果的。 繰り返し同じエラーが出る場合 → 温度を下げる、プロンプトを簡素化する、別のモデルで試行する、人間にエスカレーションするなどの代替手段を検討 🔄 #AIエージェント# #ソフトウェアアーキテクチャ#

ハーネスエンジニアリングのアンチパターン AP7. 決定性の取り違え（The Misplaced Determinism Boundary） 🎯 ポイント テスト実行をLLMの善意に委ね、端ケースの判断を硬いルールに押し込む。境界を取り違えると、信頼性と適応性を同時に失います。 ❗ 発生する課題 確率的な要素を決定的であるべき場所に置くと信頼性が漏れ、決定的なルールを判断が要る場所に置くと適応性を失います。結果として、簡単なタスクで不安定になるか、複雑なタスクで硬直するか、あるいはその両方が同時に起きます。 🔍 メカニズムと症状 この取り違えには二つの形態があります。形態Aは「LLMの判断が要る長いテールを硬いルールに押し込む」パターンで、ルールは予測可能なため魅力的に見えますが、端ケースに遭遇すると脆く壊れます。形態Bは「決定的であるべき処理（テスト実行、ゲート判定、リトライ）をLLMの善意に委ねる」パターンで、モデルに任せれば実装が楽に見えますが、100回に1回はテストを忘れるという不安定さを生みます。症状としては、形態Aでは「想定外のケースでルールが破綻」「新しいパターンのたびにルール追加が必要」、形態Bでは「テストの実行忘れ」「ゲートのスキップ」「時々なぜか動かない」が見られます。 📋 シナリオ ・形態A：「import文の変更は必ずファイル先頭に」という硬いルールを設定。circular importの解消が必要なケースでルールが邪魔をし、エージェントが行き詰まる。 ・形態B：「テストを必ず実行すること」をプロンプトに記載するだけで、ハーネスが強制しない。エージェントは95%の確率でテストを実行するが、残り5%でテスト未実行のまま完了を宣言する。 ・両方同時：コードモッドの大部分はASTベースの決定的変換で処理できるのに、全てをLLMに任せている（形態B）。一方、LLMの判断が必要な端ケースには「この場合はスキップ」という硬いルールを適用（形態A）。両方が間違っている。 🛡 回避方法 ・ハーネスの全処理を「判断が要る」と「判断不要で決定的に実行可能」に分類し、境界を明示します ・テスト実行・lint・ビルド・ゲート判定は決定的コードで強制し、「お願い」しません ・LLMは本当に判断が必要な部分（原因分析・方針決定・コード生成）に限定して使います ・モデルの進化に合わせて境界を定期的に見直し、適切に移動させてください #HarnessEngineering# #AIAgent#

単行本第2巻発売記念🎉✨ ＼今だけ【1巻無料！】／ ろりたけんじ先生（@loliloli_kenji）、愛南ぜろ 先生（@zerotan0201）の 『異世界転移した俺は、Hのたびにガチャを引く！～もってくれ、俺の精力！～』 煩悩だらけの異世界奇譚😍💞 無料期間は5/24 (日)まで👇

単行本第2巻発売記念🎉✨ ＼今だけ【1巻無料！】／ ろりたけんじ先生（@loliloli_kenji）、愛南ぜろ 先生（@zerotan0201）の 『異世界転移した俺は、Hのたびにガチャを引く！～もってくれ、俺の精力！～』 煩悩だらけの異世界奇譚😍💞 無料期間は5/24 (日)まで👇

# AIエージェントをソフトウェアに組み込むプラクティス # Deadline & Budget Cascade｜期限・予算のカスケード伝播 🎯 エージェントが再帰的にサブタスクを生成して、気づけばコストが数十ドルに。「請求事故」を構造的に防ぐ方法があります。 全体の予算と期限を末端ノードまで伝播させれば、各ノードが自分で打ち切り判断できます。 🔥 解決する課題 エージェントの呼出ツリーが深くなると、各ノードは自分がどれだけのリソースを消費してよいか分かりません。高コストなLLM呼び出しが再帰的に積み重なり、請求事故が起きます。計画-反省の自己ループでは、改善の見込みが薄くても無限にリトライを繰り返しえます。根本原因は「全体の予算と期限がローカルな判断に伝わっていない」ことです。 💡 提案パターン Deadline & Budget Cascade（期限・予算のカスケード伝播）は、呼出ツリーのルートでdeadline（期限）とbudget（トークン・コスト・ステップ数の上限）を設定し、子タスクへ委譲するたびに残り枠を差し引いて伝播します。どの末端ノードでも「今の自分に残された時間・コスト」を知っており、枠を使い切る前に縮退・中断・部分結果返却に切り替えられます。deadlineは相対秒でなく絶対時刻で渡し、伝播時のズレを防ぎます。 ✅ 選定条件 使うとき： - エージェントがサブタスクを再帰的に生成、または複数ワーカーに並列委譲する - 1リクエストのコストが予測困難で、上限を置かないと請求事故が起きうる - タスク完了にSLAや期待値がある 使わないとき： - 呼出ツリーが1段で完結し、タイムアウトだけで十分な場合 - バッチジョブなど時間制約がなくコストも固定的な場合 ⚠️ 落とし穴 - deadlineは絶対時刻で渡すこと。相対秒を渡すと伝播のたびにズレが蓄積します（gRPCのgrpc-timeoutと同じ原則） - 子に全予算を渡さず、予備枠（10〜20%）を親に残すこと。子の結果を集約・フォーマットする時間とコストが必要です - 枯渇時の振る舞い（部分結果返却・人間エスカレーション・縮退モデル切替）を事前に決めておくこと。タイムアウト例外を投げるだけではUXが崩壊します 🔧 実装方針 - BudgetContextデータクラスにdeadline_at（絶対時刻）・max_cost_usd・max_steps・max_tokens・depth・max_depthを持たせ、呼出ツリーのルートで初期値を設定します - 子タスクへの委譲時にchild_budgetメソッドで残り枠からfractionを掛けて分配し、伝播マージン（概ね2秒）を差し引きます。予備枠としてルート予算の10〜20%を親に残します - 各ノードはis_exhaustedで残時間・残コスト・残ステップを確認し、枠を使い切る前に縮退・中断・部分結果返却に切り替えます - 並列子タスクではコストは各子の合算、deadlineは最も遅い子で決まることに注意し、分配比率は子タスクの重要度と予測コストで按分します - 予算消費率（consumed/limit比）をメトリクスとして観測し、閾値超過時にアラートを発火させる仕組みを組み込みます #AIエージェント# #ソフトウェアアーキテクチャ#

りあぴたびの時はすごく民度よかったから、余計びっくりしたのかもしれない まめフェス以上に自由だったのに不思議🤣 北海道好きだし、まめフェスも好きだから来年もリアピを呼んで欲しい🥹✨ かちょーさんの側に行くだけの要領のよさは無いけど、見つけてくれるからそれだけで幸せ💙✨ ありがとう🙇‍♂️

／ 6/9は「綠（りょく）の日」記念 🍵 ＼ 抽選で合計3万名様に アイリスのお茶「綠」と「焙じ茶」セット当たる！🎁 ①@irisohyama_infoをフォロー ②ハッシュタグ【6月9日はアイリスのお茶綠の日】をつけてこの投稿にリプライ さらに、10名様に1年分の「綠」当たる🎯 参加するたび当選確率UP！