# AIエージェントをソフトウェアに組み込むプラクティス # Eval Harness｜評価ハーネス 🎯 プロンプトを変えたら品質が下がっていた、モデルが更新されていつの間にか精度が劣化していた――気づいたのはユーザクレームの後でした。評価ハーネスがあれば、デプロイ前に検知できます。 🔥 解決する課題 AIエージェントは確率的であり、コードの単体テストのように全入力に対して正解が決定論的に定まりません。ハルシネーションは個別の目視確認では検出しきれず、LLMドリフト（プロバイダ側のモデル更新による品質変動）は自チームが何も変更していなくても発生します。評価ハーネスがなければ、品質劣化は本番のユーザクレームとして初めて顕在化します。 💡 提案パターン ゴールデンデータセット（入力と期待出力のペア）と自動評価関数（完全一致・LLM-as-Judge・カスタムメトリクス）を組み合わせた評価パイプラインを構築します。プロンプト・モデル・コードの変更ごとにCIで回帰検知を行い、変更がなくても日次〜週次の定期実行でLLMドリフトを検知します。評価はオフライン（デプロイ前バッチ）、オンライン（本番サンプリング）、シャドウ（A/B比較）の3層で実施します。回帰ゲートの閾値は安全性カテゴリでは劣化0件を推奨します。 ✅ 選定条件 使うとき： - エージェントが本番トラフィックを処理し、プロンプト・モデル・コードを継続的に変更する - 品質変化を定量的に示す必要がある（SLA遵守・規制報告等） - ゴールデンデータを作成・維持できるドメイン知識がある 使わないとき： - プロトタイプ段階でプロンプトが日単位で大幅に変わる - 出力がクリエイティブ生成（小説・詩）で正解の定義が困難 - 後段に決定論的検証ロジックがあり誤りが自動修正される ⚠️ 落とし穴 - ゴールデンデータは腐敗します。仕様変更に伴い期待出力が古くなると正しい出力が「回帰」と判定されます。オーナーと最終更新日を付与し定期棚卸ししてください - LLM-as-Judgeも確率的です。温度0でも判定が揺れる場合があるため、重要ケースでは3回実行の多数決を検討してください - ベースラインスコアの更新タイミングを明示的に定めておかないと、劣化が見えなくなります 🔧 実装方針 - ゴールデンデータセット（入力と期待出力のペア）にカテゴリ・評価関数名・期待キーワードを構造化して定義し、カテゴリ別に集計・回帰判定します - 評価パイプラインはオフライン（CI上でのデプロイ前バッチ）、オンライン（本番サンプリング）、シャドウ（新旧A/B比較）の3層で運用します - 回帰ゲートはベースラインとの相対比較で判定し、安全性カテゴリでは劣化0件、一般カテゴリでは概ね2%以内の劣化を閾値とします - シャドウ実行では副作用を持つツール実行をドライランにし、カナリアデプロイではsticky sessionで同一ユーザーを同一バージョンに固定します - ゴールデンデータにオーナーと最終更新日を付与し、仕様変更に伴う腐敗を定期棚卸しで防止します #AIエージェント# #ソフトウェアアーキテクチャ#

🗓 発売日：2026年7月2日（木）18:00 DARK OUTLINE HARNESS 黒は、隠す色ではない。 身体の輪郭を、より鮮明に浮かび上がらせる色。 胸元を走る一本一本のラインが、 肌の上に新しいシルエットを描いていく。 見せるためではなく、 気づかれるための輪郭。 DARK OUTLINE は、 身体そのものをデザインの一部へと変えるハーネスです。 🤵 @SASUKE_DARU 📷 packychong

ハーネスエンジニアリングのアンチパターン AP9. 健忘症のハーネス（The Amnesiac Harness） 🎯 ポイント 毎セッション同じ地雷を踏み、同じ説明をされ、同じ訂正を受ける。複利が効くべきところで単利すら積まれていません——競争優位の最大の源泉を捨てています。 ❗ 発生する課題 ハーネスがセッション間で知識を蓄積しないため、同じ学習コストを無限に再支払いし続けます。エージェントは毎回同じ試行錯誤を繰り返し、組織のハーネスは時間とともに賢くなりません。 🔍 メカニズムと症状 このアンチパターンが見過ごされやすいのは、個々のセッションは「うまくいっている」ように見えるからです。「ビルドにはフラグXが要る」と学んだセッションは成功しますが、次のセッションで同じ発見を一からやり直します。知識固定という地道な作業は後回しにされがちで、「今回は動いたからOK」で終わります。しかし、学習コストの再支払いは1回なら些細でも数十回重なると膨大な浪費です。複利が効くべきところで単利すら積まれない——これは競争優位の最大の源泉を捨てているのと同じです。症状としては、「また同じエラーか」という既視感、毎回同じ環境設定でつまずく、チームが同じ情報をエージェントに何度も教える、といった現象が見られます。 📋 シナリオ ・エージェントが「このプロジェクトではDockerが必要」と3回のセッションで3回学び直す。毎回5分のビルドエラーとデバッグが発生し、合計15分を浪費。 ・レガシーコードの「このモジュールは廃止予定、代わりにYを使え」という知識を、5人の開発者がそれぞれのセッションでエージェントに教え直す。 ・インシデント対応で「このサービスのログはCloudWatchではなくDatadogにある」をエージェントが毎回発見し直し、初動の5分を無駄にする。 🛡 回避方法 ・エージェントが試行錯誤で学んだ知識を永続指示ファイル（AGENTS.md等）に即座に書き出すフックを実装します ・「一時的な情報」と「不変の知識」を区別し、後者だけを永続化するガイドラインを定めます ・指示ファイルの定期的な棚卸しサイクルを設け、古くなった知識を削除します ・知識が複利で積み上がるべき資産であることを認識し、「発見した瞬間の固定」を習慣化してください #HarnessEngineering# #KnowledgeManagement#

検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた 要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もる ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。 ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#

社内で共有するAIエージェントを作るとき、どこでつまずくのでしょうか。LangChainが3つの社内エージェントで見つけた答えをまとめました🧩 The five components of building a "company harness" ❓ そもそも「company harness」とは？ 💡 営業・エンジニアリング・マーケティングの全員が共有するエージェント層のことです。共有チャンネル、ユーザーごとの権限、メモリ、安全なコード実行、頼まれなくても動く処理を扱う必要があります。 ❓ 一番厄介なのは何ですか？ 💡 アイデンティティ、つまり「誰として動くか」です。呼び出したユーザーとして動くOBOと、共有の固定資格情報があり、どちらかではなくツールごとに使い分けます。例えばOpenSWEは、ユーザー起点ならそのGitHubハンドル、コードレビューなどのバックグラウンドでは自前のGitHub appとして動きます。 ❓ 他の要素は？ 💡 ・体験: Slackに常駐し、向かない作業だけカスタムUIに ・メモリ: 全員向けのグローバルとユーザー別の2階層 ・コード実行: サンドボックスとシークレットプロキシで、資格情報を見せずに外部サービスへ接続 ❓ ユーザーが頼まなくても動くのですか？ 💡 はい。OpenSWEは新規PRを検知して自動レビューし、GTM Agentはユーザーに頼まれたデイリーブリーフのために自分でcronを作ります。こうしたアンビエントな実行が、活動の大きな割合を占めるそうです。 #AIエージェント# #LangChain#

AIエージェントが自分のスキルや実行コードを直して点数を伸ばしても、「新しい仕事にも強くなった」とは限らない、という研究（ 対象はHarness evolution。モデルの重みを変えず、プロンプト・スキル・ツール・実行手順を自動改善する方法だ。Harness-Delta Attribution（HDA）は、その伸びを、評価問題の癖への過学習、推論時の計算量増加、残った改善に分けて調べる。 11モデル、3つの改善方式による25条件を評価。有意なスコア上昇があった21条件では、改善分の平均54%が過学習、14%が計算量増加で説明された。これは正解率が54ポイント下がったという意味ではなく、伸びた分の内訳。 具体例がわかりやすい。数学の選択式問題では、特定の言い回しの選択肢が繰り返し正解になる癖を、別々の改善方式が発見した。家事タスクの仮想環境では、モデルを呼ばず、決め打ちの手順だけで探索用問題を全問成功する例まであった。 HDAでは、元の方式にも同程度の推論予算を与え、発見した近道だけを無効化して比較する。ただし、検出できない過学習は残る。差し引き後の改善は「汎化できる改善の上限」で、新しい課題への転用を保証しない。 評価用に分けた問題でも同じ癖が残れば、点数だけでは見抜けない。自己改善の成果を見るときは、何を変えて伸びたのか、同じ計算予算でも勝つのか、問題の作り方を変えても残るのかまで確かめたい。