ハーネスエンジニアリングのプラクティス P16. 信頼の獲得制（capability ramping） 🎯 ポイント 新入社員にいきなり本番デプロイ権限を渡す会社はありません。エージェントにも「信頼を実績で獲得させる」仕組みが必要です。 📝 概要 新しいハーネスは厳しいゲートから始め、あるタスク種別で実績（高成功率・ゼロのリグレッション）を積めば、その種別に限って自律性を自動拡張します。信頼はタスク種別ごとに測定に基づいて獲得され、いつでも剥奪可能です。 🔍 解説 最初から全てのタスクに高い自律性を与えるのは危険ですが、永遠に厳しいゲートを維持するのも非効率です。解決策は段階的な信頼の獲得です。たとえば、lint修正タスクで10件連続成功・リグレッションゼロなら、lint修正に限って自動マージを許可する。しかしセキュリティパッチの自動マージは別のトラックで実績を積むまで許可しない。重要なのは、信頼がタスク種別ごとに独立していることと、測定に基づいていること、そしていつでも引き下げ可能であることです。リグレッションが発生したら、その種別の信頼レベルを即座に引き下げます。 🛠 実践方法 ・タスク種別ごとに信頼レベル（例：L0=全て承認必須、L1=軽い自律、L2=自動マージ可）を定義します ・昇格条件を数値で定義します（例：直近20件で成功率95%以上かつリグレッションゼロ） ・降格条件も定義します（リグレッション発生時は即座にL0に引き下げ） ・信頼レベルの変化と根拠をログに記録し、意思決定の透明性を確保します 💼 ユースケース ・CI自動メンテナンスで、低リスク種別（lintパッチ）のみ自動マージを段階的に許可する場面 ・issue-to-PRエージェントで、バグ修正の成功実績に応じて人間レビューの粒度を調整する場面 ・レガシーコード改修で、特性評価テスト作成は自律、コード変更はカナリアデプロイ付きで慎重に進める場面 ⚠ 落とし穴 信頼の獲得基準が不明確だと、いつまでも厳しいゲートのままか、いつの間にか緩みきるかのどちらかになります。基準を数値で定義し（成功率X%以上・直近N件でリグレッションゼロ）、自動的に判定する仕組みが必要です。また、「成功率が高い」と「安全である」は同義ではありません。簡単なタスクばかりで成功率を稼いでいないか、タスクの難易度も考慮すべきです。 #HarnessEngineering# #AIAgent#