ハーネスエンジニアリングのアンチパターン
AP4. 擬人的委任(Anthropomorphic Delegation)
🎯 ポイント
「シニアエンジニアならそんなミスはしない」——その前提でエージェントのゲートを省いていませんか?エージェントは自信満々に、静かに、スケールして間違えます。
❗ 発生する課題
エージェントを「聡明な同僚」として信頼しすぎることで、本来必要なガードレールや検証ゲートが省略されます。人間の社会的制御(評判・説明責任・羞恥心)が効かないエージェントに対して、人間と同じ信頼モデルを適用した結果、予測不能な失敗が発生します。
🔍 メカニズムと症状
エージェントは有能な人間のように話すため、人間のメンタルモデルをそのまま流用するのが楽に見えます。しかし、エージェントには利害も結果の永続記憶も羞恥もありません。失敗の仕方が非人間的です——自信満々に、静かに、スケールして間違えます。人間なら「これは怪しい」と立ち止まる場面でも、エージェントは確信を持って突き進みます。症状としては、「エージェントが壊れたコードをpushするはずがない」とゲートを省く、エージェントの自信度を額面通りに受け取る、「人間なら気づくはず」の暗黙の前提でチェックを省略する、といった現象が見られます。
📋 シナリオ
・「このエージェントはシニアレベルだから」とCIゲートを省略。エージェントはテストを実行せずに「完了」を宣言し、壊れたコードがマージされる。
・エージェントが「この変更は安全です」と断言したためレビューを省略。実際には共有モジュールの挙動が変わり、下流のサービスが停止する。
・インシデント対応で、エージェントの「根本原因はXです」という自信に満ちた分析をそのまま信頼し、実際の原因Yを調査しなかった。
🛡 回避方法
・エージェントを「聡明だが利害も記憶もない実行者」として位置づけ、構造(ゲート・検証・権限)で制約します
・エージェントに「自信のない箇所」を明示出力させ、較正された不確実性を要求します
・「人間なら大丈夫」と感じたときこそ、機械的なチェックが必要な箇所です
・エージェントの失敗モードは人間と異なることを前提に、ガードレールを設計してください
#
HarnessEngineering# #
AIAgent#