Itaru Tomita / 冨田到(@itarutomy):AIエージェントが自分のスキルや実行コードを直して点数を伸ばしても、「新しい仕事にも強くなった」とは限らない、という研究（https://t.co/2Jt7uhWBUC）。対象はHarness evolution。モデルの重みを変えず、プロンプト・スキル・ツール・実行手順を自動改善する方法だ。Harness-Delta Attribution（HDA）は、その伸びを、評価問題の癖への過学習、推論時の計算量増加、残った改善に分けて調べる。 11モデル、3つの改善方式による25条件を評価。有意なスコア上昇があった21条件では、改善分の平均54%が過学習、14%が計算量増加で説明された。これは正解率が54ポイント下がったという意味ではなく、伸びた分の内訳。具体例がわかりやすい。数学の選択式問題では、特定の言い回しの選択肢が繰り返し正解になる癖を、別々の改善方式が発見した。家事タスクの仮想環境では、モデルを呼ばず、決め打ちの手順だけで探索用問題を全問成功する例まであった。 HDAでは、元の方式にも同程度の推論予算を与え、発見した近道だけを無効化して比較する。ただし、検出できない過学習は残る。差し引き後の改善は「汎化できる改善の上限」で、新しい課題への転用を保証しない。評価用に分けた問題でも同じ癖が残れば、点数だけでは見抜けない。自己改善の成果を見るときは、何を変えて伸びたのか、同じ計算予算でも勝つのか、問題の作り方を変えても残るのかまで確かめたい。

2026.10.22 08:30

AIエージェントが自分のスキルや実行コードを直して点数を伸ばしても、「新しい仕事にも強くなった」とは限らない、という研究（対象はHarness evolution。モデルの重みを変えず、プロンプト・スキル・ツール・実行手順を自動改善する方法だ。Harness-Delta Attribution（HDA）は、その伸びを、評価問題の癖への過学習、推論時の計算量増加、残った改善に分けて調べる。 11モデル、3つの改善方式による25条件を評価。有意なスコア上昇があった21条件では、改善分の平均54%が過学習、14%が計算量増加で説明された。これは正解率が54ポイント下がったという意味ではなく、伸びた分の内訳。具体例がわかりやすい。数学の選択式問題では、特定の言い回しの選択肢が繰り返し正解になる癖を、別々の改善方式が発見した。家事タスクの仮想環境では、モデルを呼ばず、決め打ちの手順だけで探索用問題を全問成功する例まであった。 HDAでは、元の方式にも同程度の推論予算を与え、発見した近道だけを無効化して比較する。ただし、検出できない過学習は残る。差し引き後の改善は「汎化できる改善の上限」で、新しい課題への転用を保証しない。評価用に分けた問題でも同じ癖が残れば、点数だけでは見抜けない。自己改善の成果を見るときは、何を変えて伸びたのか、同じ計算予算でも勝つのか、問題の作り方を変えても残るのかまで確かめたい。