Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
AIエージェントが自分のスキルや実行コードを直して点数を伸ばしても、「新しい仕事にも強くなった」とは限らない、という研究（
対象はHarness evolution。モデルの重みを変えず、プロンプト・スキル・ツール・実行手順を自動改善する方法だ。Harness-Delta Attribution（HDA）は、その伸びを、評価問題の癖への過学習、推論時の計算量増加、残った改善に分けて調べる。
11モデル、3つの改善方式による25条件を評価。有意なスコア上昇があった21条件では、改善分の平均54%が過学習、14%が計算量増加で説明された。これは正解率が54ポイント下がったという意味ではなく、伸びた分の内訳。
具体例がわかりやすい。数学の選択式問題では、特定の言い回しの選択肢が繰り返し正解になる癖を、別々の改善方式が発見した。家事タスクの仮想環境では、モデルを呼ばず、決め打ちの手順だけで探索用問題を全問成功する例まであった。
HDAでは、元の方式にも同程度の推論予算を与え、発見した近道だけを無効化して比較する。ただし、検出できない過学習は残る。差し引き後の改善は「汎化できる改善の上限」で、新しい課題への転用を保証しない。
評価用に分けた問題でも同じ癖が残れば、点数だけでは見抜けない。自己改善の成果を見るときは、何を変えて伸びたのか、同じ計算予算でも勝つのか、問題の作り方を変えても残るのかまで確かめたい。
Show more
