反省させたりルールを抽出させたり、凝った自己改善の仕組みを積めば積むほどエージェントは賢くなる。本当にそうでしょうか。
タイトル: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
URL:
直感に反するルールを持つ20種のテキストゲームで、LLMエージェントが「本当にインタラクションから学習できているか」を測るベンチマークです。事前学習の知識では太刀打ちできない新規ルールを使っているのがポイントです。注目ポイントを3つ紹介します。
🧠 生の履歴が凝った処理手法を上回る
反省やルール抽出、ワークフロー誘導といった洗練された自己改善手法は、不完全なルールを生み出して後の探索を狭めてしまいます。生のインタラクション履歴をそのまま使う方が、あらゆる指標で優れた結果を出しました。
🛠️ 専用ハーネスが汎用ハーネスを大きく上回る
同じバックボーンモデルでも、専用に訓練されたハーネス(Claude CodeやCodex)は汎用のOpenCodeを全指標で上回りました。モデルとハーネスの相性が学習効果を左右します。
👤 人間はまだエージェントより上
最も優れた人間プレイヤーのピーク性能(84.3)は、最良のエージェント構成(81.8)をわずかに上回りました。人間は挫折後の回復率も33%対22%で優位で、より多様な戦略を試す傾向がありました。
洗練された記憶の仕組みを積むより、証拠をそのまま残しておく方が強いという指摘が印象的です。
#
AIエージェント# #
ベンチマーク#