cv usk(@cv_usk):反省させたりルールを抽出させたり、凝った自己改善の仕組みを積めば積むほどエージェントは賢くなる。本当にそうでしょうか。タイトル: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? URL: https://t.co/WLlqFePSbi 直感に反するルールを持つ20種のテキストゲームで、LLMエージェントが「本当にインタラクションから学習できているか」を測るベンチマークです。事前学習の知識では太刀打ちできない新規ルールを使っているのがポイントです。注目ポイントを3つ紹介します。 🧠 生の履歴が凝った処理手法を上回る反省やルール抽出、ワークフロー誘導といった洗練された自己改善手法は、不完全なルールを生み出して後の探索を狭めてしまいます。生のインタラクション履歴をそのまま使う方が、あらゆる指標で優れた結果を出しました。 🛠️ 専用ハーネスが汎用ハーネスを大きく上回る同じバックボーンモデルでも、専用に訓練されたハーネス（Claude CodeやCodex）は汎用のOpenCodeを全指標で上回りました。モデルとハーネスの相性が学習効果を左右します。 👤 人間はまだエージェントより上最も優れた人間プレイヤーのピーク性能（84.3）は、最良のエージェント構成（81.8）をわずかに上回りました。人間は挫折後の回復率も33%対22%で優位で、より多様な戦略を試す傾向がありました。洗練された記憶の仕組みを積むより、証拠をそのまま残しておく方が強いという指摘が印象的です。 #AIエージェント #ベンチマーク

2026.10.10 23:48

反省させたりルールを抽出させたり、凝った自己改善の仕組みを積めば積むほどエージェントは賢くなる。本当にそうでしょうか。タイトル: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? URL: 直感に反するルールを持つ20種のテキストゲームで、LLMエージェントが「本当にインタラクションから学習できているか」を測るベンチマークです。事前学習の知識では太刀打ちできない新規ルールを使っているのがポイントです。注目ポイントを3つ紹介します。 🧠 生の履歴が凝った処理手法を上回る反省やルール抽出、ワークフロー誘導といった洗練された自己改善手法は、不完全なルールを生み出して後の探索を狭めてしまいます。生のインタラクション履歴をそのまま使う方が、あらゆる指標で優れた結果を出しました。 🛠️ 専用ハーネスが汎用ハーネスを大きく上回る同じバックボーンモデルでも、専用に訓練されたハーネス（Claude CodeやCodex）は汎用のOpenCodeを全指標で上回りました。モデルとハーネスの相性が学習効果を左右します。 👤 人間はまだエージェントより上最も優れた人間プレイヤーのピーク性能（84.3）は、最良のエージェント構成（81.8）をわずかに上回りました。人間は挫折後の回復率も33%対22%で優位で、より多様な戦略を試す傾向がありました。洗練された記憶の仕組みを積むより、証拠をそのまま残しておく方が強いという指摘が印象的です。 #AIエージェント# #ベンチマーク#