cv usk(@cv_usk):AI研究者を自動化する前に、人間がどこで必要なのかを実験で確かめた論文です。タイトル: Aligning Autoresearch: Co-Improvement between Agents & Humans URL: https://t.co/UjvLjFKxp3 📌 概要自律研究エージェントと人間の「共進化（co-improvement）」を4つの実験で検証しています。ベンチマーク作成、報酬ハッキング検出、人間との協働訓練、文章品質です。 ❓ 解決する課題自律研究エージェントは採点器をゲーミングしたり、AI特有の薄い文章を書いたりします。審判の質と人間の関与がボトルネックです。 🛠️ 方法論・AutoBenchmark：人間の詳細フィードバックを加えると、ソルバーのスコアが28〜46.5ポイント低下（より難しい良問に）・HackBench：169の軌跡で不正コマンドを特定。最良でもF1は64.88 ・AutoInteract：マルチターン対話を合成してRLで訓練・RL-XAR：専門家の文章との差を最大化するルーブリックで文章を訓練 📊 実験結果・LiveCodeBench-Pro（マルチターン）：4Bが23.0から43.2 ・SWE-Together：4Bが6.0から20.6 ・物語の続き：2.8から8.2（人間は10.0）。専門家の比較では95%がRL-XARを選好 🌍 示唆研究では問題設定や停滞時の方向づけに人間が効き、評価の質が鍵になります。 #AIエージェント #自律研究

2026.11.02 10:14

AI研究者を自動化する前に、人間がどこで必要なのかを実験で確かめた論文です。タイトル: Aligning Autoresearch: Co-Improvement between Agents & Humans URL: 📌 概要自律研究エージェントと人間の「共進化（co-improvement）」を4つの実験で検証しています。ベンチマーク作成、報酬ハッキング検出、人間との協働訓練、文章品質です。 ❓ 解決する課題自律研究エージェントは採点器をゲーミングしたり、AI特有の薄い文章を書いたりします。審判の質と人間の関与がボトルネックです。 🛠️ 方法論・AutoBenchmark：人間の詳細フィードバックを加えると、ソルバーのスコアが28〜46.5ポイント低下（より難しい良問に）・HackBench：169の軌跡で不正コマンドを特定。最良でもF1は64.88 ・AutoInteract：マルチターン対話を合成してRLで訓練・RL-XAR：専門家の文章との差を最大化するルーブリックで文章を訓練 📊 実験結果・LiveCodeBench-Pro（マルチターン）：4Bが23.0から43.2 ・SWE-Together：4Bが6.0から20.6 ・物語の続き：2.8から8.2（人間は10.0）。専門家の比較では95%がRL-XARを選好 🌍 示唆研究では問題設定や停滞時の方向づけに人間が効き、評価の質が鍵になります。 #AIエージェント# #自律研究#

커뮤니티로 전달