cv usk(@cv_usk):TL;DR 複数のハーネスで解けた成功体験を、単一の汎用ハーネスで再現できる学習データへ「書き直す」手法です。生データをそのまま学習させると性能が落ちる一方、書き直すとpass@3が57.0%から74.2%へ上がりました。タイトル: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite URL: https://t.co/RQX5Aizq1k ポイント 🧩 ハーネスが違えば解けるタスクも違い、3種類の和集合は最強単体より34.3%多くのタスクを解きました 📝 成功軌跡から手順書を再構成し、新しいサンドボックスで汎用ハーネスのまま解き直させます 🔍 手順書が答えを漏らしていないかを批評役が検査し、却下なら理由付きで作り直させます 🧹 最後にモデル自身が「環境から導けない値」を検出して該当データを破棄します 📈 学習データは2,001本から11,094本へ拡大し、Terminal-Bench Hardは39.0%から63.0%に向上しました ⚠️ 生データ直接学習はTB2でむしろ悪化。同じ行動を延々ループする行き止まり挙動が混入していました 🎛 学習なしでもハーネスを替えるだけでTBHは33.0%から66.0%へ倍増します自前のエージェントログを学習に回すなら、書き直しと漏洩監査を挟む価値があると感じる結果です。 #AIエージェント #自己改善

2026.10.07 07:56

TL;DR 複数のハーネスで解けた成功体験を、単一の汎用ハーネスで再現できる学習データへ「書き直す」手法です。生データをそのまま学習させると性能が落ちる一方、書き直すとpass@3が57.0%から74.2%へ上がりました。タイトル: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite URL: ポイント 🧩 ハーネスが違えば解けるタスクも違い、3種類の和集合は最強単体より34.3%多くのタスクを解きました 📝 成功軌跡から手順書を再構成し、新しいサンドボックスで汎用ハーネスのまま解き直させます 🔍 手順書が答えを漏らしていないかを批評役が検査し、却下なら理由付きで作り直させます 🧹 最後にモデル自身が「環境から導けない値」を検出して該当データを破棄します 📈 学習データは2,001本から11,094本へ拡大し、Terminal-Bench Hardは39.0%から63.0%に向上しました ⚠️ 生データ直接学習はTB2でむしろ悪化。同じ行動を延々ループする行き止まり挙動が混入していました 🎛 学習なしでもハーネスを替えるだけでTBHは33.0%から66.0%へ倍増します自前のエージェントログを学習に回すなら、書き直しと漏洩監査を挟む価値があると感じる結果です。 #AIエージェント# #自己改善#

Forward to community