教科書を渡されたLLMは、自分で調べながら証明を書けるようになるのでしょうか。
Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
❓ ここでいう自己学習とは?
💡 長い参考資料から、問題を解く途中で自分で知識を探して読み、使うことです。解答を取り除いた教科書をモデルに渡し、自力で証明させて検証しています。
❓ モデルは教科書をどう使うのですか?
💡 BookNavigatorという3つの操作を使います。目次を見る、キーワードで検索する、節を読む、です。
❓ 強化学習で何を工夫したのですか?
💡 GRPOに2つを足しています。
・ツール呼び出しが成功した正解に与える、徐々に小さくなる探索ボーナス
・各ラウンドが有用か有害かを評価するラウンド単位のクレジット
❓ 結果はどうでしたか?
💡 全体の証明正答率は51.5%から79.5%に上がりました。RL後は、事前に検索する方式(73.1%)も上回っています。ただし基盤モデルは1つで、正解判定はLLMジャッジに依存しています。
#
LLM# #
ReinforcementLearning#