LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか？ 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか？ 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか？ 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか？ 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#