🏙開催決定🏙 11/29（日）mini TIF vol.122 1部：開場10:00 開演10:30 2部：開場16:00 開演16:30 前売り 10/3(土)10:00〜 💐1部出演💐 アイテムはてるてるのみ / キミイロプロジェクト / 恋に落ちる確率は限りなく低いが0じゃない / ハレとハレ！ / 蛍 / Mi'Line Hearts / MATE×MATE! / Meteorite of the huge ICE / ReFLiA / わんだふるぱれーど！ @teruteru_OFC @kimiiro_emg @koikagi_info @_HARETOHARE @_HOTARUofficial @MiLineHearts @MATEMATE_info @Meteorite_info @reflia_official @ship_WANPARE 💐2部出演💐 エイアイカ / Aproof / kimikara（きみから） / スターリットストーリー / 戦国アニマル極楽浄土 / ネクスタリア / Falench. / vVibe! / MelMi / ラフティア @aiika__official @aproof_official @kimikara_info @starlit_story @senkyoku_info @nextaria_info @falench_idol @vVibemuse @melmi_star @laftiaofficial

LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか？ 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか？ 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか？ 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか？ 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#