マサチューセッツ大学アマースト校とAdobe Researchの研究チームが、AIエージェントに検索ツールの使い分け方を強化学習で学ばせる手法「GRASP」を発表した(https://arxiv[.]org/html/2607.10463v1)。 LLM(大規模言語モデル)が自分で検索クエリを作り、結果を読み、必要なら再検索する「エージェント型RAG(検索拡張生成)」は、正しい文書を取得できてもハルシネーション(事実と異なる内容の生成)を起こすことがある。論文が挙げる例が象徴的で、「アルバム『Unapologetic』の歌手のボーカルが入ったエミネムのアルバムは?」という質問に、既存手法のSearch-R1(強化学習で検索を学習した先行手法)は検索結果に存在しない歌手名「Kelly Clarkson」を作り出して誤答してしまう。実際は「Unapologetic」はリアーナのアルバムで、リアーナが客演したエミネムの曲「The Monster」の収録アルバム「The Marshall Mathers LP 2」が正解になる。 GRASPはエージェントに意味検索・キーワード検索・段落読み込みという3つのツールを持たせ、GRPO(同じ質問への複数の試行結果を相対比較しながら方策を更新する強化学習の手法)でいつどれを使うかを学習させる。ベースモデルはパラメータ数3Bと比較的小型なQwen2.5-3B-Instruct。報酬は回答の正確さを土台に、正しい文書を読んでいるかを測る項目に最も重い比重0.7を置き、意味検索とキーワード検索の両方が正解文書を拾えているかと手数の効率にはそれぞれ軽めの0.15を配分している。 学習にはHotpotQAだけを使い、2WikiMultiHopQAとMuSiQueには追加学習なしで適用しているが、3つのベンチマーク全体で検索再現率・QA正解率(EM、生成した回答が正解文と完全一致した割合)ともに総合的に最も高い性能を示した。比較対象のIRCoTはGPT-5-miniに思考過程を生成させる手法で検索再現率は高いが、方策学習を伴わないためかQA正解率は伸び悩んでいる。HotpotQAでのGRASPのEMは0.53で、同じくRLで学習したSearch-R1(GRPO版)の0.45を上回った。 アブレーション実験(学習データを絞った専用の実験設定)では、段落読み込みツールを外すとEMが0.510から0.388まで落ちる。粗い粒度の検索結果だけでは、次にどこを検索すべきかの手がかりが薄まってしまうことを示している。 学習後のエージェントは、意味検索で広く探索し、有望な段落を読み込んで裏付けを取り、固有名詞が分かればキーワード検索で絞り込むという、人間の「拾い読み→精読→ピンポイント検索」に似た挙動を自発的に獲得していた。学習済みモデルは1問あたり平均8回程度のツール呼び出しに収束しており、闇雲な検索ではなく効率的な情報収集を学んでいる。