LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか？ 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか？ 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか？ 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか？ 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#

エージェントに「自分専用のコンピュータ」を持たせたいけれど、VMは起動が遅く、コンテナは分離が弱い。Googleはこの板挟みを、どう解いたのでしょうか。 これまでの選択肢は二つでした。VMはroot権限と強い分離を与えられますが、起動や再開に数秒から数分かかります。コンテナは速くて軽い一方、ホストのカーネルを共有するので、コーディングエージェントに十分な分離を渡せません。ターンごとに破棄すれば作業状態が消え、待機中のエージェント全員に専用VMを常時割り当てれば資源が無駄になります。 📌 転機は「待ち時間の多さ」と「sandboxに秘密を置かない」の2点です。Googleの計測では、エージェントは時間の大半をモデル応答かユーザー入力の待機に使っています。そこでAgent Compute Engine（ACE）は、ツール呼び出しが終わると状態を保ったままチェックポイントして、アイドル中は稼働資源をほぼゼロにします。同時に、基本OSやブラウザはDAXとCoWで物理メモリを共有します。 セキュリティの考え方は「sandbox内は全部攻撃者に握られている前提」です。ゲストにはシークレットも標準のネットワークカードもなく、外向き通信はAgent Gatewayが検査して、通信の途中で資格情報を差し替えます。その結果、rootを奪われても盗むものがありません。 ただしプレビューは「今後数か月」の予定で、起動時間や料金などの数値は記事にありません。詳細は Inside Agent Compute Engine: Building the compute foundation for the agentic era をご覧ください。 #AIAgents# #GoogleCloud#