LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか？ 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか？ 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか？ 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか？ 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#

🟥 AI と機械学習（D2-AIML-14） ⬜Google Cloud 「Gemini によるグラウンディングと 　ADK で構築するリアルタイム Agentic RAG」 #GoogleCloudNext🗼#

We're heading to AGNTCon + MCPCon Japan (Sept 10–11, Tokyo) — StepFun will be at Booth T6. If you're building in the agentic AI / MCP space, come find us. We'd love to swap notes on where the ecosystem is heading and meet developers and partners. 東京でお会いしましょう！ #AGNTCon# #MCPCon# #AgenticAI#

Agentic AIが切り拓くハイパーオートメーションの本質は、AIに作業を任せることではなく、目標、権限、データ、監督の仕組みを整え、自律型AIが安全に成果を出せる組織へ変わること。DXの勝者は、導入が早い会社ではなく、統制して育てられる会社。 #AgenticAI# #自律型AI# #ハイパーオートメーション# #AIエージェント# #DX#

検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた 要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もる ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。 ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#

🤖 Agentic AIとは？ なぜ企業が「自律的に動くAI」に注目しているのか？ Agentic AI（エージェンティックAI）とは、目標に向けて自ら計画を立て、判断し、複数のステップを実行できるAIの考え方・システムを指します。 通常の生成AIが人間からの指示に応じて回答するのに対し、Agentic AIは目標を与えられると、必要な作業を考え、ツールを使いながらタスクを進めることを目指します。 💡 なぜ企業が注目？ 例えば、情報収集 → 分析 → 資料作成 → システムへの入力など、これまで人が行っていた一連の業務をAIが支援・自動化できる可能性があります。 つまり、AI活用は「作業をサポートする」から「業務プロセスを動かす」段階へ進みつつあります。 #AI# #AgenticAI# #AIAgent# #生成AI# #TEAMZSUMMIT#