登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 Metacognition
Metacognition コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
Metacognition を含む検索結果
AIサイエンティストに足りないのは「自分が何を知らないか」を知る力かもしれません。 Sage-Taiyi: A Metacognitive Architecture for Scientific Discovery 🔭 概要 科学探索を行うAIに、探索そのものを監視して制御するメタ認知の層を加えた構成です。 🧩 解決する課題 従来のAIサイエンティストは、探索の枝をまたいで知見や証拠、適用条件を保てません。共通の依存関係や過去の失敗を見落とし、直近の結果に振り回されることもありました。 ⚙️ 提案手法 ・探索側はTarget Tree(課題の分解)、Idea Graph(アイデアの系譜)、Evidence State(出典つきの証拠)で構成 ・調整側はCognitive Stateで現在の理解と不確かさを保持し、10種のヒューリスティックから次の手を選択 🧪 実験結果 自作のTaiyi-Bench(265タスク・10分野)で総合54.0、最強のベースラインAI Scientist-v2は47.9でした。対戦勝率は66.3%です。 🔬 ユースケース 専門家と協働した5件の事例で、たとえば光触媒的アリル位アミノ化の収率が13%から69%に上がりました。ただし評価は同じ著者らのベンチマークとLLM検証器に依存し、事例も個別の例です。 #AIScientist# #Metacognition#
もっと見る
LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか? 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか? 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか? 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか? 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#
もっと見る