登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 VerifiableAI
VerifiableAI コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
VerifiableAI を含む検索結果
🎮 コードエージェントが強いのは「実行して検証できる」から。同じ発想をゲーム開発に持ち込み、世界モデルの学習を加速させる研究です。 タイトル: Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models URL: 🧩 概要 動画やCLIPスコアのような曖昧なプロキシ指標では報酬がゲーム化されやすいという「検証可能性のボトルネック」を指摘し、ゲームエンジンの衝突判定・物理演算・navmeshチェックを報酬源として活用する手法を提案しています。 ❗ 解決する課題 空間生成モデル(動画・3D・世界モデル)は信頼できる報酬信号を欠いており、スケーリングしても真の能力向上につながらない「不可検証性の代償」を抱えています。 🛠 方法論と提案手法 エンジン由来の密な構造的報酬と人間の採否判断を組み合わせるRLHEV、Propose→Render→Verify→Repair→Reviewの反復ループを回すAWoMoエージェント、開発トレースを統一構造化するUWDPプロトコルを提案しています。 📊 実験結果 UnitySceneBenchで曖昧プロキシ比+0.098、クロスエンジン汎化はUnity→Godotで0.15→0.35に向上。さらにD4RL Gym-MuJoCoで+48.43%、R2Rナビゲーションで+0.79%の性能向上も確認されています。 #世界モデル# #強化学習#
もっと見る
AIが自律的に論文を書く時代、「幻引用・メソッドとコードの不整合・再現不可能なスコア」という信頼性の危機が深刻化しています。 タイトル: Science One Framework: A verifiable autonomous research framework via Chain-of-Evidence Google CloudのScience One Frameworkは「検証可能性を後付けではなく設計の第一制約とする」というChain-of-Evidence原則で、AI自律研究の信頼性問題を根本から解決します。 🔍 注目ポイント1 — Chain-of-Evidence(CoE)の2原則 「すべての主張が記録された証拠チェーンを持つ(完全性)」「各チェーンがその主張を真に支持する(正確性)」という2原則を定義します。ベースラインシステムで最大21%あったPhantom Referenceを0%に削減し、論文に記述されたメソッドとコードの整合性も全評価システム中で最高水準を達成しています。後付けで検証するのではなく、主張を生成する段階で証拠チェーンを同時に構築する点が従来手法との根本的な違いです。 🏗 注目ポイント2 — 3モジュールアーキテクチャ Problem Investigator(Semantic Scholar APIで最大100本のPDFから引用グラフを構築し、モデル記憶ではなく取得データに根拠付け)、Discovery Engine(並列ブランチで複数解を探索し全評価器出力を不変記録として保持)、Paper Writer & Claim Verifier(専用エージェントが主張を特定のワークスペース成果物に結びつけ、不整合を削除ではなく保守的に修正)という3つのモジュールが科学的誠実性を構造的に担保します。 🏆 注目ポイント3 — MLE-BenchとParameter-Golfでの実績 医療画像・細粒度認識・3D知覚を含むKaggleコンペ5種で金メダル2個・銀メダル2個を獲得。全ベースラインシステムが失敗した3Dオブジェクト検出タスクで優勝しました。厳格なハードウェア・ファイルサイズ制約下でのParameter-Golf LLMコンペでも2026年4月27日時点のSoTAを達成し、ベースラインはいずれも有効な提出物を生成できませんでした。 厳密性と競争力は両立できます。AI Scientist v2・AutoResearchClaw・DeepScientistなど最先端5システムを上回り、検証可能な自律研究の新しい基準を打ち立てています。 #AIResearch# #科学AI#
もっと見る
TL;DR: 実カルテは公開できずラベルも不完全という臨床AIベンチマークの根本問題を、完全合成データで解決した研究です。フロンティアモデルでもトップ医師の性能には届きませんでした。 タイトル: Synthetic Hospital: An Open, Verifiable, Physician-Validated Longitudinal EHR Benchmark URL: ポイント 🏥 医学教育教材から1,268人・5,602受診分の完全合成カルテを構築し、個人情報ゼロで公開可能に 🔗 診断・所見・時間関係をICD-10-CM/SNOMED CT/LOINCへ決定的に紐づけ、ラベルは知識グラフから機械的に導出 👨‍⚕️ 医師によるリアリズム検証で、実カルテとの識別精度はほぼチャンスレベルの53% 📊 10モデルを5タスクで評価。患者診断の最高スコアはKimi 2.5-thinkingの重症度加重F1 0.732で医師平均と同水準 ⚠️ トップ医師(0.89)には未到達。要約タスクではどのモデルも所見の約半分を見落とし 🔁 生成モデルを変えても性能変化は0.05以下、臨床状態そのものを測るベンチマークであることを確認 臨床LLMの実力を偽りなく測れる基盤が整った意義は大きいと感じます。 #医療AI# #LLMベンチマーク#
もっと見る
TL;DR: 「GUI操作」と「コーディング」を同時に鍛え・測れる、5プラットフォーム対応のエージェント評価環境が登場しました。トップモデルでも見た目の再現度と動作の厳密な正しさには大きな差があることが明らかになりました。 タイトル: RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents URL: ポイント 🖥️ Ubuntu・macOS・Windows・Android・Webの5プラットフォームに対応 🔍 ソースを見せず動いているアプリを観察して一から再実装させる「再現」タスク 🧪 250タスクのRecreationBenchを構築、プログラム検証と視覚検証の両方で採点 📈 3.5万件の再現軌跡で学習したモデルは分布外ベンチマークで最大17.9ポイント改善 🏆 総合1位のGPT-6 Astraでもスコアは58.1% ⚠️ そのGPT-6 Astraでさえ全プログラムテスト通過はわずか2.8% 🔧 ElectronアプリをネイティブGTK/AppKitに置き換えるなど柔軟な実装も観測 見た目の再現力と本当の動作忠実性の間には、まだ大きなギャップがあることを突きつける研究です。 #AIエージェント# #ComputerUse#
もっと見る
TL;DR 視覚生成そのものを推論の媒体として扱う「ネイティブ視覚推論」を、大規模データと検証可能な報酬で訓練・評価できるスイートが登場しました。VLM審判の評価は同一動画で最大92.8%もスコアが揺れることが示されています。 タイトル: VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning URL: ポイント 📊 300タスク・125万訓練インスタンス・約347万画像/130万動画の大規模データセット 🎯 HSV色分割やOCRなど古典的CVで属性抽出する決定論的スコアラー、人間一致度0.60以上でGPT-5.5やGemini-3.1-Proを上回る 🌀 予測ノイズと新規ノイズの係数和を保存するCoefficients-Preserving Sampling(CPS)でRL探索を安定化 🚀 外部ベンチマークV-ReasonBenchで10.21→38.22(+28.01pt)と大幅な転移性能を確認 🔬 反事実診断で入力画像削除時に-90%とスコアが激減、視覚軌跡が言語より推論の本質と判明 ✅ 検証可能な報酬によるRLがVLM報酬RLよりインドメインで+7.9%改善 視覚推論の「言語頼み」を脱却し、視覚そのものを訓練・検証可能にする基盤という点が印象的です。 #視覚推論# #マルチモーダルAI#
もっと見る