ワールドモデルの評価、本当にできていますか？スコアだけ出して中身はブラックボックス——そんな評価手法に終止符を打つ研究が登場しました。 HarnessEval-W: Agentifying the Evaluation of Visual Worlds ❓ そもそも何が問題だったの？ 💡 既存のワールドモデルベンチマークはスカラー値しか返さず、なぜそのスコアになったかの推論根拠を示せませんでした。また物理的妥当性・因果関係・状態の持続性を「人間がやるように」自動検証する手段がなかったのです。 ❓ どんな仕組みで評価するの？ 💡 3層のエージェント階層で動きます。まずケースを専門スキルへルーティングし、サブエージェントが個々の問いに答え、親エージェントがエビデンスを集約してスコアを出します。全工程の推論が証拠ツリーとして記録されるため、どの判断も追跡・監査できます。評価軸は観測品質・遷移の正確さ・世界の持続性の3カテゴリ8設定、330件のケースで18モデルを評価しました。 ❓ 従来手法と比べてどう違う？ 💡 物理遷移のペアワイズ精度が WBench の 31.9% から 71.7% へ、引き分け率は 52.2% から 1.8% にまで激減しました。人間の判断との一致も高く、意図的遷移で Spearman ρ=0.93、物理遷移で ρ=0.87 を達成（5,000件のペアワイズA/B判定で検証）。 ❓ 実際のモデル評価で何かわかった？ 💡 上位は Seedance 2.0（75.5）、Wan 2.7（75.0）、Kling 3.0（74.4）の順。そしてファインチューニング分析が示す「能力トレードオフ」が興味深く、DreamX-World は探索的遷移で +4.8 改善しながら意図的遷移が −11.9 悪化。画質の良さと物理挙動の正確さも r=−0.04 でほぼ独立した能力であることがわかりました。 #WorldModel# #ビデオ生成#

操作に応じて映像を生み出す「動画ワールドモデル」、その実力を公平に測る統一ベンチマークが登場しました🎮 タイトル: WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation URL: 🎮 概要 インタラクティブな動画ワールドモデルを包括的に評価する統一フレームワークです。289テストケース・1,058インタラクションターンで、テキスト・6-DoF姿勢・離散アクションという異なる操作方式のモデルを同じ土俵で比較できます。 ❓ 解決する課題 インタラクティブなワールドモデルは急速に進歩する一方、能力を体系的に測る基準がありませんでした。既存ベンチマークは一部しかカバーできず、入力方式がモデルごとに違うため横並び比較も困難でした。 💡 方法論と提案手法 評価は5つの次元で行います。 ・映像品質 ・設定への忠実性 ・インタラクションへの忠実性 ・一貫性 ・物理法則への整合性 タスクはナビゲーション・被写体アクション・イベント編集・視点切り替えの4種。専門視覚モデルと大規模マルチモーダルモデルを組み合わせた22の自動指標を、人間の判断と照合して検証しています。 📊 実験結果 最先端20モデルを分析した結果、すべての次元で強いモデルは1つも存在しないことが判明。各アプローチに特徴的な強み・弱みと、共通の難題が浮かび上がりました。 #ワールドモデル# #ベンチマーク#

動画生成モデルは「もっともらしい動画」を作れても、「正しい確率で将来を分布できる」かは別問題です。 タイトル: PAWBench: How Far Are We from Probabilistically Aligned World Modeling? URL: 🎯 概要 コインを50回投げたとき表と裏が約50%ずつ出るように、動画生成モデルも「ありうる将来の正しい確率分布」を再現できなければ真のワールドモデルとは言えません。PAWBenchはこの「確率的整合性」を評価する初の体系的ベンチマークで、50シナリオ・11モデルを評価しました。 🔍 解決する課題 従来の動画評価はFIDやFVDなどの知覚品質や多様性に焦点を当ててきましたが、「各結果が正しい頻度で生成されるか（較正）」と「すべてのありうる結果を網羅できるか（網羅性）」を同時に測る指標がありませんでした。 ⚙️ 評価手法 PAWEvalはK=50回の動画生成をGemini 3.5 Flashで終端結果に変換し、全変動距離（TVD）と有効サポート回収率で評価します。投擲・回転・衝突・材料遷移など8種類の物理メカニズムを対象としています。 📊 主要結果 最良モデルのCosmos 3 Super I2VでもTVD 20.5（完全整合=0）に留まります。全モデルの平均TVDは31.2で、有限サンプルで予想される偶然のばらつき（8.33）を大幅に上回ります。「確率精度・広い網羅性・採点信頼性」を同時に達成したモデルは1つもありませんでした。 ⚡ 介入実験の教訓 プロンプトエンジニアリング・結合ノイズサンプリング・LoRA微調整の3つを試しましたが、いずれも部分的な改善にとどまり根本的なギャップは解消されませんでした。モデルは物理的因果介入には過少反応し、非因果的な視覚・テキスト手がかりには過剰反応する傾向があります。 動画生成をロボティクス・自動運転・物理シミュレーションに応用しようとする研究にとって、確率的整合性はこれから欠かせない評価軸になります。 #動画生成# #ワールドモデル#

Aureka BiotechnologiesがUS$100 millionのSeries Bを調達した（ million近くに達したという。Granite Asiaが第1トランシェを単独で拠出し、後続トランシェは戦略投資家が主導、HighLight Capital（HLC）と既存株主のMPCi、NRL Capitalも参加した。 資金の使い道が興味深い。次世代の生物学的基盤モデルを大規模に訓練し、de novo分子設計（既存分子の改変ではなく、ゼロから候補を設計すること）、生体構造モデリング、機能予測を強化する。同時にLab-in-the-Loop（モデルの仮説を実験で検証し、その結果を次の学習へ戻す仕組み）も拡張する。 ここでいう実験は、最後に答え合わせをするだけの工程ではない。AIエージェントが分子を生成し、実験を設計し、単一細胞の機能スクリーニングや高スループット検証で確かめ、結果をモデルへ戻す。モデル→実験→データ→更新の循環そのものを、薬物探索の基盤にしようとしている。 Aurekaの生物学的基盤モデルAuraIDEは、社内のタンパク質共進化データで訓練されている。オープンソース版のOpenDDEは、抗体と抗原の立体構造予測を測る公開ベンチマークFoldBench v1の第三者評価でも紹介された。 創業者兼CEOのWeian Zhaoは、最終的に生物学的ワールドモデルを目指すと説明している。これは分子の静的な構造を当てるだけでなく、分子同士の相互作用や設計結果をシミュレーションし、AIエージェントが薬の設計を計画、実行、反復するモデルだ。 「モデル単体の性能」を競う段階から、「実験データをどう継続的に生み、モデルと薬の候補を同時に更新するか」を競う段階へ。Aurekaの発表は、AI創薬の本体がモデルではなく、モデルと実験を閉ループで接続するR&Dインフラへ移りつつあることを示していると思う。

散歩してたら謎の生物を発見。 長さ30cm近く、黄色っぽくて細長い。最初は細いヘビかと思ったけど、よく見ると質感も動きもナメクジっぽい。 調べたらコウガイビルという陸生プラナリアらしい。ナメクジやミミズを食べる肉食とのこと。 …で、さらに驚いたのはここから。 その後10分でさらに3匹も発見！こんなにあったんか、オマイら。ちなみに他の個体はミミズくらいのサイズやった。 10分で4匹も見つかったってことは、多分これまでの人生でも無数に見てたはず。 でもワイの脳は、こんなデカい生き物なのに、何十年も背景として処理してたわけや。 それが、たった数分観察しただけでワールドモデルが更新され、急に「コウガイビル発見器」になったw 世界は何も変わってない。変わったのはワイの脳内ワールドモデルだけ。 既存知識を保ちつつ新しい概念を一瞬で学習できる、人間の脳、マジ天才すぎるw 今のAIだとこういう学習はまだ難しい。 ちなみに、詳しい方、これコウガイビルで合ってますか？

ワールドプレミア Z900RS SE 大人気車種がNEWモデルに！ クイックシフター、クルーズコントロール、ドラレコ、USBが装備、シート表皮も変わり タックロールのぼこぼこが高くなって（シート高が変わったかの発表はまだ無し）、マフラーが7cm長く、ハンドル位置も低く狭くなったみたい！

【#ワールドミニズフェア10】📢7月11日#(土)販売開始！ おすすめ新作ミニチュアご紹介③ ＃キメラモデル『妖精ネリネ』8,800円（税込） 足の裏まで美しい造形にうっとり🦋 ＃ファレホ ゲームカラーの蛍光マゼンタや蛍光オレンジを丁寧に重ねて塗装したいですね♪ #ホビスク秋葉原# #ラジオ会館# 8F

【#ワールドミニズフェア10】7月11日#(土)販売開始！ おすすめ新作ミニチュアご紹介② キメラモデル『妖精アザレア』8,800円（税込） 腰の薔薇のコサージュの精密造形、スカートのフリルの柔らかな造形が素晴らしい！ #ホビスク秋葉原# #ラジオ会館# 8F

【#ワールドミニズフェア10】7月11日#(土)より開催！ おすすめ新作ミニチュアをご紹介！ キメラモデル『竜狩りラーヤ』18,700円（税込） サーベルタイガーをお供にしたシュチュエーションが“強い”です。 イベントまでおすすめミニチュアをおススメしてゆきます！ #ホビスク秋葉原# #ラジオ会館#