動画生成モデルは「もっともらしい動画」を作れても、「正しい確率で将来を分布できる」かは別問題です。 タイトル: PAWBench: How Far Are We from Probabilistically Aligned World Modeling? URL: 🎯 概要 コインを50回投げたとき表と裏が約50%ずつ出るように、動画生成モデルも「ありうる将来の正しい確率分布」を再現できなければ真のワールドモデルとは言えません。PAWBenchはこの「確率的整合性」を評価する初の体系的ベンチマークで、50シナリオ・11モデルを評価しました。 🔍 解決する課題 従来の動画評価はFIDやFVDなどの知覚品質や多様性に焦点を当ててきましたが、「各結果が正しい頻度で生成されるか（較正）」と「すべてのありうる結果を網羅できるか（網羅性）」を同時に測る指標がありませんでした。 ⚙️ 評価手法 PAWEvalはK=50回の動画生成をGemini 3.5 Flashで終端結果に変換し、全変動距離（TVD）と有効サポート回収率で評価します。投擲・回転・衝突・材料遷移など8種類の物理メカニズムを対象としています。 📊 主要結果 最良モデルのCosmos 3 Super I2VでもTVD 20.5（完全整合=0）に留まります。全モデルの平均TVDは31.2で、有限サンプルで予想される偶然のばらつき（8.33）を大幅に上回ります。「確率精度・広い網羅性・採点信頼性」を同時に達成したモデルは1つもありませんでした。 ⚡ 介入実験の教訓 プロンプトエンジニアリング・結合ノイズサンプリング・LoRA微調整の3つを試しましたが、いずれも部分的な改善にとどまり根本的なギャップは解消されませんでした。モデルは物理的因果介入には過少反応し、非因果的な視覚・テキスト手がかりには過剰反応する傾向があります。 動画生成をロボティクス・自動運転・物理シミュレーションに応用しようとする研究にとって、確率的整合性はこれから欠かせない評価軸になります。 #動画生成# #ワールドモデル#

動画生成AIが物を壁の後ろに隠すと、なぜか別の物になって出てくる。この「物体永続性」の欠陥に真正面から挑んだ研究です。 タイトル: Training Object Permanence in World Models URL: 📝 概要 人間の乳児が生後半年で獲得する「物体永続性」と「物体の固体性」を、動画生成モデルに学習させる取り組みです。150種の合成タスクから150万件の学習データと評価ベンチマークWROPを作り、160億パラメータのモデルPWM-WROPを構築しました。 ❓ 解決する課題 Sora等の動画生成モデルは、物体が遮蔽物の後ろで消えたまま別物として再出現したり、固体の壁を平気で貫通したりします。この欠陥が衝突や因果関係の推論全体を損なっていました。 💡 方法論と提案手法 Blenderで生成した150種のタスクを「遮蔽」「固体性」の6ファミリーに整理し、物体数や軌道などの構造パラメータは体系的に変え、色や照明などの表面パラメータはランダム化することで記憶による解答を防ぎます。これをCosmos3-Nanoにファインチューニングしました。 📊 実験結果 人間による361件のペア比較評価で、PWM-WROPは真の継続生成モデルの中で1位（Elo 1679.5）、次点に224ポイント差をつけました。静的遮蔽タスクでは全モデル中1位を獲得した一方、衝突などの固体性タスクでは苦戦が見られました。 🌍 ユースケース 学習データ・モデル重み・AWS Trainium2向けの学習基盤PWMを公開し、物理的に妥当な世界モデル構築の土台を提供します。 #世界モデル# #動画生成AI#

多指ロボットハンドに、動かすと手と周囲がどう変わるかという先読みを学ばせつつ、本番では未来を一切描かせないDexForesightという研究（ Roboticsや上海交通大学などのチームによる。 指の多い手は、物をつかむ途中で指がカメラから隠れるので、先を見越す力が要る。定番の「World Action Model」（未来の映像や動きを予測しながら行動を出すモデル）は、推論のたびに未来を生成するぶん制御が重くなる。 そこで学習時だけ、先読み役の世界モデル（行動の結果を予測するモデル）を別に育てる。材料はステレオ映像からオフラインで推定した深度、順運動学（関節角から手の各部位の位置を計算する方法。隠れた指も追える）で求めた手の点群、約370時間・60タスク分の実演。実演の動作を条件に、手の表面の点の3D移動と画像特徴の変化を予測させる。 次に世界モデルを固定し、方策（行動を決めるモデル）の内部表現をそちらに寄せる。本番に残るのは方策だけで、入力はRGB画像、言語指示、ロボットの状態のみ。深度推定も未来の生成もしない。 シミュレーションの11タスク（ベンチマークDexJoCo）では、土台のGR00T N1.7の成功率49.4%が60.5%に。最も強い比較手法Fast-WAMの50.9%も上回った。実機3タスクでは58.3%で、次点のWLAは50.0%。推論時間は土台のQwenVLAの227.4msに対し230.4msと、1.3%増にとどまる。未来映像を作るCosmos3は、16フレームの生成段階だけで930msかかる。 寄せ方そのものが効いているらしい。方策に手の動きを直接予測させる出力を足すだけだと53.1%、条件の動作をシャッフルすると41.5%。方策の内部から0.54秒後の手の動きを線形に読み出す誤差も、QwenVLAの13.59mmから10.01mmに減った。 ただし実機は各タスク20回で、物体の位置を変えた評価が中心。WLAやFast-WAMとは構造も学習手順も違い、1要素だけを変えた比較ではないと著者も書いている。本番が軽い代わりに、学習側には大量の実演と深度推定、別の世界モデルが要る。 推論のたびに未来を想像する深い計算を、学習時の先生役に肩代わりさせる設計だ。計算資源が限られるロボットの現場には、こういう分担が合うのかもしれない。

Cosmosネットワークのアップデートに伴い、ATOMの入出金を停止いたします。 We will temporarily suspend deposits and withdrawals of ATOM due to the Cosmos network update.

#COSMOS創作攝影展# 台湾の皆様と沢山触れ合えました☆*:.｡. o(≧▽≦)o .｡.:*☆ イベントではステージにポスターサイン会に沢山の経験ができて本当に楽しかったです✨