cv usk(@cv_usk):動画の埋め込みベクトルには物理法則の情報が眠っているのに、それをうまく取り出せていない。そんな現状を8,000件の物理シミュレーションで検証した研究です。タイトル: World Embedding Benchmark URL: https://t.co/Z6kTcLARDj 流体力学・固体力学・力学系・光学の4分野80ファミリーからなる物理シミュレーションベンチマークで、動画埋め込みがどれだけ物理を「理解」しているかを測定しました。注目ポイントを3つ紹介します。 🔍 物理情報はあるのに引き出せない事前学習済みモデルの検索精度（Recall@10）はわずか0.6〜7.3%と低い一方、V-JEPA2はテキストとの対応なしに物理量の回帰では高い性能（nRMSE約0.94〜1.02）を示しました。物理情報自体は符号化されているのに、言語とうまく結びついていないのです。 ⚖️ アラインメントと復元可能性のトレードオフ物理特化のコントラスティブ学習を行うと、検索性能とペア分類は改善する一方、物理属性の回帰精度はむしろ悪化しました。類似度マッチング向けに表現空間を再編成することが、定量的な物理情報の保持を犠牲にしてしまうのです。 🎬 検索拡張生成での実用的な効果物理適応したモデルで検索した参照動画を使うと、動画生成の平均スコアが0.60から0.66に向上し、光学・熱分野で特に忠実度が改善しました。アラインメントと復元可能性を別々に最適化せず両方同時に評価すべきだという指摘が、世界モデル設計への具体的な教訓になっています。 #世界モデル #動画生成AI

2026.10.06 12:38

動画の埋め込みベクトルには物理法則の情報が眠っているのに、それをうまく取り出せていない。そんな現状を8,000件の物理シミュレーションで検証した研究です。タイトル: World Embedding Benchmark URL: 流体力学・固体力学・力学系・光学の4分野80ファミリーからなる物理シミュレーションベンチマークで、動画埋め込みがどれだけ物理を「理解」しているかを測定しました。注目ポイントを3つ紹介します。 🔍 物理情報はあるのに引き出せない事前学習済みモデルの検索精度（Recall@10）はわずか0.6〜7.3%と低い一方、V-JEPA2はテキストとの対応なしに物理量の回帰では高い性能（nRMSE約0.94〜1.02）を示しました。物理情報自体は符号化されているのに、言語とうまく結びついていないのです。 ⚖️ アラインメントと復元可能性のトレードオフ物理特化のコントラスティブ学習を行うと、検索性能とペア分類は改善する一方、物理属性の回帰精度はむしろ悪化しました。類似度マッチング向けに表現空間を再編成することが、定量的な物理情報の保持を犠牲にしてしまうのです。 🎬 検索拡張生成での実用的な効果物理適応したモデルで検索した参照動画を使うと、動画生成の平均スコアが0.60から0.66に向上し、光学・熱分野で特に忠実度が改善しました。アラインメントと復元可能性を別々に最適化せず両方同時に評価すべきだという指摘が、世界モデル設計への具体的な教訓になっています。 #世界モデル# #動画生成AI#