cv usk(@cv_usk):🌍 「自己教師あり学習はいつ世界の真の構造を復元できるのか？」——その答えが“潜在変数がガウス分布のときだけ”だと数学的に証明した、LeCunらの理論研究です。タイトル: When Does LeJEPA Learn a World Model? URL: https://t.co/zblVHGDR6w 💡 概要 LeJEPA（JEPA＋ガウス正則化SIGReg＋アライメント）が、非線形な観測から世界の潜在変数を「回転を除いて線形に」復元できる条件を理論的に解明しました。鍵は潜在がガウス分布でOU過程に従うことです。 ⚠️ 解決する課題表現が世界の真の自由度を歪めると、信頼できる計画や構成的汎化ができません。自己教師あり学習がいつ世界構造を証明可能に復元するのかは未解明でした。 🛠 方法論と核心・最適表現は潜在過程の「最も遅い特徴」を固有値順に抽出する・エルミート多項式とMehlerの公式により、ビュー間相関は非線形の次数dに対しρ^dで減衰・つまりアライメントはあらゆる非線形性を罰し、線形写像が唯一の最適解になる・線形可識別性が成り立てば、潜在空間での計画は真の世界と同一の最適行動を返す（制御にそのまま使える）・逆に「常に線形最適」を要求すると潜在分布はガウスでなければならない（唯一性） 📊 実験結果・SIGRegとVICRegは1024次元までR²>0.999で線形復元・一般化正規分布の掃引でR²はα=2（ガウス）で鋭くピーク・ピクセルからのロボット制御ではガウスOUでR²=0.95、非ガウスな実軌跡はR²≤0.5 ・制御コストはR²と単調に連動し、ガウス符号化器はオラクル級 #世界モデル #自己教師あり学習

2026.06.15 21:41

🌍 「自己教師あり学習はいつ世界の真の構造を復元できるのか？」——その答えが“潜在変数がガウス分布のときだけ”だと数学的に証明した、LeCunらの理論研究です。タイトル: When Does LeJEPA Learn a World Model? URL: 💡 概要 LeJEPA（JEPA＋ガウス正則化SIGReg＋アライメント）が、非線形な観測から世界の潜在変数を「回転を除いて線形に」復元できる条件を理論的に解明しました。鍵は潜在がガウス分布でOU過程に従うことです。 ⚠️ 解決する課題表現が世界の真の自由度を歪めると、信頼できる計画や構成的汎化ができません。自己教師あり学習がいつ世界構造を証明可能に復元するのかは未解明でした。 🛠 方法論と核心・最適表現は潜在過程の「最も遅い特徴」を固有値順に抽出する・エルミート多項式とMehlerの公式により、ビュー間相関は非線形の次数dに対しρ^dで減衰・つまりアライメントはあらゆる非線形性を罰し、線形写像が唯一の最適解になる・線形可識別性が成り立てば、潜在空間での計画は真の世界と同一の最適行動を返す（制御にそのまま使える）・逆に「常に線形最適」を要求すると潜在分布はガウスでなければならない（唯一性） 📊 実験結果・SIGRegとVICRegは1024次元までR²>0.999で線形復元・一般化正規分布の掃引でR²はα=2（ガウス）で鋭くピーク・ピクセルからのロボット制御ではガウスOUでR²=0.95、非ガウスな実軌跡はR²≤0.5 ・制御コストはR²と単調に連動し、ガウス符号化器はオラクル級 #世界モデル# #自己教師あり学習#

Forward to community