🌍 「自己教師あり学習はいつ世界の真の構造を復元できるのか？」——その答えが“潜在変数がガウス分布のときだけ”だと数学的に証明した、LeCunらの理論研究です。 タイトル: When Does LeJEPA Learn a World Model? URL: 💡 概要 LeJEPA（JEPA＋ガウス正則化SIGReg＋アライメント）が、非線形な観測から世界の潜在変数を「回転を除いて線形に」復元できる条件を理論的に解明しました。鍵は潜在がガウス分布でOU過程に従うことです。 ⚠️ 解決する課題 表現が世界の真の自由度を歪めると、信頼できる計画や構成的汎化ができません。自己教師あり学習がいつ世界構造を証明可能に復元するのかは未解明でした。 🛠 方法論と核心 ・最適表現は潜在過程の「最も遅い特徴」を固有値順に抽出する ・エルミート多項式とMehlerの公式により、ビュー間相関は非線形の次数dに対しρ^dで減衰 ・つまりアライメントはあらゆる非線形性を罰し、線形写像が唯一の最適解になる ・線形可識別性が成り立てば、潜在空間での計画は真の世界と同一の最適行動を返す（制御にそのまま使える） ・逆に「常に線形最適」を要求すると潜在分布はガウスでなければならない（唯一性） 📊 実験結果 ・SIGRegとVICRegは1024次元までR²>0.999で線形復元 ・一般化正規分布の掃引でR²はα=2（ガウス）で鋭くピーク ・ピクセルからのロボット制御ではガウスOUでR²=0.95、非ガウスな実軌跡はR²≤0.5 ・制御コストはR²と単調に連動し、ガウス符号化器はオラクル級 #世界モデル# #自己教師あり学習#

高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

『「早生まれ」は損なのか-生まれ月格差の経済学』(山口慎太郎著@中央公論新社) 読売新聞7/26

「起立・礼」は軍隊っぽいから廃止しようという動きがあるらしいが教師に頭下げて「よろしくお願いします」というのもダメになん？ 子供の頃から「礼儀強制」と刷り込まれたら、大人になって社会に出た時どうなるんだろ。 ちゃんとした躾がなくなったらただの自己中集団になる。 思考がめちゃくちゃ。

📚️週8時間読書チャレンジ Week24 今週: 7時間14分 (目標達成率90%) 年間累計: 174時間58分 週間戦績: 9勝15敗 今週読んだ本: 『エピクロスの処方箋』(読了) 『パワー・オブ・リフレクション : 教師教育と専門家養成に必要なこと』 『女性の視点で見直す人材育成』 『日常生活における自己呈示』 『帰れない探偵』 『小説以外』 体調と共に読書時間が戻ってきた。来週は上半期ラスト。8時間達成して有終の美を飾りたい。

大学受験には何十万円も平気で使うのに、ビジネスになると急に自己投資しなくなるの、不思議だよね。 受験のときは、参考書買ったり、予備校行ったり、家庭教師つけたり、普通にお金を使ってたはず。 でも副業になると、急に無料情報だけで何とかしようとする人が多い。 お金払うの怖いのは分かる。 詐◯もあるし、外したら痛い。 実際、僕も最初スクールに入会する時はビビりながらお金を払ったし、あまり役に立たない商材を買ったこともある。 でも、あの時お金を払って学んだからこそ、今の僕がある。 自己投資して良かったと、本当に思ってる。 だからこそ、今ならこう思う。 受験より、ビジネスの方がこの先の人生に直結してない？ だったら、自己投資にお金を使うのって、そんなに変なことじゃないよね🐑

自己人体実験により、鬱や虐待による影響をどうしたら改善出来るのか、お金と時間をかけて検証中の身です✌️ 君達は見ているだけで良い。 私が方法を模索してやるからな‼️