🌍 「自己教師あり学習はいつ世界の真の構造を復元できるのか？」——その答えが“潜在変数がガウス分布のときだけ”だと数学的に証明した、LeCunらの理論研究です。 タイトル: When Does LeJEPA Learn a World Model? URL: 💡 概要 LeJEPA（JEPA＋ガウス正則化SIGReg＋アライメント）が、非線形な観測から世界の潜在変数を「回転を除いて線形に」復元できる条件を理論的に解明しました。鍵は潜在がガウス分布でOU過程に従うことです。 ⚠️ 解決する課題 表現が世界の真の自由度を歪めると、信頼できる計画や構成的汎化ができません。自己教師あり学習がいつ世界構造を証明可能に復元するのかは未解明でした。 🛠 方法論と核心 ・最適表現は潜在過程の「最も遅い特徴」を固有値順に抽出する ・エルミート多項式とMehlerの公式により、ビュー間相関は非線形の次数dに対しρ^dで減衰 ・つまりアライメントはあらゆる非線形性を罰し、線形写像が唯一の最適解になる ・線形可識別性が成り立てば、潜在空間での計画は真の世界と同一の最適行動を返す（制御にそのまま使える） ・逆に「常に線形最適」を要求すると潜在分布はガウスでなければならない（唯一性） 📊 実験結果 ・SIGRegとVICRegは1024次元までR²>0.999で線形復元 ・一般化正規分布の掃引でR²はα=2（ガウス）で鋭くピーク ・ピクセルからのロボット制御ではガウスOUでR²=0.95、非ガウスな実軌跡はR²≤0.5 ・制御コストはR²と単調に連動し、ガウス符号化器はオラクル級 #世界モデル# #自己教師あり学習#

高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

自己穿刺成功。 月曜の佐世保のクリニックも良かった。 仕事と旅行透析を組み合わせて色々チャレンジしていきたい。 オファー待ってます！結構暇なおそれありで、制作に向けても良いけど人前に出るのも健康維持には必須です！ #透析#

自己再帰性を持ったサイバーフィジカルシステムが自然と不可分になった状況こそが，まさにデジタルネイチャー（計算機自然）の世界である．

自己肯定感を上げるのは 褒め方を間違えないこと 成績を褒めても意味がない それはただの“結果”だから 褒めるところは“行動”だ ・断られても次に向かった ・怖さを抱えたまま一歩出た この事実を拾い、言語化して返す 『すごいね』じゃ弱い 『普通の人じゃできないことだよ』＞＞“意味”を与える 自己肯定感が低い人ほど 結果でしか自分を評価できない だから数字が出ないと、折れる 結果が出る前の“行動”を どれだけ肯定されてきたか 営業は、成功体験じゃなく 継続体験で強くなる仕事 自己肯定感は できた時に上がるんじゃない 「やったことを認められた時」 に上がる 上司の一言で 辞める人もいれば、覚醒する人もいる