🌍 「自己教師あり学習はいつ世界の真の構造を復元できるのか？」——その答えが“潜在変数がガウス分布のときだけ”だと数学的に証明した、LeCunらの理論研究です。 タイトル: When Does LeJEPA Learn a World Model? URL: 💡 概要 LeJEPA（JEPA＋ガウス正則化SIGReg＋アライメント）が、非線形な観測から世界の潜在変数を「回転を除いて線形に」復元できる条件を理論的に解明しました。鍵は潜在がガウス分布でOU過程に従うことです。 ⚠️ 解決する課題 表現が世界の真の自由度を歪めると、信頼できる計画や構成的汎化ができません。自己教師あり学習がいつ世界構造を証明可能に復元するのかは未解明でした。 🛠 方法論と核心 ・最適表現は潜在過程の「最も遅い特徴」を固有値順に抽出する ・エルミート多項式とMehlerの公式により、ビュー間相関は非線形の次数dに対しρ^dで減衰 ・つまりアライメントはあらゆる非線形性を罰し、線形写像が唯一の最適解になる ・線形可識別性が成り立てば、潜在空間での計画は真の世界と同一の最適行動を返す（制御にそのまま使える） ・逆に「常に線形最適」を要求すると潜在分布はガウスでなければならない（唯一性） 📊 実験結果 ・SIGRegとVICRegは1024次元までR²>0.999で線形復元 ・一般化正規分布の掃引でR²はα=2（ガウス）で鋭くピーク ・ピクセルからのロボット制御ではガウスOUでR²=0.95、非ガウスな実軌跡はR²≤0.5 ・制御コストはR²と単調に連動し、ガウス符号化器はオラクル級 #世界モデル# #自己教師あり学習#

【📢締切延長｜DL基礎講座2026 Autumn】 Deep Learningを基礎から実践的に学べる「DL基礎講座2026 Autumn」の申込締切を延長しました！ 📅ID登録締切：9/24（木） 📅講座申込締切：9/28（月） 本講座は、JDLA「E資格」の認定講座です🎓 所定の要件を満たすことで、E資格の受験資格取得を目指すことができます。 講座では、ニューラルネットワークの基礎から、 🔹画像認識・CNN 🔹Transformer・大規模言語モデル 🔹表現学習・自己教師あり学習 🔹深層強化学習 🔹深層生成モデル まで、Deep Learningに関する幅広い技術を体系的に学びます。 半数以上の回で演習を実施し、Pythonによるモデル実装にも挑戦。理論を学ぶだけでなく、実際に手を動かしながら理解を深められる講座です。 Deep Learningを基礎から本格的に学びたい方は、締切延長となったこの機会にぜひお申し込みください！ ▼詳細・お申し込みはこちら

高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

教師が「教えたいトピック」を打ち込むだけで、その場でインタラクティブな学習シミュレーションが生成される。そんな未来をGoogle Researchが実験しています。 タイトル: The future of practice: Enabling teachers to create learning interactives with generative UI URL: これまでの対話型シミュレーションは制作コストが高く数が限られていましたが、今回の取り組みにはとくに注目したいポイントが3つあります。 🧩 生成UIによるオンデマンド作成 教育向けに微調整されたLearnLMと生成UI（GenUI）技術を組み合わせ、任意のトピックに対して難易度が段階的に上がるレベル構成のシミュレーションをその場で構築します。導入・公式集・複数段階のヒント・個別フィードバックまで、教師が1対1で行うような足場かけを自動生成する点が特徴です。 🤖 エージェント的な品質保証ループ 生成物は教育学的基準・機械的基準・ビジュアル基準の3観点で自己修正されます。実際にChromeインスタンスを開いてボタン操作や解答可能性を検証する「agentic」なテストを組み込んでいるのが面白いところです。 📊 教師による高評価と実績 英国では40個のSTEM学習インタラクティブが「good or excellent」評価、米国では12人の教師が10点満点中平均8点を付けました。物理・化学・生物・数学にわたる30以上のインタラクティブが既に公開ライブラリで利用可能です。 「学習は観客としてではなく参加してこそ成立する」という原則を、生成AIでスケールさせる試みだと言えそうです。 #生成AI# #教育テック#

『「早生まれ」は損なのか-生まれ月格差の経済学』(山口慎太郎著@中央公論新社) 読売新聞7/26

「起立・礼」は軍隊っぽいから廃止しようという動きがあるらしいが教師に頭下げて「よろしくお願いします」というのもダメになん？ 子供の頃から「礼儀強制」と刷り込まれたら、大人になって社会に出た時どうなるんだろ。 ちゃんとした躾がなくなったらただの自己中集団になる。 思考がめちゃくちゃ。

運用中のAIエージェントのやり取りそのものが、モデルを賢くする教師データになるという論文です。 NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness 🧩 概要 リクエストの難易度に応じて処理を振り分ける「ルーティング・ハーネス」の運用ログを、追加の合成データなしにそのまま学習データへ変換し、モデルを再帰的に改善する仕組みを提案しています。 ❓ 解決する課題 再帰的自己改善には「自分の能力を観測し学習に還元する仕組み」が必要ですが、多くの手法は別途データパイプラインを必要としていました。日々の運用ログにその材料が眠っている点に着目しています。 ⚙️ 方法論 実行トラジェクトリをユーザーターン単位で構造化し、6軸の意味評価と構造検証で品質管理。ルーティングスコアを難易度の目安として3段階カリキュラム学習とオンポリシー蒸留に活用し、評価結果をもとに苦手分野へ次の学習データを重点配分します。 📊 実験結果 10種のエージェント・コーディング・指示追従ベンチマークで、4Bモデルはマクロ平均58.94→64.87、9Bモデルは65.60→69.04まで向上。公開合成データ比でもマクロ平均+6.26ptという結果でした。 #AIエージェント# #自己改善#

📚️週8時間読書チャレンジ Week24 今週: 7時間14分 (目標達成率90%) 年間累計: 174時間58分 週間戦績: 9勝15敗 今週読んだ本: 『エピクロスの処方箋』(読了) 『パワー・オブ・リフレクション : 教師教育と専門家養成に必要なこと』 『女性の視点で見直す人材育成』 『日常生活における自己呈示』 『帰れない探偵』 『小説以外』 体調と共に読書時間が戻ってきた。来週は上半期ラスト。8時間達成して有終の美を飾りたい。

大学受験には何十万円も平気で使うのに、ビジネスになると急に自己投資しなくなるの、不思議だよね。 受験のときは、参考書買ったり、予備校行ったり、家庭教師つけたり、普通にお金を使ってたはず。 でも副業になると、急に無料情報だけで何とかしようとする人が多い。 お金払うの怖いのは分かる。 詐◯もあるし、外したら痛い。 実際、僕も最初スクールに入会する時はビビりながらお金を払ったし、あまり役に立たない商材を買ったこともある。 でも、あの時お金を払って学んだからこそ、今の僕がある。 自己投資して良かったと、本当に思ってる。 だからこそ、今ならこう思う。 受験より、ビジネスの方がこの先の人生に直結してない？ だったら、自己投資にお金を使うのって、そんなに変なことじゃないよね🐑

TL;DR 音声LLMのエンコーダを18層から14層まで削っても精度がほぼ落ちない、XPengの圧縮手法「X-AuT」が公開されました。むしろ16層構成では精度が向上しています。 タイトル: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation URL: ポイント ✂️ 音声エンコーダの層を18→16→14と段階的に削減する「プログレッシブプルーニング」を採用しています 🔍 個々の層の削減スコアだけでは最適なペアが分からず、層同士の相互作用まで評価しているのが面白い点です 🎓 0.6Bの学生モデルを1.7Bの大きな教師モデルで蒸留する「クロススケール蒸留」で自己蒸留より大きく精度を改善しています 📈 16層構成ではパラメータ10.35%削減しつつマクロ平均エラー率5.61%→5.27%に改善 📉 14層構成でもパラメータ20.70%削減で精度低下はわずか+0.14ptに抑えられています 🚗 車載チップ上でエンコーダ処理時間を21.4%、全体レイテンシを4.7%削減しています 🔓 コードとモデルはGitHub・Hugging Faceで公開済み（CC BY-NC 4.0） 層を削るだけでなく「どう賢く削って回復させるか」の設計がよく練られていると感じました。 #音声LLM# #モデル圧縮#