登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 知識蒸留
知識蒸留 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
知識蒸留 を含む検索結果
TL;DR: 生成型LLMの順位付けの判断を、1回の順伝播で動くリランカーに蒸留する手法です。8Bの生徒が、リストワイズのリランカーに近い精度を約24倍の速さで出します。 DecisionRank: On-Policy Distillation for Decision-Model Rerankers ポイント ・🎯 各候補に単一トークンIDを割り当て、最初のトークンのロジットを並べて順位を出します ・🔁 教師と生徒を、語彙ではなく候補アイテム単位で合わせるので、語彙やアーキテクチャが違っても蒸留できます ・👀 生徒の上位20件の並びを教師に評価させる、オンポリシーのフィードバックを使います ・📐 オフラインのRankNet損失と組み合わせて学習します ・📊 DecisionRank-8BはTREC DLで64.34、リストワイズのDirectRank-8B(62.92)を上回りました ・⚡ レイテンシは同じ8BのDirectRankの約24.5分の1です(TREC DL、B200+vLLM) R2MEDではDirectRank-8Bに届かず、BRIGHTでは27Bの教師が上です。それでも、速度と精度のバランスは実用的です。 #リランキング# #知識蒸留#
もっと見る
TL;DR ゼロショットで高精度なステレオ基盤モデルFoundationStereoを、精度をほぼ落とさず10倍以上高速化。ついにリアルタイムで動くようになりました。 タイトル:Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching URL: ポイント 🎯 課題:ステレオは「高精度だが重い基盤モデル」と「速いが精度・汎化を犠牲にする手法」に二分されていた 🧩 分割統治で3つのボトルネックを個別に高速化(特徴抽出・コストフィルタ・リファインメント) 📚 特徴抽出:単眼+ステレオの事前知識を単一の生徒モデルへ知識蒸留 🔍 コストフィルタ:8ブロックに分けたNASで探索をO(n^N)→O(n)に削減し、ILPでレイテンシ制約下の誤差を最小化 ✂️ リファインメント:ConvGRUの再帰依存グラフ+テイラー展開の重要度で構造化プルーニング 🗂 140万組の野外ステレオを法線整合性チェックで自動疑似ラベリング ⚡ Middlebury-Qで4.51%@49ms(本家2.64%@496ms=10.1倍遅)、TensorRTで21msまで短縮 リアルタイムステレオの新SOTAで、ロボットやARの現場投入に効きそうです。 #ステレオマッチング# #コンピュータビジョン#
もっと見る
🧩 AIエージェントに足りないのはモデルの賢さではなく「現場のノウハウ」だった、という論文です。 タイトル: Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills URL: ❓ 自律型研究エージェントには何が欠けているのですか 💡 「モデル」と「実行ハーネス」の2層だけでは、適切な手法の選び方やAPIの使い方、実装の落とし穴といった運用知識が抜け落ちています。この論文はこれを第三の層として明示的に扱います。 ❓ その知識をどうやって手に入れるのですか 💡 GitHubリポジトリや論文を「Scope→Ground→Construct→Verify」の4段階で処理し、検証済みの「スキル」として蒸留します。1,000リポジトリと153論文から5,353個のスキルを構築しました。 ❓ スキルを使うと実際どれくらい変わるのですか 💡 同じGPT-5.5・同じハーネスのまま、スキルを追加するだけでMLE-benchは31.11%から72.89%へ、PaperBench・FrontierCS・PassNetでも軒並み改善しました。高難度タスクでは4倍以上のスコア向上も見られます。 ❓ 単にリソースを増やしただけではないのですか 💡 トークン数やツール呼び出し回数と改善幅の相関はほぼゼロで、Claude Opus 4.8構成より少ないトークンで高いスコアを出しています。知識そのものが効いているといえます。 #AIエージェント# #機械学習#
もっと見る
TL;DR: コンテキストで得た性能向上を、コンテキストなしでもモデルの重みに残す「Memory Consolidation」手法Cortexの提案です。50回の連続編集でも、利得の88.9%を回復し、元の性能を99.8%維持しました。 タイトル: Cortex: Consolidating Context into Parametric Memory URL: ポイント ・🧠 脳の「海馬→新皮質」の記憶固定化に着想を得て、知識編集・スキル学習・振る舞い制御・知識抑制を1つの問題として統一 ・🔮 モデル自身が「このコンテキストは将来どう使われるか」を想定したクエリを生成し、それを学習ターゲットにする ・🧩 更新はFFNだけ。既存重みへの低ランク更新(Synaptic)か、新しいチャネルの追加(Structural)で、学習後は重みにマージ可能 ・👩‍🏫 コンテキストを見る凍結教師の出力と隠れ状態を、見ない生徒に蒸留 ・📊 4B〜120BのdenseとMoEで検証。バッチ編集のCRは80〜91%(既存の最強手法は36〜46%) ・🤖 ALFWorldでは固定化後のモデルがコンテキストを直接与えた場合を上回る例も ・⚠️ 知識抑制では近傍知識への副作用が残るのが課題 💡 RAGやプロンプトに頼らず「経験を重みに畳み込む」実用的な道筋だと感じます。 #LLM# #継続学習#
もっと見る
ロボット操作のビデオ世界モデルで「本当に指定した動作をしているか」を検証できるモデルが登場しました。 DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation Wan2.2-TI2V-5Bを基盤に、初期フレームと言語指示、両腕の行動軌道から将来フレームを高精度に予測するビデオ世界モデルです。WorldArena 2.0 Track 1で31チーム中1位(EWMScore-P: 60.65)を達成しました。 🔷 注目ポイント1: PRoPE — SE(3)を直接アテンションへ注入 行動を汎用トークンに変換する従来手法を捨て、エンドエフェクタの位置・回転行列・グリッパー状態をSE(3)変換としてアテンション機構に直接組み込みます。アームごとにヘッドをパーティションし、Kronecker積でトークンワイズ変換を適用することで、グローバル座標系への依存を排除。制御性スコア98.55という驚異的な数値を叩き出しています。 🔶 注目ポイント2: 深度ブランチ + 物体中心監督で「見た目」以上の精度を RGB損失だけでは表面順序やオブジェクト範囲を制約できないという根本問題に、2段構えで対処します。軽量な深度ブランチ(最後のMブロックを複製した一方向クロスアテンション)が幾何学的整合性を担保し、SAM3マスクと凍結V-JEPAティーチャーのグラム行列制約が操作物体の時間的一貫性を保ちます。静的背景が大きなロボット映像において、接触近傍のエラーを損失関数に確実に反映させる仕組みです。 🟣 注目ポイント3: DMD蒸留で多ステップを少ステップへ KL divergenceと非飽和GAN損失を組み合わせた分布マッチング蒸留(DMD)により、推論時のステップ数を大幅に削減。Ego4D・AgiBot World 2026・RoboTwin 2.0など合計約6,000時間超の多様なデータで学習されており、広範な視覚事前知識と行動接地の両立を実現します。 ロボット世界モデルがついに「リアルに見える」から「正確に動く」へ進化した一歩です。 #ロボティクス# #世界モデル#
もっと見る
アイデア = 知識 × 経験 × 新しい組み合わせ これは、有名なヤングの『アイデアのつくり方』にあるものだ。本当にこれだと思う。だから、知識が多いほど、経験が多いほどアイデアは生まれる。 経験を生み出すのは、行動だ。 失敗は経験値だ。 だから、走りながら考えるのだ。
もっと見る
💫大知識Radio49生配信決定💫 ⏰2026年7月4日(土)19:30〜予定 ぜひ、リアルタイムでお楽しみください😊 視聴するには大知識アプリ▶︎FanStreamアプリが必要です📻 みなさんからの質問も募集中です✉️ こちらからお送りください📝 🔗 #三浦大知 ##大知識#
もっと見る