LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。 タイトル: Large Flow Language Models URL: 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1：非同期フロー ブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2：自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3：少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。 連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル# #高速推論#

🔁 簡単なトークンにも難しいトークンにも同じ計算量を使っている。拡散言語モデルが自己回帰モデルに勝てない原因は、そこにあるという指摘です。 タイトル: ALoDLM: Adaptively Looped Diffusion Language Models URL: 📘 概要 拡散言語モデルの各デノイジングステップに「内側ループ」を入れ、トークンごとに異なる深さで計算を打ち切れるようにした手法です。11ベンチマークの平均で、同規模の拡散モデルだけでなく自己回帰ベースラインも上回りました。 🔥 解決する課題 1回のデノイジングで、予測しやすい位置と計算を要する位置が混在します。しかし標準的な拡散モデルは全マスク位置に同じ固定深度を適用するため、簡単な予測に計算を浪費し、難しい予測には計算が足りません。信頼度ベースの繰り越しも、繰り越したトークンの潜在計算を捨てて次ステップで再計算するため根本解決になりません。 🛠 方法論と提案手法 Transformerを前段・再帰コア・後段に分け、再帰コアを最大4回まわします。 ・予測エントロピーが閾値以下のトークンは確定し、離散埋め込みとして次パスの文脈になります ・未解決のトークンは潜在状態を保持したまま洗練を続けます ・停止確率を累積し、閾値に達したら内側ループを抜けます 確定が文脈を変えるため離脱スケジュールの厳密な総和は不可能で、離脱深度を潜在変数とみなす変分下界と不偏勾配推定で学習します。 📊 実験結果 ・平均スコアは1.7Bで65.5、8Bで80.3。Qwen3の63.8と78.5をいずれも上回りました ・GSM8Kで、同等以上の精度を保ちつつvLLM提供のQwen3-8Bの約2.7倍のスループット ・推論時に離脱閾値を上げるとループ数が1.6から2.34に増え、平均スコアも77.9%から79.1%へ ・難易度ラベルなしで、数値トークンに最も深い計算を割り当てる挙動を自ら学習しました #拡散モデル# #LLM#

🦾 専用の行動モデルもセグメンテーションも使わず、凍結した汎用VLM1つだけでロボットを操作できるのでしょうか。 タイトル: MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation URL: 学習済みの行動エキスパートやコーディングエージェント、SAM3のようなグラウンディングツールを一切使わず、汎用VLMを人間の遠隔操作者のように振る舞わせるハーネスの提案です。 注目ポイントは3つあります。 🎮 中間粒度の行動インターフェース 関節角を直接生成させるのではなく、移動・回転・グリッパー開閉をパラメータ付きで提案させます。VLMが行動と大きさを選び、決定論的なコントローラが身体に応じた動作へ変換して、ロボットが実際に何をしたかを記録します。意図した動きが達成された動きとして扱われない設計です。 🧠 1つの凍結VLMに5つの役割 計画・実行・監視・検証・記憶を、同じモデルに異なる文脈と出力権限で割り当てます。監視役はバックグラウンドで動き、誤った物体を掴んだときにSTOPアラートを出して保留中のコマンドを破棄させます。ただし修正動作は選ばず、判断は結果評価に委ねます。 📈 バックボーンが強くなるほど勝手に伸びる ゼロショットのVLA方策が軒並み0.0%のLIBERO-PROで66.7%を達成し、摂動下の53.8%はファインチューン済みOpenVLA-OFTの51.2%を上回りました。実機xArm6でも平均95%。さらにバックボーンをGPT-6 Solに差し替えるだけで83.3%まで上がります。 専用方策を学習させるのではなく、汎用モデルの能力を適切な制御抽象に合わせる問題として捉え直した点が示唆的です。 #ロボティクス# #VLM#

TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。 タイトル: Context Language Models URL: ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減（成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止） ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持 コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理# #LLM効率化#

次のトークンだけでなく「次の概念」も予測させたら、8.9Bモデルの事前学習が1.95倍速くなったという報告です。 NCP-ArchPreview: Moving towards Latent Space Language Models through Next Concept Prediction 複数トークンにまたがる離散的な「概念」をベクトル量子化で学習し、トークン予測と概念予測を同時に行う潜在空間言語モデルです。 🚀 注目ポイント1: 圧倒的な収束の速さ OLMo-3-7Bと全く同じ5.73Tトークンで学習しても、訓練トークンのわずか51.3%を消費した時点で同じ損失に到達し、下流タスクのマクロ平均も2.45ポイント上回りました。 🧩 注目ポイント2: 概念予測がそのまま性能に効く Concept Module・階層的残差接続・NCP損失を1つずつ足すアブレーションで、それぞれが独立に損失を改善することを確認。パラメータ・計算量を揃えた比較でも優位性が消えませんでした。 ⚡ 注目ポイント3: 学習後も概念空間が使い回せる わずか17Mパラメータのみを更新するドメイン適応で、フルチューニングより忘却を抑えつつ性能を伸ばし、投機的デコーディングの受理長も4.17%改善させています。 概念という抽象単位を副産物ではなく学習目標そのものに据える発想が、次世代モデル設計の実用的な指針になりそうです。 #LLM# #言語モデル#

🧠 「コンテキストを読む」から「コンテキストからスキルを身につける」へ。人手の注釈も外部フィードバックも使わず、自己対戦だけでLLMが文脈固有のスキルを獲得する手法です。 タイトル: From Context to Skills: Can Language Models Learn from Context Skillfully? URL: 📝 概要 LLMは事前学習にある知識は得意ですが、新規で専門的な文脈には弱いです。本論文は、人手注釈や外部フィードバックなしに、文脈固有のスキルを自律的に発見・洗練するCtx2Skillを提案します。 ❓ 解決する課題 長く専門的な文書ではアノテーションのコストが高すぎます。さらにコーディングと違い、コンテキスト学習には実行フィードバックのような検証信号がなく、自動的なスキル構築が困難でした。 💡 方法論と提案手法 ・凍結したLMによる5役割のマルチエージェント自己対戦を、M=5タスクにN=5回反復します ・Challengerが弱点を突くタスクとルーブリックを作り、Reasonerが解き、Judgeが合否を判定します ・ProposerとGeneratorが失敗を診断してスキル更新を合成します ・Cross-Time Replayで、難問と易問の性能の積を最大化し、反復をまたいで最も汎化するスキルセットを選びます 🎯 ユースケース 専門領域の長文ドキュメントを与えて、その場でモデルに必要なスキルを獲得させる用途に向きます。ドメイン固有の知識へ素早く適応させたい実務に直結します。 📊 実験結果 ・CL-Bench（500コンテキスト、1,899タスク）で、GPT-4.1の解答率が11.1%→16.5%に向上 ・GPT-5.1は21.1%→25.8%、GPT-5.2は18.2%→21.4% ・強いモデルのスキルが弱いモデルへ転移し、GPT-5.1のスキルをGPT-4.1に適用すると16.1% ・適用後のGPT-4.1（16.5%）は、拡張なしのGemini 3 Pro（15.8%）を上回りました #LLM# #InContextLearning#

言語モデルの推論ミスには「型」があった。トークンレベルの不確実性が、その“失敗のサイン”を映し出します🔬 タイトル: How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures URL: 🔬 概要 言語モデルが推論にどう失敗するのかを、トークンレベルの不確実性から分析した研究です。失敗が立ち現れるパターンを特徴づけ、検出に活かせる手がかりを示します。 ❓ 解決する課題 モデルは推論に失敗しますが、そのメカニズムは未解明でした。「いつ・どう失敗が検出可能になるか」を理解することが、信頼性向上に不可欠です。 💡 方法論と提案手法 トークン単位の不確実性分析から、2つの失敗パターンを特定しました。 ・コミット型の失敗：早い段階で誤った推論経路に固執する。診断上の「コミット点」があり、それを過ぎるとトークンを足すほど検出が難しくなる ・持続的な不確実性：生成全体で不確実性が徐々に蓄積し、成功と失敗の区別には全トレースが必要 複数のモデル×データセットでシグナルを分析しました。 📊 実験結果 ・23のモデル×データセット構成で検証 ・反証可能な予測が23例中20例で成立（偶然を大きく上回る） ・不確実性シグナルが自己整合性を補完する場面と、冗長になる場面を識別 #LLM# #信頼性#

AIに空間を「言葉で考えさせる」のは逆効果かもしれません🧭 見えない視点を頭の中で“想像”させる新しいアプローチの登場です。 タイトル: Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models URL: 🧭 概要 視覚言語モデル（VLM）の空間推論を強化する「Imaginative Perception Tokens（IPT、想像的知覚トークン）」の提案です。空間的な論理を言語に押し込めるのではなく、「異なる配置で何が見えるか」という知覚を中間表現として保持します。 ❓ 解決する課題 VLMは、見えていない視点からの見え方、遮蔽された経路、複数の部分観測の統合といった空間推論が苦手です。従来はテキストの思考連鎖で解こうとしましたが、視覚的な推論を言語だけに押し込めるのは無理があり、性能が頭打ちでした。 💡 方法論と提案手法 ・統合型VLMのBAGELをバックボーンに、IPTによる教師あり学習で訓練します ・3つのタスクを定式化：視点取得（PET）、経路追跡（PT）、多視点カウント（MVC） ・約20,000例のデータセットを構築（正解・回答・評価指標つき） 「もしこう動いたらこう見える」という知覚そのものを中間表現として扱うのが核心です。 📊 実験結果 ・多視点カウント（MVC）でIPT利用により精度が3.4%向上 ・経路追跡（PT）でクローズドソースモデルと競争力ある性能 ・IPT教師あり学習はテキスト思考連鎖（CoT）を上回る ・逆にテキストCoTは空間推論性能を大きく劣化させると判明 #空間推論# #マルチモーダルLLM#

TL;DR 1万超のツールから必要なものを選ぶ仕事を、Qwen3の1.7B〜8Bに強化学習で教えたら、402BのLlama-4-Maverickをプロンプトで使うより高精度になりました。 タイトル: Training Small Language Models for Transferable Tool Selection URL: ポイント ・🧩 指示をサブステップに分割し、リトリーバーで候補を絞り、1つずつ選ぶ「Plan-Retrieve-Select」 ・🧹 ToolBench G3のノイズあるゴールドを教師モデルで精査し、20,093件に整備 ・🎯 SFTのあとGRPOで、Planは順位重み付きF1、Selectは完全一致を報酬に学習 ・📈 ToolBench G3の成功率は8Bで41.5%。Maverickの最良は30.6% ・🔁 BM25を密リトリーバーCOLTに替えるだけで、再訓練なしに精度が向上 ・🧪 Selectorを学習済みにすると、BM25 top-1より約13ポイント上乗せ ・⚠️ TaskBenchではPlanの転用が弱く、大型モデルに負けるケースもあります 大きなモデルをプロンプトで回すより、小さなモデルを目的特化で訓練するほうが安く速く強くなる好例です。 #LLMエージェント# #ToolUse#

🧠 「もう画面に映っていない情報」を覚えて行動できますか？ 最新のマルチモーダルLLMでも、神経衰弱や3D迷路でボロボロに崩れることが分かりました。 📰 タイトル: Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games 🔗 URL: 💡 概要 MLLMが「過去の見えない観測」を内部に保持して行動できるかを測る新ベンチマーク「RNG-Bench」の提案です。神経衰弱（Matching Pairs）と一人称視点の3D迷路という2つのゲームで、文脈内の信念状態トラッキングだけを切り出して評価します。 🔍 解決する課題 既存ベンチは状態を全部見せたり、エピソード後に「思い出して答える」だけを測りがちでした。本研究は記憶ミスがその後の観測を変えてしまう「思い出して行動する」閉ループ設定に踏み込み、より現実のエージェントに近い難しさを測ります。 🛠 方法論と提案手法 ・ゲームをPOMDP（部分観測マルコフ決定過程）として定式化し、履歴から信念状態を維持する力を要求 ・グリッドサイズ、視覚パターン、テキスト/画像モダリティで難易度を細かく制御 ・2モデルが同一盤面で戦うDuel、真の隠れ状態を注入するOracleを用意 ・通常時とOracle時を比べる「Memory Gap」指標で、忘却と判断ミスを切り分け 📊 ユースケース / 実験結果 10×10神経衰弱でGPT-5.4が62.3%、Gemini-3.1-Proが50.0%、Qwen3.5-397Bが25.3%。13×13迷路ではGemini-3.1-ProがSR50%で首位。Qwen3.5-397Bは4×4で90.6%→12×12で0.7%へ崩壊。行動履歴のテキストを消すとGPT-5.4は約75%性能低下し、履歴の長さより視覚認識が壁になると判明しました。 #マルチモーダルLLM# #AIエージェント#