Ollamaでラクして色んなモデルに触れてきたけど 結局Qwen3.6 35B A3BかGemma4 26Bかに落ち着いてきた気がするからそろそろllama.cppに移行したい気がするんだけどあれゲロ面倒くさくない？

VideoChat3が発表された（https://arxiv[.]org/html/2607.14935v1）。南京大学や上海AI研究所などの研究チームによる完全オープンソースの動画理解MLLM（マルチモーダル大規模言語モデル）で、パラメータ数はわずか4Bながら、同規模のQwen3-VL-4Bとの直接比較19項目中18項目で上回っている。 動画理解が難しいのは、静止画と違って動きや前後の文脈まで把握する必要があるからだ。既存モデルの多くはフレームを1枚ずつ独立した画像として処理するため、長尺動画やライブ配信でトークン数（モデルが処理する情報の単位）が爆発的に増えて重くなりがちだった。 そこでVideoChat3は視覚エンコーダー（映像を数値情報に変換する部品）にI3D-ViTを導入した。隣接フレームをまとめて空間・時間の両方向で処理してから時間方向に圧縮し、既存の空間圧縮と組み合わせて映像トークン数を全体で16分の1に減らしている。 さらにライブ配信向けにAdaptive Frame Resolutionという仕組みも入れた。サッカー中継で中盤のパス回しは流し見してゴール前だけ集中するのと同じ発想で、「見送り」「注視準備」「応答」の3状態を切り替えながら重要な瞬間だけ高解像度で処理する。ここの学習設計が面白い。素直に全フレームへ同じ重みで学習させると「見送り」ばかり選んでほとんど応答しなくなり（F1スコア5.8）、逆に状態の切り替わる瞬間だけに絞ると、映像を見なくても直前のパターンから「とりあえず応答する」抜け道を覚えてしまい、当たっていたのは11.8%だけだった（見逃しは少なく再現率97.9%なのに）。両者をバランスさせる工夫で、最終的にF1スコアを35.5まで引き上げている。 ベンチマークでもMotionBenchで61.7点、TempCompassで75.6点とオープンモデル最高スコアを記録し、ストリーミング理解のODVBenchではオンライン動画理解に特化したStreamForestを12.4ポイント上回る72.3を出した。長尺動画の処理も速く、2048フレームの動画ではQwen3-VL比でレイテンシを44.4秒から20.4秒に短縮している。 モデルの重みだけでなく学習コード・学習戦略・約300万件のデータセットまで全部公開しているのも特徴で、再現性を重視した設計思想が伝わってくる。

Microsoftの研究チームが、画面を操作するAIエージェント（computer-use agent）を訓練するための合成環境「Echoverse」を発表した（https://arxiv[.]org/html/2607.28074v1）。 AIエージェントは、自分の操作が実際に何かを変化させる場でしか学習できない。でも本当に鍛えたい相手はメールや銀行、カルテのようにログインが必要で状態が刻々と変わる（stateful）アプリで、本物のサービスを壊すわけにはいかない。そこでデータベースごと丸ごと動く合成環境を代わりに使う。 これまでの手法はこうした合成環境を大量に作ることに力を入れてきたが、この論文は数より深さだと主張する。レシピサイトAllrecipesを模した環境で試したところ、浅い環境で訓練すると実際にベースモデルより性能が落ちてしまった。逆に、権限やエラー処理が本物通りに動き、最初の選択が後の展開を左右するような深い環境で訓練すると、同じドメインで性能が上がった。 合否判定にも工夫があり、スクリーンショットをAIに見せて「できていそうか」を判定させるのではなく、実際のデータベースの差分を正解データと突き合わせる「grounded grading」を採用している。エージェントが完了したふりをしても見抜ける仕組みだ。 結果、先ほど例に挙げたメールや銀行を再現したEchoMailやEchoBankなど10個の業務ドメインに、日付ピッカーなど特定の操作だけを鍛える2個の環境を加えた計12環境、2万1009本の実行履歴を使って90億パラメータのモデル（Qwen3.5-9Bベース）を訓練したところ、14項目の評価平均でベースモデルの36.5%から67.1%まで伸び、この訓練データを作った教師モデルGPT-5.4の80.7%まで14ポイント差に迫った。 面白いのは、EchoStay（民泊予約の模擬環境）で宿泊人数を指定する操作が正しく機能しないというバグを1つ直しただけで、それまで完了できなかった予約タスク24件のうち15件が新たに通るようになったこと。環境のバグ修正が、そのまま多数のタスク改善につながる。 さらにこの合成環境はそのまま強化学習の訓練場にもなる。正確にリセットでき、並列実行でき、報酬がデータベースの状態に基づくため信頼できるからだ。環境の数を増やすより、モデルが実際につまずく場所を見つけて環境ごと直し続けるループが効くという結論。

VLM(画像を見て言葉で答える大規模言語モデル)に専門ツールを使わせて学ばせたあと、使い方ごと本体に染み込ませてツールを手放せるようにする学習手法SpatialCLIが発表された(https://arxiv[.]org/html/2607.27703v1)。 VLMは「机の上で一番遠いクマのぬいぐるみはどれか」のような課題全体の理解は得意だが、実際の距離を正確に測るのは苦手。SAM 3(輪郭を切り出す専門モデル)やDepth Anything 3(奥行きを推定する専門モデル)は精密だが、どのクマを見ればいいかという文脈判断ができない。しかもこうした専門ツールは呼び出すたびに時間がかかり、学習時点の計測では1回あたり平均2.916秒だったという。 SpatialCLIの名前は、位置特定・輪郭抽出・奥行き・姿勢推定という4つの専門ツールをVLMに呼び出させるCall、お手本の成功例と強化学習(GRPO)でツールの選び方を磨くLearn、ツールを使って解けた過程を文章に変換しツールなしでも同じ結論に辿り着けるよう学習し直すInternalizeという3段階に由来する。ツールを使う学習と使わない学習を同時に行うため、ツールの使い方を忘れずに専門能力だけをモデル本体に取り込める。 新設した516問のベンチマークSpatialCLI-Benchは、フロンティアモデルのGPT-5.6 Solでも正答率48.8%にとどまる難問揃い。Qwen3-VL-8B(80億パラメータ)にSpatialCLIを適用すると、ツールなしで35.3%から72.7%、ツールありでは91.3%まで伸びた。視点を変えながら空間関係を捉える力を測る別のベンチマークMindCubeでも29.3%から84.6%(ツールあり)に達し、同じ条件のGPT-5.6 Sol(72.1%)を上回っている。 ツールを使わせて学ばせてから、学んだことを染み込ませて手放させる。この順番が、身体を持つAIが現実世界の空間を扱えるようになる道筋の一つになりそうだ。

NTUの研究チームが、複数のLLMをまとめる司令塔(セントラルモデル)向けに、新しい記憶の仕組み「Σ-Mem」を提案した(https://arxiv[.]org/abs/2607.27958)。 画像はその動機を示す例。複数のエージェント(ピア)が「Berlin」で一致しても、参照元の資料が見えないセントラルモデルには正誤を判断できない(正解はZurich)。複数の意見が揃っていることは、correlated errors(同じ思い込みを共有した誤り)である可能性もあり、単純な多数決はかえって逆効果になりうる。 Σ-Memは、各ピアの過去の実績(historical competence evidence)と、ピア同士の相性(peer relationship evidence、一緒に正解しやすいか間違えやすいかの関係)を、数値の表(対称行列)としてずっと記録し続ける仕組み。1回の更新で変化できる幅を一定に抑える(Weylの不等式という定理で保証)ことで、モデル自体を再学習せずに安定してオンライン更新できる。 Qwen3系とQwen3.5系あわせて5モデルで検証したところ、信頼できるピアを意図的に入れ替える意地悪な設定(CF@90)で、Qwen3-0.6Bの正解率が46.22%から71.10%まで向上した。学習に使っていない未知のピアを後から追加しても効果は落ちず、学習対象外の領域(BBHなど)を含む30ケース中27ケースで性能が改善している。 興味深いのは、セントラルモデルの判断を介さず、質問文だけから「どのピアを信頼すべきか」を記憶だけで決める方式(M-route)でも、多数決や固定の最良ピアより高い精度が出た点。「誰を信頼するかの記録」そのものが、判断材料として機能することを示している。

ロールプレイAI(キャラになりきって会話するAI)のベンチマークは、実はどのモデルにも同じ「借り物の会話履歴」の続きを書かせて採点しているだけだったという論文(https://arxiv[.]org/abs/2607.27816)。 渡す会話履歴の質を上げただけで同じモデルの採点が平均0.21点(5点満点)上がり、劣化させると0.13点下がることが実験でわかっている。モデル自身の実力ではなく、渡された「お膳立て」の質を測ってしまっているわけだ。 もう一つの問題は採点基準(ルーブリック)が全員共通なこと。じっくり関係を深める会話が好きな人もいれば、テンポよく展開してほしい人もいるので、一律の基準では「その人にとっての満足度」は測れない。 そこでPALATEという新しいベンチマークは、5人の実ユーザーの本物の会話ログ(1人あたり約1,000ターン)でLoRA(モデルの一部だけ軽く追加学習する手法)を作り、「その人らしく話すAI」を再現する。このAIがロールプレイAI候補と自由に会話して、その場で評価用の会話を作るので、借り物の履歴に頼らず公平になる。採点基準もその人の過去の満足度データから個人専用に自動生成していて、論文の図には「そっけない態度の中に見える思いやり(Hard shell, soft care)」のような、人によって全然違う評価軸が並ぶ。 GPT-5.4、Claude Sonnet 4.6、DeepSeek V4 Proなど16モデルで検証したところ、全ユーザーに勝つモデルは1つもなかった。ユーザーごとに一番相性がいいモデルが違い(Qwen3-Max、DeepSeek V4 Pro、Claude Opus 4.8、Claude Sonnet 4.6がそれぞれ別のユーザーで1位)、総合1位はGPT-5.4だったが、これは一言一言の受け答えの質(Generic評価)で強いのが理由で、会話が長く続いたときの一貫性(Session評価)ではClaude Sonnet 4.6が最も高いスコアだった。一言一言の上手さと、長い会話が破綻しないことは別の能力だという指摘で、ロールプレイAIの「強さ」は1本のランキングだけでは測れないという結果になっている。

AIが「外部検索なし」でファクトを記憶・更新・忘却する時代が来ました。メモリをモデルに内蔵する新たなパラダイムが論文として公開されています。 タイトル: Metis: Memory Foundation Model 🔍 概要 現在のRAGなど外部メモリモジュールには、バックボーンとの分離・勾配伝播困難・推論レイテンシという3つの根本的限界があります。MetisはこれをTransformerブロック内に「ネイティブメモリ」として統合するアプローチで、Chain-of-ThoughtがLLMにネイティブに組み込まれたように、メモリも外部依存から解放しようとする研究です。 🛠 解決する課題と提案手法 2つのコアコンポーネントを導入します。ローカルメモリブロック（高密度メモリネットワークを推論ステップ間で指数移動平均更新）とハイパーメモリブロック（静的パラメータによるフォワードパスでのメモリ変換）です。4種のメモリ操作（Remember/Update/Forget/Reflect）を、バックグラウンドの勾配更新なしに順伝播計算だけで実行します。 📊 実験結果 コンテキストなし設定のMemOpsベンチマークで、Metis-27Bは24.76%を達成しました。 ・ベースライン Qwen3.5-27B（コンテキストなし）: 1.69% ・テスト時訓練 Temp-LoRA-27B: 9.70% ・パラメトリックメモリ δ-Mem: 4.38% 自社テストセットではReflect（マルチホップ推論）で93.44%、平均73.77%を達成。すべての比較手法を大幅に上回っています。 💡 実用的な意義 RAGの検索・ランキング・プリフィリングコストを回避しつつ、パラレル計算でメモリ操作を実行するため推論レイテンシを抑えられます。ポストトレーニングによるドメイン適応も可能で、コードとモデルチェックポイントはGitHub（MemTensor/Metis）とHuggingFaceで公開されています。 #LLM# #AIエージェント#

モデル自身に長い文章の中から使えそうな部分を選ばせてから、その部分だけで一時的に学習させる手法をMeta AIとバージニア大学が発表した(https://arxiv[.]org/html/2607.09415v1)。 近年のLLM(大規模言語モデル)は数十万トークンの長文を一度に読めるようになったが、扱える入力の長さ(コンテキストウィンドウ)を広げるだけでは長文を有効に使えるとは限らない。入力が長くなるほど正解率が下がる現象が知られていて、質問に関連する証拠を見つけて使う能力がボトルネックになっている。 有望な解決策がテスト時学習(TTT、Test-Time Trainingの略)だ。答える前にテスト入力そのものを訓練データとしてモデルの重みを一時的に更新する手法で、長文脈タスクとの相性が良いとされてきた。ただし長文脈全体を学習に使うのは計算コストが高く、ランダムに抜き出した断片を使うと無関係な情報がノイズになる。 著者らはLLMの長文読解力を測るベンチマーク「LongBench-v2」で診断実験を行い、興味深い結果を得た。ランダムな断片で学習させるとベースモデルの正解率40.4%が38.9%まで下がる一方、正解を教えられたうえで判断するGPT-5.5が選んだ「本当に必要な部分」だけで学習させると45.9%まで伸びた。TTTの効果は学習させる部分の質に強く依存している。 これを受けて提案されたのがSelf-Guided TTT(S-TTT)だ。2段階構成で、まずモデル自身に長文脈の中から質問に関連しそうな部分を原文のまま抜き出させ(Stage 1)、その部分だけを使って次単語予測(次にくる単語を当てさせる、通常のAI学習と同じ方式)で一時的に学習させる(Stage 2)。最終的な回答生成は元の文脈全体を見て行う。 Qwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方で検証したところ、ベースモデルは一貫して上回り、ランダムに断片を選ぶ手法や文脈全体を使う手法など既存のTTT手法に対しても総じて上回るか同等の成績を残した。最大では15%の相対的な改善を達成している(Qwen3-4B-Thinking-2507、LongBench-v2の64k〜128kトークン帯域で正解率30.7%→35.3%)。 パープレキシティ(次単語の予測しにくさ)やエントロピー(予測の不確実性)が高い部分を選ぶより、モデル自身が「質問に関連しているか」で選ぶ方が明確に優れていた点も興味深い。難しい部分を学ばせればいいわけではなく、質問との関連性を見極める判断力そのものが効いているらしい。

タオバオを運営するアリババが、ECサイトの「あなたへのおすすめ」を支えるレコメンドAI「RecGPT-V3」の技術レポートを公開した(https://arxiv[.]org/html/2607.15591v1)。数億人規模の日次アクティブユーザーを抱えるタオバオのホーム画面「Guess What You Like」枠に実際に投入し、本番A/Bテストまで行った上での報告。 前身のRecGPT-V1・V2は「ユーザーの行動履歴を読んでLLMに意図を推論させる」設計で成果を出してきたが、大規模運用の中で3つの壁にぶつかった。 1つ目は、リクエストのたびに行動履歴を全部読み直す非効率さ。V3は「Memory Hub」というユーザーごとの永続的な記憶層を新設した。ガジェット好き、バドミントン好き、育児中といった興味ごとにメモリユニットとして蓄積しておき、新しい行動が来たら該当ユニットだけを差分更新する仕組みに変えることで、ユーザー理解にかかる計算コストを55.8%削減している。 2つ目は、LLMが出す自然言語タグと実際の商品とのズレ。「バドミントンラケットスタンド」のようなタグ1つに幅広い商品群が対応してしまい、本当に欲しい商品を絞り込む手がかりが失われていた。V3ではLLM(ベースはQwen3-14B)の語彙に、商品の意味を離散コードで表す「Semantic ID」を65,536個追加し、自然言語とSemantic IDの両方で推論できるハイブリッドモデルにした。 3つ目は、精度を上げるための思考の連鎖(Chain-of-Thought、答えを出す前にLLMが踏む思考ステップ)が長すぎる問題。1サンプルあたり2,840トークンにも及ぶ思考過程が推論を遅くしていた。V3は「Latent Intent Reasoning」でこれをわずか10個の潜在トークンに圧縮しつつ、必要なときは人が読める説明文に復元できる仕組みも保っている。論文中の実例では、この10トークンだけから、本格派で攻撃的なプレースタイルのバドミントン好きでフルカーボンラケットやガットが必要、という趣旨の説明文まで復元できたと報告されている。出力トークン数は95.7%減り、処理速度は3.46倍(1,020秒から295秒)になった。 結果、本番A/Bテストではフィードで商品詳細ページ閲覧数(IPV)が1.28%、クリック率(CTR)が1.00%、取引件数(TC)が1.97%、流通取引総額(GMV)が3.97%向上しながら、サービング全体の計算コストは52.4%削減された。精度とコストを同時に改善できているのが実運用ならではの説得力がある。

Tencentのロボティクスチームが、ロボットに「言葉で考えて、絵で確かめながら動く」能力を持たせる基盤モデル「RxBrain」を発表した(https://arxiv[.]org/abs/2607.14187)。 例えば「メガネを畳んでケースにしまう」というタスクなら、RxBrainは「つるを畳む」「ケースに入れる」と言葉で手順を計画し、それぞれの手順を終えた後の映像がどう見えるはずかを画像として想像しながらタスクを進めていく。 背景には、ロボット向けAIが抱えていた分業の問題がある。視覚言語モデル(VLM、画像を見て言葉で答えを返すAI)は「次に何をすべきか」の説明は得意だが結果の見た目までは示さず、逆に世界モデル(world model、未来の映像を予測するAI)は先の状態を絵で示せてもなぜそうすべきかという理由づけは苦手だった。RxBrainは6.2Bパラメータの単一モデルの中で、この2つの機能をMixture-of-Transformers(データの種類ごとに専門の処理経路を用意しつつ注意機構だけは共有するアーキテクチャ)で統合している。 学習データは実ロボットの操作映像、ハンドヘルドグリッパーでの人の動作、一人称視点の日常動画などから自動構築した5万時間超・2150万セグメント。新設ベンチマークRxBrain-Benchの「言葉と画像を組み合わせた計画」タスクではスコア0.68を記録し、既存のエージェント型手法(BAGEL-7B-MoTが0.50、Qwen-Agentが0.43)を上回った。一方、単純な状況理解を問うタスクでは総合スコア72.7にとどまり、Qwen3.5-4B(78.1)には及ばない。先を見通した計画は得意でも、細かい状況認識はまだ既存モデルに一歩譲るというバランスが見える。 さらに、大規模な行動データでの事前学習なしに実ロボットへ応用した結果も興味深い。食卓の準備・メガネの折りたたみ収納・ゴミ捨ての3タスクで平均成功率87%を達成し、ロボット操作の代表的な基盤モデルπ0.5(82%)やπ0(68%)を上回った。 「言葉で考え、絵で確かめる」というアプローチで、ロボットの計画立案を人間の思考プロセスに近づけようとしている点が面白い。