Ollamaでラクして色んなモデルに触れてきたけど 結局Qwen3.6 35B A3BかGemma4 26Bかに落ち着いてきた気がするからそろそろllama.cppに移行したい気がするんだけどあれゲロ面倒くさくない？

LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。 ・LocalAIは基本的には既存の推論エンジンをラップして使っている ・ただ、18個のバックエンドはC/C++を使ってゼロから自作している ・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため ・実際、vLLMのPython環境は9.1GBに達する ・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む ・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する ・とはいえ、すべてのエンジンを自作するわけではない ・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも ・llama.cppのような優秀なプロジェクトは、引き続きラップして使う

ザッカーバーグの強権モードが発動中とはいえ、記事に該当しているエンジニアはキャリアを相当考えるだろうなぁ。 ・ザッカーバーグはモバイルOSの波に乗り遅れた過去があ李、AIという巨大なトレンドを絶対に逃さないという強い決意を持っている ・metaは過去にメタバースへ巨額の投資を行ったものの、パンデミック後に人々の関心が薄れ、その投資は十分な成果を上げなかった ・自社開発のAIであるLlamaモデルを進める中で2025年発表のLlama 4が不調に終わった ・そのため、AI戦略の立て直しを迫られた ・で、Scale AI社の株式を巨額で取得した。同社CEOのAlexandr Wang をAI戦略のトップとして迎え入れた ・Wangが得意とするのはAIの学習に必要なデータラベリングや、人間によるフィードバックを用いたモデルのファインチューニング ・彼の主導により、metaのエンジニアのタイピングやマウスクリックを強制的に監視してAIの学習データにするシステムが導入された ・この監視システムは事前の相談や拒否権なしにトップダウンで決定され、従業員のプライバシーに対する大きな懸念を引き起こした ・多くの反発を受けた会社側は、監視を一時停止する機能を追加するなどの妥協案を後日提示することになった ・同時期にプロダクト開発の中核を担うチームから30パーセントから50パーセントものエンジニアが、AIデータラベリング部門へ強制的に異動させられた ・meta社では従来、入社後に研修を経て自身の所属チームを自由に選べる文化があったため、この一方的な異動は大きな波紋を呼んだ ・異動先でのデータラベリング業務はAIが生成したコードをテストしてフィードバックを与える単調な作業 ・多くのエンジニアのやる気を削いでいる ・特にインフラストラクチャやセキュリティを担当するチームへの影響は深刻であり、優秀な人材が次々と本来の業務から引き剥がされた ・会社全体で10パーセントのレイオフが予告されたことで、一ヶ月にわたり従業員は自分が解雇されるかもしれないという強い不安にも苛まれていた ・metaの人事制度にて、自身の評価を相対的に高めるためにあらゆる指標を最大化しようとする政治的な動きが横行している ・新たな評価指標としてAIトークンの使用量が導入された ・なので、エンジニアたちは評価を上げるためだけに無意味にAIツールを多用し始めた ・人間による入念なコードレビューよりも、AIを使って表面的な生産性を高く見せかけることが自己保身の有効な手段となっている ・本質的なプロダクト開発がないがしろにされた結果、エンジニアたちは会社に嫌気がさし、外部の面接対策サービスの利用登録者が急増している ・不満を抱える中核メンバーを引き留めるために会社は特別ボーナスを支給した ・だが、それでも彼らの離職意欲を根本から削ぐには至っていない ・5月末には、オバマ元大統領などの著名人のInstagramアカウントが次々と乗っ取られるという、同社史上最も恥ずべき大規模な障害が発生 ・この障害はパスワードリセット時の本人認証プロセスが根本的に欠如しているという、非常に初歩的な脆弱性を突かれたものであった ・セキュリティチームの人員が半減させられていたことと、AIが生成したコードをAIがレビューするというずさんな開発体制が障害の最大の原因だろう ・障害発生の翌日には会社のCISOが辞任を表明 ・経営陣と現場との間に深刻な亀裂が生じていることがうかがえる ・社内の全体会議では、現状を強制収容所に例えて不満を爆発させる従業員が現れるなど、組織内の混乱はもはや隠しきれない状態になっている ・CPOでさえも現在のメタ社の状況を狂気(insanity of this company)と表現しており、経営トップが引き起こした社内環境の劣悪さを公式に認めている ・この一連の混乱の元凶は、既存の主力事業やエンジニアの尊厳よりも新しいAIモデルの開発を何よりも最優先とみなしたザッカーバーグの独断にある ・IT業界全体でも、AIの能力を過信してシステムの安全性を軽視する傾向が見られる ・これをAI psychosisと呼んで危惧する専門家の声が上がっている ・metaの広告ビジネス自体はAIの恩恵を受けて過去最高の収益を上げている ・だが、その基盤を支える組織を自ら破壊しているのは皮肉 ・エンジニアを単なるコストとみなす現在の経営体制が続く限り、優秀な人材の流出は避けられない ・他のテクノロジー企業にとっては絶好の狩場となっている

モデル自身に長い文章の中から使えそうな部分を選ばせてから、その部分だけで一時的に学習させる手法をMeta AIとバージニア大学が発表した(https://arxiv[.]org/html/2607.09415v1)。 近年のLLM(大規模言語モデル)は数十万トークンの長文を一度に読めるようになったが、扱える入力の長さ(コンテキストウィンドウ)を広げるだけでは長文を有効に使えるとは限らない。入力が長くなるほど正解率が下がる現象が知られていて、質問に関連する証拠を見つけて使う能力がボトルネックになっている。 有望な解決策がテスト時学習(TTT、Test-Time Trainingの略)だ。答える前にテスト入力そのものを訓練データとしてモデルの重みを一時的に更新する手法で、長文脈タスクとの相性が良いとされてきた。ただし長文脈全体を学習に使うのは計算コストが高く、ランダムに抜き出した断片を使うと無関係な情報がノイズになる。 著者らはLLMの長文読解力を測るベンチマーク「LongBench-v2」で診断実験を行い、興味深い結果を得た。ランダムな断片で学習させるとベースモデルの正解率40.4%が38.9%まで下がる一方、正解を教えられたうえで判断するGPT-5.5が選んだ「本当に必要な部分」だけで学習させると45.9%まで伸びた。TTTの効果は学習させる部分の質に強く依存している。 これを受けて提案されたのがSelf-Guided TTT(S-TTT)だ。2段階構成で、まずモデル自身に長文脈の中から質問に関連しそうな部分を原文のまま抜き出させ(Stage 1)、その部分だけを使って次単語予測(次にくる単語を当てさせる、通常のAI学習と同じ方式)で一時的に学習させる(Stage 2)。最終的な回答生成は元の文脈全体を見て行う。 Qwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方で検証したところ、ベースモデルは一貫して上回り、ランダムに断片を選ぶ手法や文脈全体を使う手法など既存のTTT手法に対しても総じて上回るか同等の成績を残した。最大では15%の相対的な改善を達成している(Qwen3-4B-Thinking-2507、LongBench-v2の64k〜128kトークン帯域で正解率30.7%→35.3%)。 パープレキシティ(次単語の予測しにくさ)やエントロピー(予測の不確実性)が高い部分を選ぶより、モデル自身が「質問に関連しているか」で選ぶ方が明確に優れていた点も興味深い。難しい部分を学ばせればいいわけではなく、質問との関連性を見極める判断力そのものが効いているらしい。

香港大学や中国人民大学など国際共同チームが、LLMの内部を脳のように機能地図化する手法NeuroCogMapを発表した(https://arxiv[.]org/html/2607.00397v1)。 これまでの解釈可能性研究は、個々のニューロンを追う局所的な手法か、埋め込み全体を見る大域的な手法のどちらかに偏りがちだった。NeuroCogMapは認知神経科学のfMRI研究を手本に、脳を機能ごとの領域に分割するのと同じ発想でLLMを解剖する。モデル内部の活性化をスパースオートエンコーダ(SAE、多義的なニューロンをより解釈しやすい特徴量に分解する手法)で抽出し、似た反応パターンの特徴量同士をクラスタリングして「パーセル」と呼ぶ機能単位を作る。分割数を10から300まで試して270個で品質スコアが最大になり、さらに5,683本のLLM関連論文から抽出した45種類の認知能力に紐づけ、知覚、表象、抽象化、応用という4階層のヒエラルキーにまとめ上げた。Gemma2-2B、Gemma2-9B-IT、Llama-3.1-8Bの3モデルで検証し、この構造がモデルをまたいである程度共通していることも示している。 このマップの面白さは病理診断に使える点。正常な応答と失敗した応答をパーセル活性化や回路のつながり方で比較し、ハルシネーション、社会的バイアス、拒否失敗(有害な指示を拒めない)、迎合(sycophancy)という4つの失敗の内部の違いを可視化した。とくにハルシネーションは単一の原因ではないと示した点が興味深い。誤解を誘う前提を含むTruthfulQAでは怪しい情報を検証する高次の評価制御が働かず連想的な検索が暴走することが原因だったのに対し、単純な事実質問のNQ-Openでは事実検索を担う複数のパーセル同士の連携が崩れることが原因だった。同じ嘘でも内部で起きていることは別物というのが興味深い。 このシグネチャは検出や介入にも使える。ハルシネーション検出はGemma2-2Bで平均AUROC(検出精度を0から1で表す指標、1に近いほど高精度)0.681、Gemma2-9B-ITで0.840を達成しSelfCheckGPTなど既存手法を上回った。拒否失敗の検出はさらに強力で、AdvBenchとJBB-Behaviorsで平均AUROC0.990から0.992とほぼ天井に近い。さらに検出したパーセルをsteering(内部活性化を強制的に増減させる介入)で操作し、Gemma2-2BのAdvBenchでの拒否成功率を38.3%から98.6%まで押し上げることにも成功した。 もう一つの軸が人間の脳との対応。物語の朗読を聞かせたときの脳活動を記録したLeBelのfMRIデータを使い、パーセル活性化から皮質の血流反応(BOLD信号)を予測させたところ、Word2VecやBERTなど既存の言語特徴量より高い予測精度を示した。特に精度が高かったのは意味統合や注意制御を担うDefaultネットワークやFrontoparietal Controlネットワークといった高次の連合野で、対応するパーセルの機能説明も脳領域の認知プロファイルと意味的に近かったという。 内部シグネチャを古典的な意思決定モデルの改良に使う実験も行っており、二段階の意思決定課題でLLMのパーセル構造から見えた潜在戦略を組み込むと、既存モデル(AIC268.77)や行動データのみから発見したモデル(268.73)よりも低いAIC(値が小さいほど当てはまりが良いとされる指標、262.45)を達成した。 個々のニューロンでも埋め込み全体でもない中間スケールで解釈するという発想が、診断・介入・脳との対応・認知モデリングまで一気通貫でつながっているのが野心的だと思う。

ウィスコンシン大学マディソン校とUCサンタバーバラ校の研究チームが、複数のAIエージェント同士が協力する場面で「探索」がうまく機能していないことを示す論文を発表した(https://arxiv[.]org/pdf/2607.11250)。 まず単純な設定で確かめている。1つのAIエージェントに、成功確率60%のピアAと50%のピアBのどちらかへ作業を繰り返し委任させる「2本腕バンディット」問題(手持ちの選択肢を試行錯誤しながら良い方に絞り込んでいく、探索と活用のトレードオフを扱う古典的な意思決定問題)を50ラウンド行わせた。理想的には最初は両方を試しつつ、徐々に成功率の高いピアAへ寄せていくのが正解になる。ところがQwen2.5-7B、GPT-4、GPT-5のいずれも、最初の数ラウンドでどちらか一方に固定してしまい、そのまま50ラウンド動かなくなる「早すぎる決め打ち」を起こした。比較用に置いた古典的な探索アルゴリズムUCB1(不確実性の高い選択肢を楽観的に評価し、試行回数を自然に分散させる手法)はきちんと両方を試しながら徐々に絞り込んでおり、対照的だった。 著者らはこれを「マルチエージェント探索問題」として定式化し、部分観測確率ゲーム(POSG、各プレイヤーが相手の能力や状態を完全には観測できないまま、同時に意思決定を繰り返すゲーム理論の枠組み)としてモデル化した。興味深いのが、エージェントに「探索と活用のバランスを取れ」とプロンプトで明示的に指示するだけの手法(In-Context Exploration)が、複数の文書をまたいで証拠を集めないと解けない質問応答ベンチマークHotpotQAを使い10体のエージェントに文脈を分担させた設定では、ランダムにピアを選ぶより成績が悪くなったことだ。プロンプトで頼むだけでは探索は直らず、構造的な仕組みが要ることを示している。モデルの種類が異なる4体(GPT-5、Qwen2.5-7B、Llama3.1-8B、Mistral-7B)を混ぜ、大学院レベルの専門知識を問う難しい選択式ベンチマークGPQAで解かせた実験でも同じ傾向が出た。最も強いはずのGPT-5でさえ、297回の相互作用のうち294回をQwen2.5-7Bに固定し、他のエージェントをほとんど試さなかった。 そこで著者らが提案するのがMACE(Multi-Agent Contextual Exploration)。各エージェントの選択を文脈付きバンディット問題として扱い、ピアの回答が自分と違うか(応答の多様性)、他のピアと比べて特徴的か(ピア間の異質性)、過去の成績はどうか、といった関係性を特徴量にしてLinUCB(不確実性ボーナス付きで期待報酬を推定する手法)でピアを選ばせる。HotpotQAで学習したパラメータを、追加学習なしで別の質問応答ベンチマーク2WikiMultihopQAに転用しても全ベースラインを上回った。理論面では、MACEの累積後悔(最適な選択との差の総和)がO(√(T log T))に収まる一方、探索しない貪欲な方策はΩ(δT)の後悔を負うと示されており、δはエージェント間の能力差の大きさを表す。エージェントが多様であるほど、探索の価値は際限なく大きくなる計算だ。 個々のモデルの賢さを積み上げても、「誰に何を聞くか」を決める仕組みが伴わなければ組織としての精度は頭打ちになる、という指摘として読める。

「1文字ずつ」しか喋れないAIは、もう古いのかもしれません🌀 画像生成で大成功した拡散モデルを、ついに言語生成へ持ち込んだ研究が登場しました。 タイトル: dLLM: Simple Diffusion Language Modeling URL: 🌀 概要 本研究は、画像生成でおなじみの「拡散モデル」の考え方を、言語モデリングに応用したフレームワーク「dLLM」を提案しています。テキストを左から右へ順番に作るのではなく、ノイズ（マスク）まみれの状態から、複数ステップをかけて文章全体を少しずつ整えていく「反復的な精緻化」によって生成します。名前のとおり、複雑な仕掛けを足さずに、できる限りシンプルに実現することを重視しているのが特徴です。 ❓ 解決する課題 現在のLLMの主流は、トークンを1つずつ予測していく「自己回帰（Autoregressive）」方式です。しかしこの方式には弱点があります。 ・逐次生成のため本質的に並列化しにくく、長文ほど生成が遅くなりがちです ・一度書いたトークンを後から推敲・修正する仕組みがなく、全体を見渡して整えるのが苦手です 拡散ベースの生成は、これらの制約を別の角度から解きほぐす可能性を持っています。 💡 方法論と提案手法 dLLMは、言語生成を「離散拡散（Discrete Diffusion）プロセス」として定式化し直します。 ・マスクされた、あるいはノイズの乗ったトークンからスタートします ・複数ステップにわたって段階的にアンマスク（デノイズ）し、クリーンな系列へ復元します ・破損した入力から正しいトークンを予測するよう、ニューラルネットワークを訓練します ・複数トークンを同時に生成できる「並列デコーディング」に対応します 新規の特殊なネットワークを設計するのではなく、既存のTransformerにそのまま載せられる点が実装上の大きな利点です。 🌍 ユースケース / 実験結果 複数のモデル規模・系統で有効性が確認されました。 ・エンコーダ系：ModernBERTを拡散方式で訓練し、分類ベンチマークで競争力ある結果を達成 ・デコーダ系：QwenやLlamaをベースにした拡散モデルでも、言語理解タスクで実用的な性能を確認 ・並列デコーディングにより、標準的な自己回帰方式より高速な推論を実現 ・0.6Bから、より大きなパラメータ領域まで一貫して有効性を確認 高速応答が求められるチャットや、推論コストを抑えたい大規模サービスでの活用が期待されます。 #拡散モデル# #LLM#