Ollamaでラクして色んなモデルに触れてきたけど 結局Qwen3.6 35B A3BかGemma4 26Bかに落ち着いてきた気がするからそろそろllama.cppに移行したい気がするんだけどあれゲロ面倒くさくない？

もし1回のフォワードパスで、まったく別の2つの文章を同時に「読み進められる」としたら。 Transformerは自己注意やMLPといった強い非線形の塊です。だから2つの文脈を1つの入力に混ぜてしまえば、出力はどちらとも無関係などこかに潰れてしまう、というのが自然な直感でした。 ところがこの論文は、その直感を覆します。2つの文章のトークン埋め込みを単純に平均して1本の入力として与えても、出てくる次トークン分布には両方の文脈の情報がはっきり残っていたのです。Pythia・Llama・Qwenなど複数のモデルで確かめたところ、正解トークンが上位10位以内に入るケースが30〜40%、上位100位まで広げると60〜65%にも達しました。 さらに興味深いのは、この「重ね合わせ」能力が学習で獲得されるのではなく、初期化直後が最も強く、事前学習が進むほど単調に弱まっていくという発見です。つまりアーキテクチャに内在する性質であり、事前学習データのわずか0.025%未満というごく軽いファインチューニングだけで、大きく回復させることもできました。この性質を使い、著者らは1回のフォワードパスから2つの独立した文章の続きを同時に生成する誘導デコード手法まで提案しています。 タイトル: Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs URL: #LLM# #Transformer#

LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。 ・LocalAIは基本的には既存の推論エンジンをラップして使っている ・ただ、18個のバックエンドはC/C++を使ってゼロから自作している ・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため ・実際、vLLMのPython環境は9.1GBに達する ・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む ・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する ・とはいえ、すべてのエンジンを自作するわけではない ・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも ・llama.cppのような優秀なプロジェクトは、引き続きラップして使う

ザッカーバーグの強権モードが発動中とはいえ、記事に該当しているエンジニアはキャリアを相当考えるだろうなぁ。 ・ザッカーバーグはモバイルOSの波に乗り遅れた過去があ李、AIという巨大なトレンドを絶対に逃さないという強い決意を持っている ・metaは過去にメタバースへ巨額の投資を行ったものの、パンデミック後に人々の関心が薄れ、その投資は十分な成果を上げなかった ・自社開発のAIであるLlamaモデルを進める中で2025年発表のLlama 4が不調に終わった ・そのため、AI戦略の立て直しを迫られた ・で、Scale AI社の株式を巨額で取得した。同社CEOのAlexandr Wang をAI戦略のトップとして迎え入れた ・Wangが得意とするのはAIの学習に必要なデータラベリングや、人間によるフィードバックを用いたモデルのファインチューニング ・彼の主導により、metaのエンジニアのタイピングやマウスクリックを強制的に監視してAIの学習データにするシステムが導入された ・この監視システムは事前の相談や拒否権なしにトップダウンで決定され、従業員のプライバシーに対する大きな懸念を引き起こした ・多くの反発を受けた会社側は、監視を一時停止する機能を追加するなどの妥協案を後日提示することになった ・同時期にプロダクト開発の中核を担うチームから30パーセントから50パーセントものエンジニアが、AIデータラベリング部門へ強制的に異動させられた ・meta社では従来、入社後に研修を経て自身の所属チームを自由に選べる文化があったため、この一方的な異動は大きな波紋を呼んだ ・異動先でのデータラベリング業務はAIが生成したコードをテストしてフィードバックを与える単調な作業 ・多くのエンジニアのやる気を削いでいる ・特にインフラストラクチャやセキュリティを担当するチームへの影響は深刻であり、優秀な人材が次々と本来の業務から引き剥がされた ・会社全体で10パーセントのレイオフが予告されたことで、一ヶ月にわたり従業員は自分が解雇されるかもしれないという強い不安にも苛まれていた ・metaの人事制度にて、自身の評価を相対的に高めるためにあらゆる指標を最大化しようとする政治的な動きが横行している ・新たな評価指標としてAIトークンの使用量が導入された ・なので、エンジニアたちは評価を上げるためだけに無意味にAIツールを多用し始めた ・人間による入念なコードレビューよりも、AIを使って表面的な生産性を高く見せかけることが自己保身の有効な手段となっている ・本質的なプロダクト開発がないがしろにされた結果、エンジニアたちは会社に嫌気がさし、外部の面接対策サービスの利用登録者が急増している ・不満を抱える中核メンバーを引き留めるために会社は特別ボーナスを支給した ・だが、それでも彼らの離職意欲を根本から削ぐには至っていない ・5月末には、オバマ元大統領などの著名人のInstagramアカウントが次々と乗っ取られるという、同社史上最も恥ずべき大規模な障害が発生 ・この障害はパスワードリセット時の本人認証プロセスが根本的に欠如しているという、非常に初歩的な脆弱性を突かれたものであった ・セキュリティチームの人員が半減させられていたことと、AIが生成したコードをAIがレビューするというずさんな開発体制が障害の最大の原因だろう ・障害発生の翌日には会社のCISOが辞任を表明 ・経営陣と現場との間に深刻な亀裂が生じていることがうかがえる ・社内の全体会議では、現状を強制収容所に例えて不満を爆発させる従業員が現れるなど、組織内の混乱はもはや隠しきれない状態になっている ・CPOでさえも現在のメタ社の状況を狂気(insanity of this company)と表現しており、経営トップが引き起こした社内環境の劣悪さを公式に認めている ・この一連の混乱の元凶は、既存の主力事業やエンジニアの尊厳よりも新しいAIモデルの開発を何よりも最優先とみなしたザッカーバーグの独断にある ・IT業界全体でも、AIの能力を過信してシステムの安全性を軽視する傾向が見られる ・これをAI psychosisと呼んで危惧する専門家の声が上がっている ・metaの広告ビジネス自体はAIの恩恵を受けて過去最高の収益を上げている ・だが、その基盤を支える組織を自ら破壊しているのは皮肉 ・エンジニアを単なるコストとみなす現在の経営体制が続く限り、優秀な人材の流出は避けられない ・他のテクノロジー企業にとっては絶好の狩場となっている

モデル自身に長い文章の中から使えそうな部分を選ばせてから、その部分だけで一時的に学習させる手法をMeta AIとバージニア大学が発表した(https://arxiv[.]org/html/2607.09415v1)。 近年のLLM(大規模言語モデル)は数十万トークンの長文を一度に読めるようになったが、扱える入力の長さ(コンテキストウィンドウ)を広げるだけでは長文を有効に使えるとは限らない。入力が長くなるほど正解率が下がる現象が知られていて、質問に関連する証拠を見つけて使う能力がボトルネックになっている。 有望な解決策がテスト時学習(TTT、Test-Time Trainingの略)だ。答える前にテスト入力そのものを訓練データとしてモデルの重みを一時的に更新する手法で、長文脈タスクとの相性が良いとされてきた。ただし長文脈全体を学習に使うのは計算コストが高く、ランダムに抜き出した断片を使うと無関係な情報がノイズになる。 著者らはLLMの長文読解力を測るベンチマーク「LongBench-v2」で診断実験を行い、興味深い結果を得た。ランダムな断片で学習させるとベースモデルの正解率40.4%が38.9%まで下がる一方、正解を教えられたうえで判断するGPT-5.5が選んだ「本当に必要な部分」だけで学習させると45.9%まで伸びた。TTTの効果は学習させる部分の質に強く依存している。 これを受けて提案されたのがSelf-Guided TTT(S-TTT)だ。2段階構成で、まずモデル自身に長文脈の中から質問に関連しそうな部分を原文のまま抜き出させ(Stage 1)、その部分だけを使って次単語予測(次にくる単語を当てさせる、通常のAI学習と同じ方式)で一時的に学習させる(Stage 2)。最終的な回答生成は元の文脈全体を見て行う。 Qwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方で検証したところ、ベースモデルは一貫して上回り、ランダムに断片を選ぶ手法や文脈全体を使う手法など既存のTTT手法に対しても総じて上回るか同等の成績を残した。最大では15%の相対的な改善を達成している(Qwen3-4B-Thinking-2507、LongBench-v2の64k〜128kトークン帯域で正解率30.7%→35.3%)。 パープレキシティ(次単語の予測しにくさ)やエントロピー(予測の不確実性)が高い部分を選ぶより、モデル自身が「質問に関連しているか」で選ぶ方が明確に優れていた点も興味深い。難しい部分を学ばせればいいわけではなく、質問との関連性を見極める判断力そのものが効いているらしい。

香港大学や中国人民大学など国際共同チームが、LLMの内部を脳のように機能地図化する手法NeuroCogMapを発表した(https://arxiv[.]org/html/2607.00397v1)。 これまでの解釈可能性研究は、個々のニューロンを追う局所的な手法か、埋め込み全体を見る大域的な手法のどちらかに偏りがちだった。NeuroCogMapは認知神経科学のfMRI研究を手本に、脳を機能ごとの領域に分割するのと同じ発想でLLMを解剖する。モデル内部の活性化をスパースオートエンコーダ(SAE、多義的なニューロンをより解釈しやすい特徴量に分解する手法)で抽出し、似た反応パターンの特徴量同士をクラスタリングして「パーセル」と呼ぶ機能単位を作る。分割数を10から300まで試して270個で品質スコアが最大になり、さらに5,683本のLLM関連論文から抽出した45種類の認知能力に紐づけ、知覚、表象、抽象化、応用という4階層のヒエラルキーにまとめ上げた。Gemma2-2B、Gemma2-9B-IT、Llama-3.1-8Bの3モデルで検証し、この構造がモデルをまたいである程度共通していることも示している。 このマップの面白さは病理診断に使える点。正常な応答と失敗した応答をパーセル活性化や回路のつながり方で比較し、ハルシネーション、社会的バイアス、拒否失敗(有害な指示を拒めない)、迎合(sycophancy)という4つの失敗の内部の違いを可視化した。とくにハルシネーションは単一の原因ではないと示した点が興味深い。誤解を誘う前提を含むTruthfulQAでは怪しい情報を検証する高次の評価制御が働かず連想的な検索が暴走することが原因だったのに対し、単純な事実質問のNQ-Openでは事実検索を担う複数のパーセル同士の連携が崩れることが原因だった。同じ嘘でも内部で起きていることは別物というのが興味深い。 このシグネチャは検出や介入にも使える。ハルシネーション検出はGemma2-2Bで平均AUROC(検出精度を0から1で表す指標、1に近いほど高精度)0.681、Gemma2-9B-ITで0.840を達成しSelfCheckGPTなど既存手法を上回った。拒否失敗の検出はさらに強力で、AdvBenchとJBB-Behaviorsで平均AUROC0.990から0.992とほぼ天井に近い。さらに検出したパーセルをsteering(内部活性化を強制的に増減させる介入)で操作し、Gemma2-2BのAdvBenchでの拒否成功率を38.3%から98.6%まで押し上げることにも成功した。 もう一つの軸が人間の脳との対応。物語の朗読を聞かせたときの脳活動を記録したLeBelのfMRIデータを使い、パーセル活性化から皮質の血流反応(BOLD信号)を予測させたところ、Word2VecやBERTなど既存の言語特徴量より高い予測精度を示した。特に精度が高かったのは意味統合や注意制御を担うDefaultネットワークやFrontoparietal Controlネットワークといった高次の連合野で、対応するパーセルの機能説明も脳領域の認知プロファイルと意味的に近かったという。 内部シグネチャを古典的な意思決定モデルの改良に使う実験も行っており、二段階の意思決定課題でLLMのパーセル構造から見えた潜在戦略を組み込むと、既存モデル(AIC268.77)や行動データのみから発見したモデル(268.73)よりも低いAIC(値が小さいほど当てはまりが良いとされる指標、262.45)を達成した。 個々のニューロンでも埋め込み全体でもない中間スケールで解釈するという発想が、診断・介入・脳との対応・認知モデリングまで一気通貫でつながっているのが野心的だと思う。