DDMTF(ダダ漏れトランスフォーマー)|TF専門レビューブログ更新！ ボットボッツアドベントカレンダー開けてくよ！（６）『グリムロック（ボットボッツ）』 #トランスフォーマー#

AIが「外部検索なし」でファクトを記憶・更新・忘却する時代が来ました。メモリをモデルに内蔵する新たなパラダイムが論文として公開されています。 タイトル: Metis: Memory Foundation Model 🔍 概要 現在のRAGなど外部メモリモジュールには、バックボーンとの分離・勾配伝播困難・推論レイテンシという3つの根本的限界があります。MetisはこれをTransformerブロック内に「ネイティブメモリ」として統合するアプローチで、Chain-of-ThoughtがLLMにネイティブに組み込まれたように、メモリも外部依存から解放しようとする研究です。 🛠 解決する課題と提案手法 2つのコアコンポーネントを導入します。ローカルメモリブロック（高密度メモリネットワークを推論ステップ間で指数移動平均更新）とハイパーメモリブロック（静的パラメータによるフォワードパスでのメモリ変換）です。4種のメモリ操作（Remember/Update/Forget/Reflect）を、バックグラウンドの勾配更新なしに順伝播計算だけで実行します。 📊 実験結果 コンテキストなし設定のMemOpsベンチマークで、Metis-27Bは24.76%を達成しました。 ・ベースライン Qwen3.5-27B（コンテキストなし）: 1.69% ・テスト時訓練 Temp-LoRA-27B: 9.70% ・パラメトリックメモリ δ-Mem: 4.38% 自社テストセットではReflect（マルチホップ推論）で93.44%、平均73.77%を達成。すべての比較手法を大幅に上回っています。 💡 実用的な意義 RAGの検索・ランキング・プリフィリングコストを回避しつつ、パラレル計算でメモリ操作を実行するため推論レイテンシを抑えられます。ポストトレーニングによるドメイン適応も可能で、コードとモデルチェックポイントはGitHub（MemTensor/Metis）とHuggingFaceで公開されています。 #LLM# #AIエージェント#

『ビーストウォーズII』の新・破壊大帝「ガルバトロン」がニューレジェンズシリーズに登場！ ドラゴン、戦車、そしてロボットへ。 各モードで全く異なるシルエットへとダイナミックに姿を変える、変形トイならではの醍醐味が詰まった圧倒的プレイバリューです！ ■予約価格 : ¥16,830（税込） ■ご予約受付中➡️ #ビーストウォーズ2# #Transformers# #トランスフォーマー#