【 #MindaRyn# 】 新曲デジタルリリース‼️ Your delta 🎧 アーケードカードゲーム 『機動戦士ガンダム #アーセナルコマンダー# ver.β』テーマソング 疾走感のあるロックナンバー！ たくさんお聴きください⚡️ @gundam_ab

MindLabとFudan大学が「LongStraw」という手法を発表した（https://arxiv[.]org/pdf/2607.14952）。GPUの台数を増やさずに、210万トークンを超える長い文脈で強化学習の事後学習(RL post-training、学習済みモデルをさらに強化学習で仕上げる工程)を回せるようにする実行方式。 背景にはギャップがある。推論(学習済みモデルを動かして応答を作る段階)のcontext長は100万トークン級に近づいているのに、事後学習は256Kトークン以下にとどまりがち。AIエージェントは観察結果やツールの出力、それまでの判断を溜め込みながら動くため、この差が特に効いてくる。 原因はGRPO(複数の応答をグループ内で相対比較して学習する強化学習の手法)特有の事情。同じ長いプロンプトに対して複数の応答をスコアリングし逆伝播する必要があるため、プロンプト分と応答分の計算グラフを同時にGPUメモリへ抱え込んでしまう。LongStrawは共有プロンプトを最初に1回だけ勾配計算なしで評価し、あとで必要になる状態だけを残す。そのうえで短い応答を1本ずつ勾配ありで組み立てては逆伝播後すぐ解放し、次の応答に進む。プロンプトと全応答を同時に抱えなくてよくなる代わりに、再生の分だけ処理時間は増える。 これを構造の異なる2つのモデルに実装している。再帰的に状態を更新する層(GDN)と通常のattention層を組み合わせたQwen3.6-27Bでは、8台のH20 GPUだけで約210万トークンの文脈をグループサイズ2および8で処理でき、グループサイズを2から8へ4倍にしてもピークメモリはわずか0.21GB(0.213%)しか増えない。別のストレステストでは約446万トークン(4,456,448)まで到達した。KV情報を圧縮して保持するMLAと、限られた候補だけに注意を絞る疎attention(DSA)を組み合わせ、専門家混合(MoE)も使うGLM-5.2でも、32台のH20 GPUで約210万トークンの文脈を全78層にわたって処理できることを確認している。 面白いのは「動いた」ことと「正しく学習できる」ことをはっきり切り分けて報告している点。プロンプト側の勾配はあえて切り離している。Qwenは複数GPU間で、注意機構の鍵と値にあたるK/Vに由来する勾配の同期が、追加学習パラメータ(LoRA)については完了していない。GLMも疎attentionの候補選択が各GPU内で閉じたままになっている。論文自身が、これは実行できたことの証拠であって正しい分散学習の証明ではないとはっきり書いていて、GPUを増やすスケールアウトの路線とは逆に、決まった台数でどこまで粘れるかを検証しつつ限界も隠さず書いている姿勢に好感が持てる。

MindaRynちゃんと一緒に！ TVアニメ『涼宮ハルヒの憂鬱』 God knows... / 平野綾 歌わせていただきました🎸💙 初コラボ嬉しかった〜ッッ 会場や配信で楽しんでくださった皆さんの想いも届いて幸せでした！叫んでくれてありがとうございます！ #LantisDAYZ#

【Suchmos】 𝐓𝐡𝐞 𝐁𝐥𝐨𝐰 𝐘𝐨𝐮𝐫 𝐌𝐢𝐧𝐝 𝐓𝐎𝐔𝐑 𝟐𝟎𝟐𝟔 　✨本日ツアーファイナル✨ タワーレコード限定!! 対象商品をご購入の方に先着で謹製スマホサイズステッカー(NO MUSIC, NO LIFE.絵柄)をプレゼント🎁 🔻映像作品&音楽作品も対象です✔️ #Suchmos#

『売野雅勇 MIND CIRCUS RADIO SHOW 2024』1日目にFANCYLABO(ファンシーラボ)も出演させて頂きました❤️ ありがとうございました🥰 売野先生が作詞してくださった『Sugar Sugar』配信中です❣️ 今日のライブで気になって下さった方は是非たくさん聴いてください✨