TMNETWORK🎤 ニューアルバム『QUANTUM』より 「Superposition」MVをYouTubeで公開 NHK『SONGS』でのテレビ初披露📺 12年ぶりとなる歌番組出演も話題に

【TM NETWORK】12年ぶり音楽番組で「Get Wild」ヒットの法則を深掘り！NHK『SONGS』初登場で「Superposition」も本邦初公開、鈴木亮平がメンバーの素顔に迫る　

「TM NETWORK」9月3日22時に放送されるNHK総合「SONGS」に出演。『逆襲のシャア』名曲「BEYOND THE TIME」を披露 名曲「Get Wild」の誕生秘話や、俳優・鈴木亮平さんからのメッセージも到着。「Get Wild Continual」「Superposition」なども演奏

もし1回のフォワードパスで、まったく別の2つの文章を同時に「読み進められる」としたら。 Transformerは自己注意やMLPといった強い非線形の塊です。だから2つの文脈を1つの入力に混ぜてしまえば、出力はどちらとも無関係などこかに潰れてしまう、というのが自然な直感でした。 ところがこの論文は、その直感を覆します。2つの文章のトークン埋め込みを単純に平均して1本の入力として与えても、出てくる次トークン分布には両方の文脈の情報がはっきり残っていたのです。Pythia・Llama・Qwenなど複数のモデルで確かめたところ、正解トークンが上位10位以内に入るケースが30〜40%、上位100位まで広げると60〜65%にも達しました。 さらに興味深いのは、この「重ね合わせ」能力が学習で獲得されるのではなく、初期化直後が最も強く、事前学習が進むほど単調に弱まっていくという発見です。つまりアーキテクチャに内在する性質であり、事前学習データのわずか0.025%未満というごく軽いファインチューニングだけで、大きく回復させることもできました。この性質を使い、著者らは1回のフォワードパスから2つの独立した文章の続きを同時に生成する誘導デコード手法まで提案しています。 タイトル: Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs URL: #LLM# #Transformer#