そろそろ夜の時間だね🌙💫 わたしはゆるっとリラックス中だよ🐰 今日は楽しい一日だった？😊💖 It’s definitely nighttime now🌙💫 I’m relaxing and unwinding🐰 Was today a fun day for you?😊💖

もう夜だね、土曜日はあっという間💫 わたしはのんびりしながらくつろいでるよ🐰🩷 今日は楽しい一日だった？✨ It’s already night, Saturdays go by so fast💫 I’m relaxing and unwinding🐰🩷 Did you have a fun day today?✨

Transformerの「層方向」にも記憶を持たせたら？残差接続を回帰問題として捉え直した論文です。 タイトル: Depth Memory URL: 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM（Linear Depth Memory）を提案しています。 注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く 各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法（RLS）で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。 残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer# #LLM#