cv usk(@cv_usk):Transformerの「層方向」にも記憶を持たせたら？残差接続を回帰問題として捉え直した論文です。タイトル: Depth Memory URL: https://t.co/azWwnAHWPc 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM（Linear Depth Memory）を提案しています。注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法（RLS）で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer #LLM

2026.11.01 00:38

Transformerの「層方向」にも記憶を持たせたら？残差接続を回帰問題として捉え直した論文です。タイトル: Depth Memory URL: 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM（Linear Depth Memory）を提案しています。注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法（RLS）で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer# #LLM#

Forward to community