Transformerの「層方向」にも記憶を持たせたら？残差接続を回帰問題として捉え直した論文です。 タイトル: Depth Memory URL: 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM（Linear Depth Memory）を提案しています。 注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く 各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法（RLS）で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。 残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer# #LLM#

🔑 `.env`に埋め込んだAPIキーは、エージェントが「何をできるか」は教えてくれても、「誰が頼んだのか」は決して教えてくれません。全ユーザーが同じボットアカウントを共有していれば、GitHubのIssueも社内チケットも、誰が実際に作業したのか記録に残らないのです。 キーのローテーションのたびにコードを直して再デプロイし、OAuthを使いたければ認可URL・トークン保存・リフレッシュ処理・同意画面まで自前で組む必要がありました。そんな地味だけれど重くのしかかる「配管作業」を、LangChainのManaged Deep Agentsが新機能Connectionsで肩代わりしてくれます。 認証情報を「エージェント所有（全員共有）」か「ユーザー所有（呼び出し元ごとに解決）」かで分け、静的なAPIキーとOAuthグラントの両方に対応。Web検索のような共通機能は共有キーで済ませつつ、GitHub連携ではユーザーごとに実際の権限とアカウント名でアクセスさせ、Issue作成者にも本人の名前が記録されるようになります。 Connections: Managed credentials and per-caller identity for Managed Deep Agents 認証情報の管理と「誰が呼んだか」を切り分けるこの発想が、エージェント開発の面倒なOAuth配管をなくしてくれそうです。 #AIエージェント# #LangChain#

SOUND CONNECTION -Mirroring Lights- ありがとうございました🌟 セットリストはこちら‼︎ バンドメンバー🎸 Gt.西田修大 Ba.越智俊介 Key.渡辺翔太 Dr.大井一彌 Cho.ゆかんぬ ダンサー💃 REiKA 葉月 神戸からスタートするAiNA THE END LIVE TOUR 2027のアイナ荘FC最速抽選先行も受付中です‼︎ ぜひ遊びに来てください🌹 #サウコネ# #SOUNDCONNECTION# #アイナジエンド#

SOUND CONNECTION -Infinity Echoes- w/ jo0ji @jo0ji3 PEOPLE 1's setlist 1. DOGLAND 2. 新訳:スクール!! 3. DALMATIAN 4. 怪獣 5. 113号室 6. 生活 7. 鈴々 8. 新訳:ハートブレイク・ダンスミュージック 9. メリバ 10. 金字塔 Enc. 銃の部品 feat. jo0ji photo by @renzomasuda

【#アイナ荘】# 「SOUND CONNECTION -Mirroring Lights- 出演を終えて」を《ムービー》に公開しました🌹 ご帰宅お待ちしております🏡 #サウコネ# #SOUNDCONNECTION# #アイナ荘ムービー# #アイナジエンド#