【THANKYOU】 2026.08.29 苫小牧 活性の火26 @activefire14 ▶️ WALK 2年ぶり2回目の活性の火 会場もルールも変わって、新たなスタートを一緒に切れたこと、誇りに思います！ みんなの声ちゃんと届いてました！ また活性で会おう！ 俺たちのホームにも遊びに来てね！

🧠 誤差逆伝播を使わない「生物学的に妥当な学習」が深いネットワークで失敗するのは、実は勾配のランク崩壊が原因でした。それを幾何学的な介入で解き、精度を1.4%から46.1%へ一気に引き上げた研究です。 タイトル: Overcoming Rank Collapse in Feedback Alignment URL: 📝 概要 フィードバックアラインメント（FA）は、誤差逆伝播に対する生物学的に妥当な代替手法です。順方向と同じ重みを逆方向にも使う「対称な重み転送」を必要とせず、固定のランダムなフィードバック重みで学習します。本論文は、FAが深い構造でスケールしない原因を「勾配のランク崩壊」と特定し、それを克服する手法を提案します。 ❓ 解決する課題 FAの誤差は、逆伝播に比べて著しくランクが低く、より低次元の部分空間に制約されてしまいます。このランク崩壊が、パラメータ空間の探索を大きく制限し、学習中に重みの整合（alignment）が進まなくなる根本原因でした。 💡 方法論と提案手法 勾配の次元性を高める、相補的な2つの機構を提案します。 ・Muonオプティマイザ：直交化に基づき、すべての特異値を1に設定します。モメンタム更新のスペクトルを平坦化し、これまで無視されていた方向を強調して、更新の幾何そのものを書き換えます ・バッチ正規化：隠れ層の活性を正規化して活性の直交性を促し、層をまたいで高次元の表現を維持します ・Muonは更新の幾何を均一化し、バッチ正規化は表現の次元性を保つ。両者を組み合わせると、学習を通じて豊かな学習方向が維持され、深いネットワークでもアラインメントが生まれます 🎯 ユースケース 逆伝播に依存しない学習や、脳に着想を得たニューロモルフィック計算、そして「最適化の軌跡の次元性」を扱う研究全般に役立ちます。 📊 実験結果 ・CIFAR-10・CIFAR-100・STL-10・Tiny ImageNetで、AlexNetとResNet-18を用いて評価しました ・CIFAR-100・ResNet-18では、ベースラインFAがわずか1.4%だったのに対し、FA+バッチ正規化で37.1%、FA+Muonで25.3%に向上しました ・FA+Muon+バッチ正規化で46.1%（バッチ正規化単独比で約9ポイント改善）を達成しました ・同様の改善が、すべてのデータセットとアーキテクチャで確認されました #DeepLearning# #Neuroscience#

今週のキタコイも 歌手の #小関舞# さんをゲストにお迎え🍀 今回の舞台は、冬には氷点下40度を 記録することもある旭川市・江丹別⛄ 手作りのブルーチーズをきっかけに ふるさとの活性化に奔走する男性に迫ります！ 放送は5/23(土)深夜0時28分～ ぜひご覧ください📺

「アーチェリーの町・雫石」実現へ🌈 ━ｖ━━━･･・ スポーツくじの助成金も活用して整備された、いわて雫石アーチェリーセンターの強みと地域活性化の取組みについて 雫石町の橘拓也さんに伺いました。 🔗記事 #GROWING# #スポーツくじ#

【理工】公共建築の新刊です🏫 『都市のような図書館をつくる』 学芸出版社 最近は付加価値のある図書館が増えており、今や街の活性化に欠かせない存在となっています。 「これからの」図書館づくりに携わられる方、図書館好きの方、おすすめいたします。 瀬戸内市民図書館も紹介されています✨

📌#杉並区プレミアム付商品券# を販売🎫 地域経済の活性化とキャッシュレス決済の利用が難しい高齢者等への生活支援を目的として、紙のプレミアム付商品券を販売します✨ ◎高齢者優先販売 ※優先購入券付のはがきを送付します。 ◎一般販売(販売可否は7/20以降に決定)