TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
392
正在關注
2.6K
粉絲
Itaru Tomita / 冨田到
@itarutomy
2026.06.21 08:32
ニューラルネットワーク(NN)が「群演算(group composition)」を学ぶとき、内部で何が起きているかを初めて数学的に証明した(https://arxiv[.]org/abs/2606.02993)。 群とは整数の加算やモジュラー算術(時計算術、例として x+y mod 12)のような代数構造のこと。g₁⋆g₂ を予測する2層NNを訓練すると、各ニューロンは「既約表現(irreducible representation = 群の最小スペクトル単位で、フーリエ変換の基底に相当するもの)」に確率1で収束することが証明された(Theorem 4.3)。 興味深いのはその「選ばれ方」で、ランダム初期化のタイミングで偶然わずかに優勢だった既約表現が「ロッタリーチケット」として勝ち残り、他の候補は指数的に消えていく。どの表現が選ばれるかは初期化の「籤」で決まる。 アーベル群(足し算のように a⋆b=b⋆a が成り立つ可換な群)では完全な証明が得られた(Theorem 5.1, 5.3)。各ニューロンが学ぶ周波数は全体で均一に分散し、入力層と出力層のフーリエ位相が加法的に揃う(位相アライメント)。両プロセスとも指数収束速度で発生する。 実験はアーベル群 Z₃⊕Z₅(15元素、1024ニューロン)と非アーベル群のフロベニウス群 C₇⋊C₃(21元素)で検証済み。どちらも理論通りの挙動を確認した。 mechanistic interpretability(NNの内部を逆エンジニアリングする研究分野)で「単一周波数への特化」と呼ばれていた現象が、実は群論の表現論的構造そのものを発見していたことを示した研究。さらに「grokking(長い訓練後に突然テスト精度が跳ね上がる現象)」を Stage I(表現学習)→ Stage II(スケールが対数成長してsoftmaxを鋭化)という2段構えのダイナミクスとして説明できる理論的基礎にもなるかもしれない。
顯示更多
0
0
0
307
60
轉發到社區
熱門用戶
New York Post
@nypost
4.1M 粉絲
Reuters
@Reuters
26.3M 粉絲
一劍浣春秋
@chee828
0 粉絲
Hello! Project Link
@UpFrontLink
15.5K 粉絲
Pop Base
@PopBase
6.5M 粉絲
MLB
@MLB
13.6M 粉絲
First Squawk
@FirstSquawk
556.3K 粉絲
是你的KK
@KKLOVQ
212.1K 粉絲
オリコンニュース
@oricon
1.9M 粉絲
Forbes
@Forbes
20.3M 粉絲
Binance
@binance
16.1M 粉絲
Bitget中文
@Bitget_zh
109.7K 粉絲
JO KWON
@2AMkwon
976.9K 粉絲
モデルプレス
@modelpress
1.8M 粉絲
AB Kuai.Dong
@_FORAB
139.7K 粉絲