注册并分享邀请链接,可获得视频播放与邀请奖励。

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
加入 January 2018
388 正在关注    2.8K 粉丝
LLMの重みを全体の0.05%未満ゼロにするだけで、全パラメータを更新する微調整に並んだという研究( Tuning」だ。 事後学習(事前学習済みモデルを用途に合わせる追加学習)では、全パラメータを動かすFFTも、小さな差分行列を足すLoRAも、重みの値を書き換える。Deletion Tuningは各ブロックの「gate projection」(MLP内で情報の流れを掛け算で絞る重み)について、どれを0にするかだけを学ぶ。重みごとにスコアを持たせ、学習が進むほど残すか消すかの二択へ近づける。 正解を自動判定できる報酬で鍛える強化学習(GRPO)では、Llama3-8B-InstructのGSM8K(算数の文章題)で83.55%、FFTは83.24%。混合エキスパートモデル(総30Bのうち一部の3Bだけが動く構成)のQwen3-30B-A3Bでも、数学6ベンチマーク平均で58.54%対58.43%だった。教師あり微調整(正解例をまねる学習)など別の方法でも、試した最大のモデルではFFTと同等になっている。 初期値には枝刈り手法Wandaの重要度を使うが、効いているのは学習のほうだ。Wandaで切っただけでは試した6モデルとも元から2.4ポイント以内の変化で、マスクを学習すると最大53.2ポイント伸びた。 実用面の利点はサイズと忘れにくさ。保存するのは圧縮したマスクだけで、Llama3-8Bでも8.4MB(FFTのチェックポイントは30633MB)。用途ごとにマスクを差し替えて1つのベースモデルを使い回せるので、個人や小さなチームと相性がいい。また、HellaSwagやMMLUなど既存6タスクの平均精度は学習中ずっと元から1ポイント以内だった。FFTは1.3〜3.1ポイント、LoRAやランダムな一部の重みだけ更新する手法は最大5.4ポイント下がっている。 注意点もある。小さいモデルではFFTの90〜99%にとどまる(Llama3.2-1BのGSM8Kは54.44%対60.50%)。学習時メモリはFFTより少ないがLoRAより多い。推論の高速化は狙っておらず、忘れにくさの測定は3サイズのLlamaでのGRPOに限られる。複数タスクを順に学ぶ継続学習は今後の課題だ。 新しい知識を書き足すより、すでにある経路を少し外して能力を引き出す。事後学習の一部は「足す」より「選ぶ」作業に近いのかも。
显示更多