TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
가입 January 2018
392
팔로잉 중
2.6K
팬
Itaru Tomita / 冨田到
@itarutomy
2026.06.18 04:28
LoRA(大きなモデルを固定したまま全体の1%未満のパラメータだけ追加学習する手法)の役割を根本から見直す論文(https://arxiv[.]org/abs/2606.02437)。 「安価な代替手法」ではなく、1つの巨大基盤モデルの上に何百万もの個人専用AIを並列で動かす基盤として再定義している。 最も具体的な示唆はこの比較だ。DS-Distill-Qwen-1.5Bをフルで学習(1.5B全パラメータ更新)するとAIME 2025の改善率は8.33%。一方でDS-Distill-Qwen-32BにLoRA rank-8(学習パラメータはわずか0.07B)をかけると20.61%。学習パラメータが1/20以下でも、強い基盤モデルの潜在能力を引き出す方が圧倒的に効率良い。 論文は3つの軸を整理する。 Scale Up(基盤モデルを強くする)では、Kimi K2(総パラメータ1.04兆・実行時32.6B)でLoRA強化学習を実現し、フルパラメータRLに比べGPU使用量を約10%に圧縮した。 Scale Down(アダプタを小さくする)では rank 16〜32が実用デフォルト。rank 1〜4は成果は出るが不安定な研究フロンティア。 Scale Out(多数の個人モデルを並存させる)では198個のLoRAバリアントで多数決をとるとAIME24の正答率が0.3644から0.4867に上昇。個人モデルの多様性が集合知として機能する。 Qwen3-235B + rank-32 LoRAでALFWorld(言語で指示する家事ロボットベンチマーク)スコアが0.646から0.845に改善し、LoRAが「事実の暗記」でなく「スキルの定着」として動くことも示した。 1つの共有モデルが何百万人分の「記憶・習慣・スキルを持つ個人AI」を支えるという絵が、現実のインフラの話として出てきた。
더 보기
0
0
3
166
29
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.1M 팬
Reuters
@Reuters
26.3M 팬
Hello! Project Link
@UpFrontLink
15.5K 팬
オリコンニュース
@oricon
1.9M 팬
一劍浣春秋
@chee828
0 팬
Pop Base
@PopBase
6.4M 팬
JO KWON
@2AMkwon
976.9K 팬
First Squawk
@FirstSquawk
556.2K 팬
MLB
@MLB
13.6M 팬
モデルプレス
@modelpress
1.8M 팬
銀璃 Silverluri🪶
@Silverluri
0 팬
루아(RUA/露雅)🍀
@Ru_a09
40.9K 팬
Nari✨나리땽
@nariddyang
277.4K 팬
CNN
@CNN
61.8M 팬
「승리의 여신: 니케」 x 「P3R」, 「P4G」, 「P5R」 콜라보 진행 중
@NIKKE_kr
79.5K 팬