TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
가입 March 2025
689
팔로잉 중
11.5K
팬
Ren
@Ryrenz
2026.09.06 17:40
🔬 RadixArk 开源了一个专门干大模型后训练的强化学习框架 Miles,几千张卡的任务中途挂了也不用从头再来 GitHub 上两千六百多 star、四百多个 fork,v0.1 是今年 8 月刚发的。 做过大规模后训练的都知道最肉疼的是哪一下:一个任务连着跑好几天,推理引擎中间抽风一次,整个作业就得重启,几十小时的卡时直接打水漂。Miles 把这件事按住了,SGLang 引擎出问题时能原地恢复接着跑,不重启任务。 它的分工是 SGLang 扛高吞吐 rollout、Megatron-LM 扛可扩展训练,想轻装上阵也有一套基于 PyTorch FSDP2 的后端。中间那些隐形损耗它也一并收拾了:rollout 和训练之间不再来回 detokenize 和 retokenize,token 进 token 出;MoE 老大难的路由不一致,用 Rollout Routing Replay 压了下去。 再往上,MXFP8 和 NVFP4 这类低精度训练它支持,硬件从 NVIDIA 的 GB300、B200 一路吃到 AMD 的 MI355X,DeepSeek-V4、Kimi-K3、GLM-5.2 这些模型是发布当天就能训。项目本身是从 slime fork 出来的,LoRA 训完的适配器能直接扔给 SGLang 做 rollout,不用中间那道转换。 训大模型最贵的从来不是算力,是重跑一遍的那几天。 GitHub:
더 보기
0
0
0
3
0
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.2M 팬
オリコンニュース
@oricon
2M 팬
TVer新着
@TVer_info
101.4K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
257.9K 팬
空空道人
@Kongkongda5882
37.5K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
中國新聞社
@CNS1952
547.2K 팬
吴说区块链
@wublockchain12
182.1K 팬
First Squawk
@FirstSquawk
574.4K 팬
Reuters
@Reuters
26.4M 팬
モデルプレス
@modelpress
2M 팬
Bloomberg
@business
10.5M 팬
billboard
@billboard
16.8M 팬
MANTANWEB/毎日キレイ
@mantanweb
68.8K 팬
华尔街观察 Xtrader
@cnfinancewatch
135.1K 팬