TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
参加 March 2025
689
フォロー中
11.5K
ファン
Ren
@Ryrenz
2026.09.06 17:40
🔬 RadixArk 开源了一个专门干大模型后训练的强化学习框架 Miles,几千张卡的任务中途挂了也不用从头再来 GitHub 上两千六百多 star、四百多个 fork,v0.1 是今年 8 月刚发的。 做过大规模后训练的都知道最肉疼的是哪一下:一个任务连着跑好几天,推理引擎中间抽风一次,整个作业就得重启,几十小时的卡时直接打水漂。Miles 把这件事按住了,SGLang 引擎出问题时能原地恢复接着跑,不重启任务。 它的分工是 SGLang 扛高吞吐 rollout、Megatron-LM 扛可扩展训练,想轻装上阵也有一套基于 PyTorch FSDP2 的后端。中间那些隐形损耗它也一并收拾了:rollout 和训练之间不再来回 detokenize 和 retokenize,token 进 token 出;MoE 老大难的路由不一致,用 Rollout Routing Replay 压了下去。 再往上,MXFP8 和 NVFP4 这类低精度训练它支持,硬件从 NVIDIA 的 GB300、B200 一路吃到 AMD 的 MI355X,DeepSeek-V4、Kimi-K3、GLM-5.2 这些模型是发布当天就能训。项目本身是从 slime fork 出来的,LoRA 训完的适配器能直接扔给 SGLang 做 rollout,不用中间那道转换。 训大模型最贵的从来不是算力,是重跑一遍的那几天。 GitHub:
もっと見る
0
0
0
3
0
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
TVer新着
@TVer_info
101.4K ファン
ツイッター速報〜BreakingNews
@tweetsoku1
257.9K ファン
New York Post
@nypost
4.2M ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
モデルプレス
@modelpress
2M ファン
Nia|女優
@iamnianearyou
178.2K ファン
空空道人
@Kongkongda5882
37.4K ファン
ファミ通.com
@famitsu
1.4M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.8K ファン
cv usk
@cv_usk
434 ファン
吴说区块链
@wublockchain12
182.1K ファン
中國新聞社
@CNS1952
547.2K ファン
一劍浣春秋
@chee828
232.6K ファン
4Gamer
@4GamerNews
735.1K ファン