TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Ren
@Ryrenz
🇺🇸 美国全栈程序员 💻 ⚙️ 整理小白能懂的优质 AI 教程 📚 📢 持续挖掘实用的 AI 提效方式 🤖 💰 分享我关于投资、副业、职场的思考 🧠 📝 开源我所有的内容创作与 AI 变现经验 📈
参加 March 2025
676
フォロー中
9.8K
ファン
Ren
@Ryrenz
2026.09.06 17:40
🔬 RadixArk 开源了一个专门干大模型后训练的强化学习框架 Miles,几千张卡的任务中途挂了也不用从头再来 GitHub 上两千六百多 star、四百多个 fork,v0.1 是今年 8 月刚发的。 做过大规模后训练的都知道最肉疼的是哪一下:一个任务连着跑好几天,推理引擎中间抽风一次,整个作业就得重启,几十小时的卡时直接打水漂。Miles 把这件事按住了,SGLang 引擎出问题时能原地恢复接着跑,不重启任务。 它的分工是 SGLang 扛高吞吐 rollout、Megatron-LM 扛可扩展训练,想轻装上阵也有一套基于 PyTorch FSDP2 的后端。中间那些隐形损耗它也一并收拾了:rollout 和训练之间不再来回 detokenize 和 retokenize,token 进 token 出;MoE 老大难的路由不一致,用 Rollout Routing Replay 压了下去。 再往上,MXFP8 和 NVFP4 这类低精度训练它支持,硬件从 NVIDIA 的 GB300、B200 一路吃到 AMD 的 MI355X,DeepSeek-V4、Kimi-K3、GLM-5.2 这些模型是发布当天就能训。项目本身是从 slime fork 出来的,LoRA 训完的适配器能直接扔给 SGLang 做 rollout,不用中间那道转换。 训大模型最贵的从来不是算力,是重跑一遍的那几天。 GitHub:
もっと見る
0
0
0
3
0
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
1.9M ファン
TVer新着
@TVer_info
100K ファン
ツイッター速報〜BreakingNews
@tweetsoku1
256.9K ファン
モデルプレス
@modelpress
2M ファン
New York Post
@nypost
4.1M ファン
一劍浣春秋
@chee828
231K ファン
AKB48公式
@AKB48_staff
289.5K ファン
空空道人
@Kongkongda5882
30.7K ファン
ファミ通.com
@famitsu
1.4M ファン
NMB48 Official
@nmb48_official
133.7K ファン
フレッシュ撮影会【公式】
@fresh_akiba
94.4K ファン
HKT48
@hkt48_official_
150.8K ファン
中國新聞社
@CNS1952
547.1K ファン
乃木坂46
@nogizaka46
2M ファン
SKE48
@ske48official
184.8K ファン