가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram: @necokeine 做Ait自娱自乐中:
가입 December 2017
801 팔로잉 중    641 팬
我很同意,我觉得在ds内不,工程老哥绝对是可以在模型训练上说得上话的。 ds 4.1F,处处都透露着工程狗的审美。 超大规模的EP集群,超小的kv cache,prefill只需要跑一半儿,工程狗当场看高潮了。
더 보기
🤡按照ds的做法,算法哥要和工程哥一起在训练阶段就考虑memory bound的问题,而且乐意为了效率指标优化性能方案。模型从底子上就是带着高效率目标存在的。kimi想改进,得重新从头换backbone再训练,我相信他们也是有做的。但是这个周期太长了,赶不上这种一个月一变的状态。
더 보기