Gorden Sun
@Gorden_Sun
只发AI相关信息，个人维护的AI资讯日报（已连续日更3年）👇
加入 August 2013
1.7K 正在关注 67.4K 粉丝
Azure刷新LLM训练纪录：7分钟训练完405B模型
128个机柜，2048个GB200节点，8192张显卡，7分钟训练完成Llama 3.1 405B。
使用的设施名叫Fairwater，训练负载分成四个并行维度——张量并行(Tensor Parallel)、上下文并行(Context Parallel)、流水线并行(Pipeline Parallel)和数据并行(Data Parallel)，各自使用不同的通信模式。通信延迟能重叠的重叠，必须等的压缩到极限。
博客：
显示更多
