注册并分享邀请链接,可获得视频播放与邀请奖励。

パウロ
@paurooteri
AI・半導体の技術・産業動向を独自調査・分析|noteで詳しく解説(ハイライトから)|講演・寄稿・技術解説・調査のご依頼はDMへ|投資助言・売買推奨は行いません
加入 February 2018
971 正在关注    92.9K 粉丝
おそらく強化学習の強度があがって All-Reduce系の通信に問題が出る懸念じゃないかな Rubinの行列演算とNVLinkについてScale-upのワールドサイズ増やした時にやっぱり12じゃないとキツかったのかも しかしこの辺はNCCLと学習ライブラリの最適化でも済む気がする
显示更多