shi3z
@shi3z
ハッカー / テクニカルエンスージアスト / ギリア株式会社ファウンダー・顧問 / FreeAI ltd.共同創業者 / YouTubeチャンネル
加入 April 2007
1.7K 正在關注 25.9K 粉絲
A100だとFP4が計算できないことがどうしてもボトルネックになるのだが、FP4って4ビットだから、計算結果をルックアップテーブルで持っても256種類しかないので512バイトで事足りる。これならL1キャッシュには余裕で入るのでそれで代替すればいいのではという話をしたら、「それもそうですね。それどころかAmpareにはINT4の計算機があるし精度劣化も起きません」と言われた。おい、AI、もうちょっとコンピュータのこと勉強しろ
顯示更多
