shi3z
@shi3z
ハッカー / テクニカルエンスージアスト / ギリア株式会社ファウンダー・顧問 / FreeAI ltd.共同創業者 / YouTubeチャンネル
Joined April 2007
1.7K Following 25.9K Followers
A100だとFP4が計算できないことがどうしてもボトルネックになるのだが、FP4って4ビットだから、計算結果をルックアップテーブルで持っても256種類しかないので512バイトで事足りる。これならL1キャッシュには余裕で入るのでそれで代替すればいいのではという話をしたら、「それもそうですね。それどころかAmpareにはINT4の計算機があるし精度劣化も起きません」と言われた。おい、AI、もうちょっとコンピュータのこと勉強しろ
Show more
