shi3z
@shi3z
ハッカー / テクニカルエンスージアスト / ギリア株式会社ファウンダー・顧問 / FreeAI ltd.共同創業者 / YouTubeチャンネル
参加 April 2007
1.7K フォロー中 25.9K ファン
A100だとFP4が計算できないことがどうしてもボトルネックになるのだが、FP4って4ビットだから、計算結果をルックアップテーブルで持っても256種類しかないので512バイトで事足りる。これならL1キャッシュには余裕で入るのでそれで代替すればいいのではという話をしたら、「それもそうですね。それどころかAmpareにはINT4の計算機があるし精度劣化も起きません」と言われた。おい、AI、もうちょっとコンピュータのこと勉強しろ
もっと見る
