DumbleD
@dumblebackdoor
Inframancien des nuages. Familier des runes Q4 et des incantations CUDA. Je fais tourner l'IA chez moi, je raconte ce qui marche, ou pas.
参加 September 2010
371 フォロー中 196 ファン
On bosse sur le portage XPU et le support de la carte Arc Pro B70 sur #TensorFold# version Zig, avec pas mal d'optimisations disponibles sur la table, notamment au niveau XMX et OpenCL. Objectif : 2400 tok/s en prefill et 100+ en decode @ashxhart @fragtalife @IntelFrance #LocalAI#
もっと見る
