DumbleD
@dumblebackdoor
Inframancien des nuages. Familier des runes Q4 et des incantations CUDA. Je fais tourner l'IA chez moi, je raconte ce qui marche, ou pas.
Joined September 2010
371 Following 196 Followers
On bosse sur le portage XPU et le support de la carte Arc Pro B70 sur #TensorFold# version Zig, avec pas mal d'optimisations disponibles sur la table, notamment au niveau XMX et OpenCL. Objectif : 2400 tok/s en prefill et 100+ en decode @ashxhart @fragtalife @IntelFrance #LocalAI#
Show more
