DumbleD
@dumblebackdoor
Inframancien des nuages. Familier des runes Q4 et des incantations CUDA. Je fais tourner l'IA chez moi, je raconte ce qui marche, ou pas.
加入 September 2010
371 正在關注 196 粉絲
On bosse sur le portage XPU et le support de la carte Arc Pro B70 sur #TensorFold# version Zig, avec pas mal d'optimisations disponibles sur la table, notamment au niveau XMX et OpenCL. Objectif : 2400 tok/s en prefill et 100+ en decode @ashxhart @fragtalife @IntelFrance #LocalAI#
顯示更多
