가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Vincent
@Vincent_AINotes
AI
가입 November 2024
363 팔로잉 중    61.2K 팬
手里有 Intel Arc 显卡的,可以试试新版 llama.cpp 了!刚合并的 Vulkan 优化,已经有人测出了接近 10 倍的性能提升😂 这次优化主要针对 Intel Arc/Xe 显卡的 Flash Attention Prefill,测试结果相当夸张。 拿 12GB 显存的 Arc B580 来说,运行 Gemma 4 E4B(Q4_K_M),在 16K Token 的 Prefill 测试中: 优化前:115.98 Token/s 优化后:1156.62 Token/s 同一张显卡,速度提升约 897%,达到原来的近 10 倍! 这次提升的是 Prefill,也就是模型读取和处理输入内容的速度。比如一次性输入大量代码、文档或聊天记录,模型处理这些内容所需的时间可能明显缩短。 显卡没换、显存没加、模型也没变,只是开发者优化了底层 Kernel,就让 Intel 显卡释放出了此前没有充分发挥的性能。 当然,接近 10 倍是特定测试结果,不代表模型逐字生成速度也提升了 10 倍。 这也说明,本地 AI 的性能瓶颈,有时候真不在硬件,而在软件生态。 以前一提本地大模型,大家首先想到 NVIDIA。现在 Intel 的底层优化也在逐渐跟上,老黄的 CUDA 护城河虽然还在,但竞争对手已经开始挖墙脚了😂
더 보기