TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Vincent
@Vincent_AINotes
AI
Joined November 2024
363
Following
61.2K
Followers
Vincent
@Vincent_AINotes
2026.11.13 05:16
手里有 Intel Arc 显卡的,可以试试新版 llama.cpp 了!刚合并的 Vulkan 优化,已经有人测出了接近 10 倍的性能提升😂 这次优化主要针对 Intel Arc/Xe 显卡的 Flash Attention Prefill,测试结果相当夸张。 拿 12GB 显存的 Arc B580 来说,运行 Gemma 4 E4B(Q4_K_M),在 16K Token 的 Prefill 测试中: 优化前:115.98 Token/s 优化后:1156.62 Token/s 同一张显卡,速度提升约 897%,达到原来的近 10 倍! 这次提升的是 Prefill,也就是模型读取和处理输入内容的速度。比如一次性输入大量代码、文档或聊天记录,模型处理这些内容所需的时间可能明显缩短。 显卡没换、显存没加、模型也没变,只是开发者优化了底层 Kernel,就让 Intel 显卡释放出了此前没有充分发挥的性能。 当然,接近 10 倍是特定测试结果,不代表模型逐字生成速度也提升了 10 倍。 这也说明,本地 AI 的性能瓶颈,有时候真不在硬件,而在软件生态。 以前一提本地大模型,大家首先想到 NVIDIA。现在 Intel 的底层优化也在逐渐跟上,老黄的 CUDA 护城河虽然还在,但竞争对手已经开始挖墙脚了😂
Show more
0
0
6
9
1
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959.2K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
First Squawk
@FirstSquawk
579.8K Followers
Binance
@binance
16.1M Followers
LiveSquawk
@LiveSquawk
504.3K Followers
Serenity
@aleabitoreddit
1.1M Followers
ClaudeDevs
@ClaudeDevs
834.7K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
348.7K Followers
TheStreet
@TheStreet
1.2M Followers
The Wall Street Journal
@WSJ
22.3M Followers
Boris Cherny
@bcherny
641.8K Followers
Thariq
@trq212
405.5K Followers
New York Post
@nypost
4.3M Followers