TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Vincent
@Vincent_AINotes
AI
가입 November 2024
363
팔로잉 중
61.2K
팬
Vincent
@Vincent_AINotes
2026.11.13 05:16
手里有 Intel Arc 显卡的,可以试试新版 llama.cpp 了!刚合并的 Vulkan 优化,已经有人测出了接近 10 倍的性能提升😂 这次优化主要针对 Intel Arc/Xe 显卡的 Flash Attention Prefill,测试结果相当夸张。 拿 12GB 显存的 Arc B580 来说,运行 Gemma 4 E4B(Q4_K_M),在 16K Token 的 Prefill 测试中: 优化前:115.98 Token/s 优化后:1156.62 Token/s 同一张显卡,速度提升约 897%,达到原来的近 10 倍! 这次提升的是 Prefill,也就是模型读取和处理输入内容的速度。比如一次性输入大量代码、文档或聊天记录,模型处理这些内容所需的时间可能明显缩短。 显卡没换、显存没加、模型也没变,只是开发者优化了底层 Kernel,就让 Intel 显卡释放出了此前没有充分发挥的性能。 当然,接近 10 倍是特定测试结果,不代表模型逐字生成速度也提升了 10 倍。 这也说明,本地 AI 的性能瓶颈,有时候真不在硬件,而在软件生态。 以前一提本地大模型,大家首先想到 NVIDIA。现在 Intel 的底层优化也在逐渐跟上,老黄的 CUDA 护城河虽然还在,但竞争对手已经开始挖墙脚了😂
더 보기
0
0
6
9
1
커뮤니티로 전달
인기 있는 사용자
オリコンニュース
@oricon
2M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.7K 팬
TVer新着
@TVer_info
101.9K 팬
New York Post
@nypost
4.3M 팬
空空道人
@Kongkongda5882
41.3K 팬
Bloomberg
@business
10.5M 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
吴说区块链
@wublockchain12
182.3K 팬
中國新聞社
@CNS1952
550.2K 팬
モデルプレス
@modelpress
2.1M 팬
billboard
@billboard
16.8M 팬
MANTANWEB/毎日キレイ
@mantanweb
68.6K 팬
First Squawk
@FirstSquawk
579.8K 팬
Reuters
@Reuters
26.5M 팬
i-dle (아이들)
@official_i_dle
2.3M 팬