TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
Joined March 2025
696
Following
12.1K
Followers
Ren
@Ryrenz
2026.09.13 07:06
🧠 震惊,vllm 这个开源项目基本是半个 AI 圈跑大模型推理的底座,GitHub 直接冲到 9.1 万 star 登顶封神。 它最早是加州大学伯克利分校 Sky Computing Lab 做出来的,现在贡献者超过 2000 人。 你要把一个开源大模型部署成能对外服务的接口,用原生的推理脚本很快就会遇到显存爆掉、并发一高就卡死的问题。vllm 靠 PagedAttention 这套显存管理,把注意力缓存切成小块按需分配,配上连续批处理和前缀缓存,同样的显卡能扛住高得多的吞吐。 它给的接口还兼容 OpenAI 的 API,连 Anthropic 的 Messages API 都支持,Qwen、Llama、DeepSeek-V3 这些主流模型换一行地址就能接上。 PagedAttention 那篇论文还进了 2023 年的 SOSP,可以说这波大模型部署的效率是它带起来的。 GitHub:
Show more
0
0
0
0
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
958.7K Followers
First Squawk
@FirstSquawk
579.5K Followers
Serenity
@aleabitoreddit
1.1M Followers
Binance Wallet
@BinanceWallet
2.8M Followers
LiveSquawk
@LiveSquawk
504K Followers
CNBC
@CNBC
6.3M Followers
New York Post
@nypost
4.3M Followers
Seeking Alpha
@SeekingAlpha
347.9K Followers
Binance
@binance
16.1M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
ClaudeDevs
@ClaudeDevs
827.1K Followers
*Walter Bloomberg
@DeItaone
2M Followers
Reuters
@Reuters
26.5M Followers