🎉GLM-5.3-Flash 实测也来了，依然是上次的 4 张 141 GB H20配置，分别跑通 SGLang 和 vLLM，使用官方 FP8 权重、BF16 KV Cache、近 1M 上下文的实测 1. 短请求测试：SGLang 1 并发 74.7 token/s，32 并发 847.1 token/s；vLLM 分别为 107.7、1156.9 token/s 2. 运行环境：SGLang 功能验证更加完整，已接入 OpenWebUI；vLLM 使用专用预览镜像，测试时主仓支持尚未合入。本轮均关闭 MTP 3. 官方 FP8 权重 62 个分片，合计约 328 GB，每卡权重显存约 75 GiB；SGLang 权重加载耗时 130.59 秒，vLLM 最慢 Rank 耗时 365.69 秒 4. 两套引擎均通过近 1M 上下文请求和大海捞针测试，104 万 Token 输入的冷缓存首 Token 延迟分别为 167.69 秒、160.96 秒；本次没有复现 SGLang 社区 262K 边界崩溃的问题

本地LLM封神！Ollama让云端大模型下岗 🔥 还在为ChatGPT贵+慢+泄密烦恼？ Ollama 直接把大模型搬回家！ GitHub 17.1万星，本地AI的Docker！ 3分钟安装： curl -fsSL | sh ollama run qwen3 2026推荐： • 8GB内存 → Qwen3 4B / Phi-4 • 16GB+ → Qwen3 8B（中文最强） • 24GB+ → Qwen2.5-Coder 32B（接近GPT-4o） 核心优势： 1、完全离线 2、隐私安全 3、零成本 4、接VSCode / OpenWebUI超丝滑 官网： GitHub：

很多人都在找好用的 AI。 但真正能提升效率的，往往不是模型，而是工具。 Open WebUI 就是我最近觉得特别值得收藏的一个 GitHub 项目。 GitHub 已经拿下 10 万多 Star，热度一直很高。 它支持接入 Ollama、本地大模型，也支持 OpenAI、Claude、Gemini、DeepSeek 等各种兼容 API。 不管是本地模型还是云端模型，都可以统一管理，不用每天来回切换。 我觉得它最大的价值，不只是聊天。 而是把 AI 真正变成了一个工作平台。 可以保存常用 Prompt、上传知识库、管理不同项目，还支持多人协作。 如果有一点动手能力，还能部署到自己的服务器，数据也更可控。 现在很多人用 AI，还是打开网页问一句、复制一段、再粘贴回来。 但效率更高的方式，是搭建属于自己的 AI 工作流。 Open WebUI 就是很多开发者和重度 AI 用户都在用的工具。 如果你每天都会用 AI，这个 GitHub 项目值得点个 Star。 #AI# #GitHub# #OpenSource# #OpenWebUI#