Quail - 在 Apple 芯片上运行 GGUF 与 MLX 模型的本地模型服务器 $ brew install --cask adatoo/tap/quail-ai 提供 OpenAI 和 Anthropic 兼容 API，可连接 Claude Code、Codex 等工具 👉

在本地 Mac Studio M3 Ultra 上，1-bit GLM-5.2 GGUF 以约 21.6 tok/s 的速度运行，表现出色。我们将其与 Claude 4.8 Opus 和 GPT-5.5 进行了同样的提示对比，一探三者在一轮输出中的差异。 各自的优劣势如何，你更倾向于哪款模型的输出？

想把 LLM 也放到本地，可以先启动 llama.cpp： llama-server -hf ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full 然后把 speech-to-speech 的 LLM 地址指向： 这样才算比较完整的本地语音 Agent

推荐这个测试，Unsloth 对 Kimi K3 的极端量化。 一个 2.8T 参数的模型，压到几百 GB 仍保留大部分准确率。 Unsloth 团队在 7 月 29 日发布了 Kimi K3 的 GGUF 量化版本，并给出了 1-bit 和 2-bit 量化的实测数据。这是目前第一个对 2.8T 参数模型做极端量化的公开结果。 量化效果 | 精度 | 大小 | 准确率 | 对比全精度 | |------|------|--------|-----------| | 全精度 (MXFP4) | 1.56 TB | 100% | — | | Q8 | ~1.6 TB | lossless | — | | Q4 | ~1.1 TB | — | — | | Dynamic 2-bit | 861 GB | ~90% | 45% 更小 | | Dynamic 1-bit | 594 GB | ~78.9% | 62% 更小 | 关键数字：Dynamic 2-bit 在 861 GB 下达到约 90% 准确率，比全精度小了 45%。 即使压到 1-bit（594 GB），仍保留约 78.9% top-1 准确率。 实际意义 594 GB 意味着什么？NVIDIA DGX Station 或多台 Mac Studio 串联 128GB RAM 设备可以运行。Unsloth 团队还在尝试把 1-bit 版本压到 512 GB 以下。 通过 Unsloth Studio 或 llama.cpp 直接加载。 Benchmark 对比 Unsloth 同时给出了官方 benchmark 数据作为参考系：Kimi K3 的 Terminal-Bench 2.1 (88.3) 与 GPT-5.6 Sol (88.8) 几乎持平，BrowseComp (91.2) 超过 Fable 5 (88.0) 和 Sol (90.4)。GPQA Diamond (93.5) 仅次于 Sol (94.1)。 模型： 文档： #KimiK3# #Quantization# #GGUF#

💬 AI 画图的提示词外挂 PromptEnhancer：把你随手写的一句话，改写成生图模型真正听得懂的提示词。 PromptEnhancer 来自腾讯混元团队，GitHub 上 3700+ star，对应论文 arXiv 2509.04545。 用过文生图的都有体会：脑子里画面很清楚，写出来一句话，出的图却总差点意思，只好一遍遍加形容词碰运气。PromptEnhancer 专干改写这件事，用思维链把你的描述展开补全，同时守住原本的主体、动作、风格和布局，不会改着改着跑题。 图生图也能用，你说"把背景换成雪天"，它先把这句编辑指令理顺再交给模型。7B 版本内存 8GB 以上就能跑，32B 还有 GGUF 量化版，最小约 20GB。 会描述画面就够了，提示词交给它。 GitHub：

🏎️ 太顶了，手头那台大内存 Mac 现在能在本地直接跑 DeepSeek V4，靠的是 DwarfStar 这个新的推理引擎。 GitHub 上 2.2 万 star，仓库今年 5 月才建，四个多月涨到这个数，2205 个 fork、740 个 issue 还开着。项目由 Redis Labs 的 Salvatore Sanfilippo 主导。 本地跑大模型，卡住人的往往不是算力而是内存。想试完整版的 GLM 5.x，一看要求就放弃；换通用的 GGUF 运行器，为了兼容一大堆模型，什么都能跑但什么都不够顺。DwarfStar 反着来：范围故意收窄，只伺候少数几个模型——DeepSeek V4 Flash 和 V4.1 Flash、V4 PRO，GLM 5.2、5.3 和 5.3 Flash，还有 Qwen3.8 Flash Next，代码自成一体，也只认自己生成的 GGUF 文件。 省下来的力气全花在把硬件榨干上。96GB 以上的 Mac 是主要目标，CUDA 那边主打 DGX Spark，还照顾了一些别的后端搞不定的多卡机器；内存不够就走 SSD 流式加载，128GB 的机子靠这招能跑完整版的 GLM 5.x；两台 128GB 的 Mac 用 RDMA 连起来还能张量并行跑 4-bit 的 DeepSeek Flash。八张 L40S 的配置上，16 个会话一起压，跑出了大约 126 t/s 的聚合生成速度。 还有个细节有意思：这引擎本身是作者带着 AI 编程 agent 写出来的，人负责定思路、测试和调试。目前还是 beta 质量，版本变得很快，每次发布前作者会跑一轮比较大的 QA，但不稳定和回归仍然可能出现，上正事之前自己先测一轮。 自己家里那台机器，头一回有资格谈“跑得起旗舰模型”。 GitHub：

⚡ 一个二进制文件跑本地大模型，还给你 OpenAI 风格的接口 GitHub 上 5.7K stars，Rust 写的 本地跑模型最劝退的是环境：装 Python、配 CUDA、编译推理后端，一套下来两小时，换台机器再来一遍。 Shimmy 把这些压成一个单二进制：直接加载 GGUF 模型文件，起来就是 OpenAI 风格的 API 端点，原本调云端的代码改个地址就能用。2.0 版本把 llama.cpp 后端移除了，改用自研的 Airframe WebGPU 推理引擎，Rust 加 WGSL 实现。 模型覆盖上，项目列了 11 个模型家族和 25 种已认证的模型与量化组合，Q4_0、Q4_K_M、Q5_K_M、Q6_K 这些常见量化格式都在。还支持 YaRN RoPE 扩展上下文和 INT4 KV 缓存量化，显存紧张的机器能多撑一会儿。 本地推理这件事，越简单的方案活得越久。 GitHub：

🖌️ 百度把自家的文生图模型开源了，权重直接放出来 80 亿参数的单流扩散 Transformer，GenEval 总分 0.8856 国内能拿到开放权重的文生图模型本来就不多，能把中文长文本渲染好的更少。想在图里放一句中文标语，出来经常是缺笔画的字符。 ERNIE-Image 在这块的成绩不错，LongTextBench 中英文平均分拿到 0.9733。它放了两个版本：标准版推理 50 步、CFG 4.0，追求质量；Turbo 版经过 DMD 和强化学习优化，8 步、CFG 1.0 就能出图，快得多。 生态接得也够全：Diffusers 和 SGLang 支持调用部署，ComfyUI 有 Turbo 版工作流模板，Unsloth 能构建 GGUF 权重，AI-Toolkit 支持微调。Apache 2.0 协议。 模型开源这件事上，权重放出来才算数。 GitHub：

既然 Kimi K3 已经把开放 Agent 模型带到 2.8T 参数这个规模，@Meta 为什么还发布一个 30B 的 Muse Glimmer？ Kimi K3 代表的是一条很明确的路线：继续扩大开放模型的能力边界—— 2.8T 参数、1M context、视觉理解，面向长程 coding、知识工作和深度推理。Kimi 官方还建议用 64+ accelerators 的 supernode 部署它。它更接近在回答： 开放模型还能承载多复杂的 Agent 任务？ Glimmer 选择的是另一种部署尺度。 30B 多模态、Apache 2.0 开放权重。 HuggingFace在发布说明里直接写了本地 coding、文档分析、个人助手，以及 “Claw- or Hermes-like setups”；发布当天还提供 transformers、llama.cpp、vLLM 接入，并展示了 GGUF 量化和 OpenAI-compatible endpoint 的本地运行路径。 Llama 早就能接进 Agent，Glimmer 的变化不在于第一次具备这项能力。我认为重点是： 这次发布把模型的使用语境更明确地放到了自行部署 Agent 的开发者场景里。 当然，本地不等于轻量。HF 给出的 BF16 推理参考仍是 1×80GB H100，这不是普通人能部署的；量化后的性能、硬件门槛和长期运维成本，还需要真实使用验证。 所以 Meta 发 Glimmer，并不是拿 30B 去打压 2.8T。 K3 把开放模型推向更大的能力规模；Glimmer 则把多模态、开放权重、量化路径和本地 Agent 工作流结合在一起。 Meta 这次关注的可能是另一类需求：开发者是否能把模型部署、修改，再接进自己的文件、工具和工作流。 出处：