注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 本地大模型
本地大模型 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 本地大模型 的推特
本地大模型的显存壁垒,今天被正式宣告物理终结了, 单张 24G 的 RTX 4090,竟然真把 125B 的 Qwen 3.8 Flash Next 给跑起来了, 而且上下文直接拉到了 25 万,解码速度稳在每秒 21 个词 以前跑这种百亿千亿级的巨无霸,动辄要租几张 A100 数据中心集群, 但这次海外极客在 Ubuntu 上用一张普通 4090 加 110G 白菜价 DDR4 内存, 硬生生跑出了生产级的速度: 预填充每秒 364 词,解码每秒 21 词, 最狠的是没开 MTP、没开 dflash,连 KV 缓存都没做任何量化 很多人好奇 24G 显存怎么塞得下 125B 还带 25 万上下文, 核心全靠 llama.cpp 最新分支里一个叫 -cmoe 的物理外挂: 它把 512 个专家层全部扔给廉价的系统内存, 把最吃计算的注意力机制留在 4090 显存里, 显存占用瞬间从 24G 暴跌到 11.6G,而且解码速度几乎毫无损耗 空出来的整整 12G 显存,全被拿去放上下文, 直接把窗口一路顶到了 250,000 的绝对上限,跑完甚至还剩 5 个多 G 的显存余量 再加上把 batch 设到 4096,提示词处理速度直接翻倍狂飙, 以前大家觉得消费级显卡只能跑跑 7B 到 27B 的小模型, 现在 MoE 架构加上内存卸载,直接把数据中心级别的智能焊死在了家用电脑里 本地折腾私有大模型和超长 Agent 的时代, 真的被这套组合拳给彻底砸开大门了啊
显示更多
0
55
503
77
转发到社区
在 Mac 上跑本地大模型给编码 Agent 用,最磨人的是它每读一个文件,都要干等十几二十秒才开始回话。 Backburner 想了个挺野的办法,用一根 USB-C 线把 iPhone 接到 Mac 上,让手机一起帮忙跑 Qwen3.8-27B。 Mac 负责模型的前 40 层,iPhone 拿自己的 GPU 跑后面 24 层,两边像流水线一样同时干。作者实测 16k 到 48k 上下文,读取速度快了 29% 到 44%。 GitHub: 另一个好处是上下文能放更长。24GB 的 Mac 单独只放得下 64k,接上 iPhone 17 Pro Max 后,最早的那部分对话交给手机存着算,实测跑到了 128k。 同样的输入,有没有手机参与,输出结果一模一样。线得用 10Gb/s 的,手机盒里送的那根太慢。 手机原来还能当算力用,这个思路我觉得挺有意思。
显示更多
当你要用本地大模型做视频的时候 现在摆在你面前的选择,只有CUDA生态 要么买DGX Spark,要么买N卡
⚡ 一个二进制文件跑本地大模型,还给你 OpenAI 风格的接口 GitHub 上 5.7K stars,Rust 写的 本地跑模型最劝退的是环境:装 Python、配 CUDA、编译推理后端,一套下来两小时,换台机器再来一遍。 Shimmy 把这些压成一个单二进制:直接加载 GGUF 模型文件,起来就是 OpenAI 风格的 API 端点,原本调云端的代码改个地址就能用。2.0 版本把 llama.cpp 后端移除了,改用自研的 Airframe WebGPU 推理引擎,Rust 加 WGSL 实现。 模型覆盖上,项目列了 11 个模型家族和 25 种已认证的模型与量化组合,Q4_0、Q4_K_M、Q5_K_M、Q6_K 这些常见量化格式都在。还支持 YaRN RoPE 扩展上下文和 INT4 KV 缓存量化,显存紧张的机器能多撑一会儿。 本地推理这件事,越简单的方案活得越久。 GitHub:
显示更多
国庆后,估计每个人都想试试本地跑大模型 因为现在千亿参数 12gb 显存就能跑起来了 但想知道自己的显卡能跑多快? 可以查这个网站:LocalMaxxing。 一个本地大模型跑分社区,用户上传自己机器的实测结果,可以按模型、显卡、推理引擎和量化格式筛选。 主要看三件事: 1. 生成速度:每秒输出多少 token 2. 首字延迟:发出问题后多久开始回答 3. 显存占用:这套配置能不能装得下 准备买显卡,或者折腾本地模型时,可以先找相近配置,看看别人跑出来的表现,再决定怎么配。 自己也能用 CLI 测速,把结果上传到排行榜。比较时记得看具体测试条件,同一个模型换引擎、换量化,速度也会变。
显示更多
0
8
111
18
转发到社区
高考严禁携带通讯工具入场,那么能不能带个本地大模型呢?
0
113
258
2
转发到社区
Can I Run AI:检测电脑能不能运行本地大模型的网页工具 👉
把 27B 模型压到 4GB 跑在手机上:Bonsai 1-bit 可以运行在iPhone 17Pro上的本地大模型
想买Mac运行大模型? 这是劝退贴 其实估算方法很简单, 现在买 MacStudio 哪怕运行 Qwen3.6-27B 4bit 量化版本, 然后开 DFlash 使用Qwen的内置投机解码, 也就飙到 65token/s. 而现在普遍大模型都能跑到 40 token/s. 如果专门买 MacStudio M3 Ultra 96G 运行大模型, 如果把设备售价 (32999) 换算成使用API, 以 GLM-5.2 为例, 每百万token 28块, 一台 MacStudio 的价格大概能买到 32999/28 = 1178M token. 而为了输出这些token, 买到的 MacStudio 运行 Qwen3.6-27B 要持续运行 209天. 也就是说回本周期至少是200天不间断运行. 然后运行模型才是纯赚. 这还是没算电费和不直接买API而是买套餐的情况.而且, 最重要的是这还是在运行一个只有27B的小模型. 如果真的买512G的 MacStudio (108749, 而且好像已经断货了), 然后运行量化版本的 GLM-5.2, 速度就会跌到只有 17 token/s, 回本周期大概在 7 年左右... 对于现在1.5个月模型就发新版本的情况下, 普通用户自用是绝对不划算的. 所以大部分用户买 coding plan 会更划算, 如果像我一样要测新模型, 直接租卡也会比直接买划算很多. 当然, 如果你本身就有Mac或者显卡, 那么空闲的时候(比如睡觉的时候)让它跑大模型运行任务, 反而是划算的. #本地大模型# #mac# #qwen36# #glm52#
显示更多
0
110
149
11
转发到社区
苹果新应用 Harbor 曝光:插线连接多台 Mac,一起运行本地大模型