註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 本地部署
本地部署 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 本地部署 的搜尋結果
本地部署minimax h3 生成豆宝宝同款视频,除了嘴巴有重影以外 好像没啥问题,生成总耗时一个小时,耗时长是因为显存太低了,导致显存不够借用了物理内存16个g作为共享显存,显卡全程没跑满。。。😅
顯示更多
本地部署模型还是有意义的, 因为可以跑破限后的模型...
0
33
120
0
轉發到社區
本地部署模型跑hermes了,不然下周开始收费了一个月烧掉一块显卡了。。
🤔本地部署运行 Kimi K3 到底需要多少钱?——成本远比你想象的高! Kimi K3模型本身压缩后约594GB,但真正要跑起来,光缓存这部分内容就要再占约256GB,一台顶配8卡服务器(总显存640GB)跑起来几乎不剩余量 1⃣如果是自己买硬件(一次性投入) Moonshot官方建议的生产级配置是64块加速卡(相当于8台8卡服务器组成的集群)。按H100单卡目前2-3万美元的市场价估算: 仅GPU采购:64块 × 约2.5万美元 ≈ 160万美元(约1150万人民币) 加上服务器机箱、高速网络互联(NVLink/InfiniBand)等配套设施,一般会再增加50%-100%的成本 合计一次性硬件投入大致在250万-350万美元之间 2⃣如果只求"能跑起来、不追求生产级速度" 用单台8卡H200服务器+量化压缩勉强跑,成本会低很多:8块H200 × 约3-3.5万美元 ≈ 24万-28万美元 加上配套设施,整机大致40万-50万美元,但代价是响应变慢、上下文窗口要缩短 3⃣如果是租云服务器(按小时算) 64块H100按云厂商价格(约2-3美元/卡/小时)计算:一小时约130-190美元,一个月(按720小时算)大概是9万-14万美元 单台8卡H200的最低配置,一个月大概是2万-3万美元 😐简单说:想在自己家里或公司买硬件长期自建,起步就要大几千万人民币;哪怕退而求其次租云服务器跑最简配置,一个月也要小几十万人民币。 这也是为什么大多数团队现在都直接用官方API,按token付费反而是最划算的选择。 即便如此,还是有人选择硬扛下载完整权重。 开发者Thomas Unise今天在推特发布下载过程截图——权重总量1454GB,他感慨"一个中国实验室,让一个美国人把价值数千万美元训练成本的前沿智能,直接下载到自己的本地硬盘里";开发者Jeffrey Emanuel则调侃,这个模型(1.56TB)几乎能装进一块90美元的硬盘。 截至目前,Hugging Face显示该模型页面已有2850次下载。 注:以上为按当前硬件市场价的粗略测算,仅供参考
顯示更多
本地用vLLM部署GLM-5.2的速度终于上来了! 好消息终于轮到本地部署 GLM-5.2 了! 大家都知道 GLM-5.2 这次是自带了MTP头的, 可以进行推测性解码. 但是, 这个只适用于bf16原始精度的GLM-5.2, 而这玩意原始精度要到1.5TB, 本地跑的很少有富到这个程度的, 所以大家都用各种量化版本, 毕竟4bit量化就只要430GB了. 问题这就来了, 由于 GLM-5.2 的 MTP 采用了非常特殊的 DSA (动态稀疏注意力), 导致目前几个推理引擎 (llama.cpp, vLLM, mlx) 都无法支持. 其中 llama.cpp, mlx 是完全没办法开 MTP, vLLM 只支持FP8精度的. 而SGLang 没事哈, SGLang 架构比较屌上来就支持同一个计算流使用混合精度. 所以直接用 GLM-5.2-W4AFP8 就行. 所以回到这几个不支持的推理引擎, 大部分的量化版本 GLM-5.2 开了 MTP 反而会掉速度. 甚至有的量化版本直接把MTP部分给砍了(mlx). 而社区作者dnhkng搞了个缝合方法, 最终搞出了 GLM-5.2-AWQ-INT4-FP8-MTP-delta, 即 底座用 INT4(走 Marlin 算子)+ MTP 用 FP8(保持精度)同时还能让vLLM 支持. 速度从原来的 2 token/s 直接飙升到了 43.39 token/s (绑定NUMA+MTP-3) 所以目前位置 SGLang 和 vLLM (魔改版)都能直接火力全开跑带MTP的 GLM-5.2了. 而 llama.cpp和mlx用户还需要再等等. 社区还在弄. 这个作者的blog (过程极其精彩, 有不少优化技巧): #glm52# #mtp# #dsa#
顯示更多
0
66
208
30
轉發到社區
3张V100 32G本地部署计划要延期了 今晚测试新到的第三张v100显卡,用螺丝刀戳显卡卡扣时不小心戳到了主板电路和电感,然后换完显卡一启动,主板就烧了...好事多磨 希望大家引以为戒,取显卡用木质筷子戳卡扣,避免金属螺丝刀伤主板😥
顯示更多
有人问本地部署的无审查模型有什么用? 很简单,它能力确实不如gpt5.6 fable5, 但它能帮你干会被审查的事🤫。
🚀 5分钟本地部署你的专属Jarvis! OpenHuman 重磅上线 ,真正属于你的私人超级AI助手! 1、118个App全自动同步(邮件、日历、Slack、Notion、GitHub…) 2、记忆树 + 长效记忆,永不失忆 3、 桌面互动拟人Mascot,能说话、反应环境、加入Google Meet 4、无缝联动Obsidian,自动构建你的第二大脑 无需反复喂提示词,原生读懂你的全部生活 纯本地运行,数据100%自持,隐私党狂喜! GitHub今天又暴涨1k+星,已冲上 Trending!隐私爱好者、生产力玩家必冲!🔥 一键安装上手(Windows/Mac都超简单) #OpenHuman# #本地AI# #Jarvis# #AIAgent# #个人知识库# #隐私计算# #Obsidian#
顯示更多
0
39
116
20
轉發到社區
拿到新硬件的玩模型本地部署的垃圾佬
0
29
61
3
轉發到社區
3080 10g的退休卡 居然可以本地部署开源MiniMax H3 大模型 而且居然支持15秒的最高4K分辨率的视频生成, 只用了简单的提示词生成效果居然还不错 舒服了 这下可以无限畅玩了 哈哈哈😄
顯示更多