登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

铁锤人
@lxfater
我在用 AI 协助我创业, 维护 3w star 项目,写过 1200w 浏览文章,商务联系: 微信:tiechuiren101,邮件:lxfater@gmail.com
参加 January 2012
1.4K フォロー中    109.1K ファン
国庆后,估计每个人都想试试本地跑大模型 因为现在千亿参数 12gb 显存就能跑起来了 但想知道自己的显卡能跑多快? 可以查这个网站:LocalMaxxing。 一个本地大模型跑分社区,用户上传自己机器的实测结果,可以按模型、显卡、推理引擎和量化格式筛选。 主要看三件事: 1. 生成速度:每秒输出多少 token 2. 首字延迟:发出问题后多久开始回答 3. 显存占用:这套配置能不能装得下 准备买显卡,或者折腾本地模型时,可以先找相近配置,看看别人跑出来的表现,再决定怎么配。 自己也能用 CLI 测速,把结果上传到排行榜。比较时记得看具体测试条件,同一个模型换引擎、换量化,速度也会变。
もっと見る