登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

AI Dance
@AI_Whisper_X
China AI insider | Silicon Valley Decoded 算法 + VC 双视角 · 讲人话 📬 aidance.info@gmail.com
参加 October 2024
318 フォロー中    7K ファン
15个便宜的电视盒子就能跑大模型,老黄被做空了么…… Anthropic 红队前两天发了个实验:买了 15 台杂牌安卓电视盒子,一台 55 美元左右,4GB 内存,连起来跑 Gemma4-26B。 跑起来了。 一共 825 美元的设备,跑一个 26B 的模型……老黄是不是要被做空了? 不过并没有。速度是 0.39 token/秒,两三秒才蹦出一个 token。 Anthropic 自己也算了笔账。当年 Kimwolf 僵尸网络黑了 200 多万台电视盒子,就算把这么多盒子全拿来跑这个模型,总算力也就相当于 40 张 H100 左右。 所以这篇不是在说便宜硬件能替代 GPU。Anthropic 担心的是另一件事: 小模型可能很快就能自己黑进这些设备,把自己装上去,再去感染下一台。电视盒子、智能烤箱、扫地机,各种廉价的物联网设备,都可能变成 AI 蠕虫的窝。按小模型现在的进步速度,年底 30B 以下的模型大概就能到这个水平。 这种“AI 蠕虫”没有中心节点,很难彻底清除。它扩散得慢,数量翻倍要以“天”计,但它能自己摸清没见过的硬件。这是传统恶意软件做不到的。 而且模型会进化:Qwen3.5-9B 每一代把笔记传给下一代,推理搭建成功率从第 1 代的 45% 升到后几代的 61%–84%。作者称之为“拉马克式进化”。 感觉得给各种设备加密码了。。。🙂
もっと見る