微信团队公布自研 WeLM 大模型的两档配置。
WeLM-80B 总参数 800 亿，每次只激活 30 亿参数，目前已经部署到微信原生 AI Agent「小微」，负责聊天搜索、调用微信原生功能和小程序服务。
更大的 WeLM-617B 还在开发，总参数达到 6170 亿，每次激活 230 亿，采用 MoE 架构。微信称，它将强化通用理解和推理能力，主要面向更复杂的微信生态任务，包括智能开发小程序和为小微生成工具。
腾讯今天也在 Q2 财报里提到，小微正在微信内小范围灰度测试，由针对用户隐私、微信场景和推理效率定制的 WeLM 驱动。
WeLM-80B 和 617B 此前已经出现在微信团队 7 月的 Hidden Decoding 论文中。
もっと見る
Meet WeLM — a family of large language models built by the Weixin team with resource efficiency at its core.
