註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

DataDan|AI Consultant + Builder
@ba_niu80557
Independent Forward Deployed AI Engineer. I embed and ship AI into production—agents, pipelines, the parts that actually work. EN / 中文 / 日本語. DMs open.
加入 March 2024
351 正在關注    4.1K 粉絲
这周看到个挺有意思的模型,印度 Sarvam 出的 Prism 它不生成文字,输出 token 永远是 0。你给它一段情况和几个选项,它直接给每个选项打一个概率。44 毫秒出结果,权重还开源 第一反应是这有啥用。想了一下,发现它戳中了我做项目时一个一直别扭的点 企业里大部分 AI 需求,说穿了不是写东西,是做判断。这个工单急不急,转给哪个部门,这条评论要不要删,这次退款批不批 过去两年我们干这些活,基本都是拿聊天模型硬凑:写一大段 prompt,让它输出 JSON,再写正则去解析,解析失败还得重试 用一个会写诗的模型去做选择题,又慢又贵,最要命的是它说"我很确定"的时候,你根本不知道该不该信 Prism 主打的是概率校准:它说 90% 把握的时候,错的概率大概就在 10% 以内。而且把选项顺序打乱,答案不变 这意味着你终于可以很工程地设计人机协作了:置信度过 0.9 自动处理,低于 0.9 转人工。阈值调多少,就是自动化率和风险之间怎么取舍 我觉得这背后有个更大的转变:大模型正在从"一个什么都能聊的东西",拆成一堆各干各的零件 真正落地的系统,大概会是一个慢的模型负责想,一堆快的小模型负责判断,中间用概率和阈值串起来。这跟人脑倒是挺像
顯示更多