DataDan｜AI Consultant + Builder
@ba_niu80557
Independent Forward Deployed AI Engineer. I embed and ship AI into production—agents, pipelines, the parts that actually work. EN / 中文 / 日本語. DMs open.
加入 March 2024
331 正在关注 3.4K 粉丝
有个客户执着地要求所有场景都上最新最贵的旗舰模型，说这样才够聪明。我把他们过去一个月的调用日志拉出来看，八成以上的请求其实是分类、抽取、简单判断这类活儿，换一个几十亿参数的小模型跑，准确率几乎没差，成本却是零头。这半年整个行业都在悄悄做这件事，把大部分日常调用挪给便宜的小模型，只留一小撮真正模糊复杂的场景才升级到旗舰模型去处理。真正决定一个agent系统好不好用的，早就不是挂在发布会上那个最强模型，是这套分流的逻辑设计得细不细。旗舰模型这几年降价降得挺猛，可账单该涨还是涨，因为省下来的钱全砸进了调用量本身的暴涨里。
显示更多
