Register and share your invite link to earn from video plays and referrals.

DataDan|AI Consultant + Builder
@ba_niu80557
Independent Forward Deployed AI Engineer. I embed and ship AI into production—agents, pipelines, the parts that actually work. EN / 中文 / 日本語. DMs open.
Joined March 2024
331 Following    3.4K Followers
有个客户执着地要求所有场景都上最新最贵的旗舰模型,说这样才够聪明。我把他们过去一个月的调用日志拉出来看,八成以上的请求其实是分类、抽取、简单判断这类活儿,换一个几十亿参数的小模型跑,准确率几乎没差,成本却是零头。这半年整个行业都在悄悄做这件事,把大部分日常调用挪给便宜的小模型,只留一小撮真正模糊复杂的场景才升级到旗舰模型去处理。真正决定一个agent系统好不好用的,早就不是挂在发布会上那个最强模型,是这套分流的逻辑设计得细不细。旗舰模型这几年降价降得挺猛,可账单该涨还是涨,因为省下来的钱全砸进了调用量本身的暴涨里。
Show more