让顶尖 AI 变快的办法,居然是几十年前的老手艺。
Claude Code 官方刚交底了最近响应变快的两个改动。
一个是每轮对话发送数据时,用 gzip 把内容压缩一下,让数据更快传到模型手里。
另一个是你只要开始敲键盘打字,云端会话就立刻提前启动,等你打完字按下回车,后台早就热好车了。
我刚看到的时候真觉得有点好笑,细想一下又觉得特别合理。
现在用 Agent 干活,每轮都要把前面攒的一大坨上下文重新发一遍,光在网线上跑和等环境启动就耗了不少时间。
我觉得这事挺有启发,与其死磕极其昂贵的模型推理优化,先把传统工程里的压缩和预加载抠明白,花小钱就能解决大体验。
当然这招好使的前提,是模型本身的智商得在线。
就像这哥们说的,Opus 5.5 发布到现在一直没偷偷降智,现在的 checkpoint 甚至比刚上线时更猛。
如果模型脑子不好使,传得再快也只是秒回一堆废话。
我打算今晚回去也改改手头的项目,只要检测到用户的手碰到鼠标,后台就提前开始跑任务,万一他最后没点,就当是刷我的卡给服务器做热身了。
顯示更多
Anthropic is on an absolutely legendary run right now.
Claude was already incredible, and somehow they've managed to make it even better and way faster.
And Opus 5.5 still hasn't been nerfed. Quite the opposite, actually. The current checkpoint is even better than what we got at launch.
顯示更多