几家AI startup其实都是照着上个时代的AI workload来做的，架构在Transformer 成为工业主范式之前就已经形成，到了LLM时代的转型期也挺艰难曲折 比如groq的主要架构基本上是17年就完成了，那是CNN的时代，架构也是以CNN/LSTM为主要的target，当时测试benchmark都是ResNet50，SRAM容量是绰绰有余的 结果进入LLM时代，一个LLAMA 70B模型的参数量占内存就相当于3000个ResNet50，就不够看了。groq幸好在片间延迟做的好，把scale out做出来了，才有了后来come back story的底层基础 到了20~21年，其实传统ML workload市场，ai 加速器已经是一片红海了 ，毕竟对硬件要求没那么高，但好在融资市场环境还很好，过的还不错 到了22~24年，这批SRAM路线的startup处境极其艰难，LLM吃掉了其他路线的份额，整个AI加速器全都是训练份额，推理市场极小，而startup们又完全无法在LLM训练上分到哪怕一点点汤，看不到前景，人员流失特别厉害，太多人在黎明前放弃 到了24~25年开始，AI 推理的市场逐渐被重视起来，startup们才开始慢慢缓过来，靠token速度刷PR，但依旧是叫好不叫座，TCO成本和Nvidia比高出一个数量级而且差距在拉大 到了25~26年，agent发展达到了一个质变拐点，推理token速度终于进入重要KPI，SRAM路线终于又焕发了第二春，Nvidia用LPU推进pareto frontier, Google TPU也开始跟进同样的路线，cerebras并不是LLM native的设计，但胜在多年积累成熟，也拿到了trainium+cerebras和openai的合作 AI startup们在迷雾中模糊的感知到一个远景方向，几经曲折，在各种山穷水尽中反复，实现的路径和方式和最初看到的已经完全不同，终于找到了属于自己的那块拼图的位置 大家也只是在19~20年附近，才开始模糊的感知到the bitter lesson，the scaling law，即便是GPT3把路趟出来了，也还是有如此多的迷雾，又经历了六年，这群AI startup才终于走出来 从后视镜回看，他们并不是精准预见了未来，而是艰难地活到了未来终于需要他们的那一刻。有一种惊心动魄而又柳暗花明的历史美感