在外行大血空眼里：2022年年底，ChatGPT横空出世，宇宙大爆炸。 在我们这些人眼里： 2017年发布transformer，我们一群人在跟着看，看不懂也想不明白，但知道这东西比RNN和LSTM强得多； 2018年发布BERT，Google狂妄至极，全世界都在训练BERT、蒸馏BERT、魔改BERT，OpenAI当时在做decoder only的GPT， 2018年之后很长一段时间，有公司羞辱性地问PhD，“来，跟我讲讲，为什么BERT encoder only是唯一正确道路，为什么GPT这种decoder only是死路一条” 2019年，BERT已经深刻改变世界，Google已经骄傲宣布所有搜索结果都是BERT indexing和sorting的结果，全世界每秒钟调用xxx次BERT，Google震撼发布T5 model，直接把OpenAI甩开身位， 2020年，GPT-3横空出世，当日登顶github trending（一个markdown说明书，没有任何模型，完全闭源，当天党哥全球第三，和GPT-3同框），全世界看了OpenAI的视频demo，彻底炸裂，SQuAD被刷到顶， 2021年，Stanford开始酝酿foundation model（基础模型），代替以前BERT、GPT、transformer这些概念，计划一统江湖，开启新时代。foundation model几乎是一个极其伟大的宣言，告诉整个世界，NLP时代要迎来技术爆发了， 2022年，GPT-3.5 Turbo训练完了，OpenAI发现GPT-3的模式挺好，于是随手糊了一个前端和infra的小玩具，给大家注册玩玩，随便起了一个名字，叫ChatGPT。