远在jev之前，一大堆bert family在2019年就到处横扫榜单了，比GPT-2还要早。 jev能爆火的根本原因，是各个大公司和工业界开始接受AI Agent、AI workflow这个技术范式，各行业各大公司全部内部折腾了一大遍，成本蹭蹭上去了， 这时候jev这种轻量级微缩版小号text classifier又出来了， 本质上是满足行业降本增效的需求， 大家一拍大腿，哎呦我操，又便宜，又速度飞快，模型又小，inference快，简单，还能本地部署，在某些场景下能满足60%的需求，太划算了。 我愿称之为大模型时代的红米时刻、五菱宏光时刻或者Aldi时刻，人民的需求，人民的名义，人民的选择。

伯特·克赖舍（Bert Kreischer）有个疯狂的深夜习惯。 女儿们睡下后，他会钻进休息室，打开一整盒葡萄酒，站上跑步机，一边看着电视里的美食节目一边开跑。 一开始，目标只是5英里。 跑到5英里，脑子里的胜负欲开始作祟：算了吧，干到7英里。 等到了7英里，那个声音又来了：今晚要是能跑完13英里，岂不是很牛？ 结果他大半夜在跑步机上狂奔了13英里。 一边跑一边喝光了一整盒酒，下来时已经酩酊大醉。 借着酒劲，他甚至还在跑步机上模仿电影主角冲刺，一个人狂笑不止。 大脑里那个要赢的声音，根本不在乎人是不是清醒，它要的只是屏幕上不断跳动的下一个数字。 他现在已经停酒三四个月，重新靠着黑咖啡、清醒地去锻炼。 他才发现，宿醉后的疯狂奔跑，不过是在用痛苦惩罚昨天放纵的自己；而清醒时的每一次发力，才是真的想看到改变。

SpaceX IPO路演视频 由SpaceX CFO Bret-Johnsen通过17分钟的视频详细阐述SpaceX的财务情况和愿景 Starlink 现在 9600+ 颗在轨 • 440 万(24 底)→ 890 万(25 底)→ 1030 万(Q1) • 一年翻倍，覆盖 164 国 30 亿人 • 直连手机已经覆盖 19 亿人（覆盖不等于使用） 手里有全球最大的一体化超算中心 Colossus 2，下一步，把 AI 数据中心整个搬上太空轨道 去年营收 190 亿，同比增长30% 正向 EBITDA 78 亿 • Q1 单季营收就 50 亿 • 未来毛利率瞄 70%、净利率奔 45% • 可触达市场算到 28 万亿美元

福克斯新闻著名主播 Bret Baier 也跟特朗普去北京了，锐评北京天网：这到底是绝对的安全，还是毫无隐私的监控一举一动？ 记者团的车刚违停2分钟就被罚了40刀乐 😂

🎶Trumpular | Pogo✨ 克里斯托弗·尼古拉斯· “尼克”·伯特克（Christopher Nicholas "Nick" Bertke ，1988年7月26日-），艺名Pogo ，其标志是一只兔子，是一位出生于南非的澳大利亚电子音乐家，擅长通过采样技术创作全新的音乐，在广大乐迷中享有盛誉。 这首歌纯粹因为旋律和艺术家Pogo的技艺而分享。 #pogo# #music#

- 2015年，那时候流行 one-hot ，强化学习之父说 直接背答案太浪费了（那时候还流行 bert ，很容易过拟合） ，提出了蒸馏的本质是 大模型要学思路，不要学答案。这是所有技术发展的‘根因’ -- 那时候有本RL领域圣经叫做 《苦涩的教训》，就是说不要人工打标，直接尼玛把标注之前的所有东西丢给大模型让它自己学自己反思。

在外行大血空眼里：2022年年底，ChatGPT横空出世，宇宙大爆炸。 在我们这些人眼里： 2017年发布transformer，我们一群人在跟着看，看不懂也想不明白，但知道这东西比RNN和LSTM强得多； 2018年发布BERT，Google狂妄至极，全世界都在训练BERT、蒸馏BERT、魔改BERT，OpenAI当时在做decoder only的GPT， 2018年之后很长一段时间，有公司羞辱性地问PhD，“来，跟我讲讲，为什么BERT encoder only是唯一正确道路，为什么GPT这种decoder only是死路一条” 2019年，BERT已经深刻改变世界，Google已经骄傲宣布所有搜索结果都是BERT indexing和sorting的结果，全世界每秒钟调用xxx次BERT，Google震撼发布T5 model，直接把OpenAI甩开身位， 2020年，GPT-3横空出世，当日登顶github trending（一个markdown说明书，没有任何模型，完全闭源，当天党哥全球第三，和GPT-3同框），全世界看了OpenAI的视频demo，彻底炸裂，SQuAD被刷到顶， 2021年，Stanford开始酝酿foundation model（基础模型），代替以前BERT、GPT、transformer这些概念，计划一统江湖，开启新时代。foundation model几乎是一个极其伟大的宣言，告诉整个世界，NLP时代要迎来技术爆发了， 2022年，GPT-3.5 Turbo训练完了，OpenAI发现GPT-3的模式挺好，于是随手糊了一个前端和infra的小玩具，给大家注册玩玩，随便起了一个名字，叫ChatGPT。