indigo(@indigox):今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B 蒸 3-5T 效果很差，还得靠扎实的预训练；但训 3-5T 模型至少需要几万张B卡，最后竞争还是算力😆 现在靠蒸馏，差距大约是 3–4 个月；反蒸馏生效后，会拉到约 12 个月；如果美国头部几家明年都是 RSI，差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」，50 个研究员只能开 50 条线，RSI 之后训练线数只由算力决定 ...

2026.11.05 04:17

今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B 蒸 3-5T 效果很差，还得靠扎实的预训练；但训 3-5T 模型至少需要几万张B卡，最后竞争还是算力😆 现在靠蒸馏，差距大约是 3–4 个月；反蒸馏生效后，会拉到约 12 个月；如果美国头部几家明年都是 RSI，差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」，50 个研究员只能开 50 条线，RSI 之后训练线数只由算力决定 ...