SuSu_酥酥👅
@NFT_Chen
#BiBiCrew# Co-founder｜@Sydney_Uni Master｜Stock & Crypto Trader｜AI Builder｜Not Financial Advice, DYOR
参加 August 2021
2.2K フォロー中 25.8K ファン
惊了！从原始字节长出汉字：当AI自己学会“切字”，tokenization的拐杖就被扔掉了！
真正的智能不是被喂给“字”和“词”，而是从原始字节里自己长出边界。
中文一个汉字占3字节。早期H-Net会把字拆碎，训练到后面它自己学会了正确聚成一个字，甚至比BPE更懂罕见字。
这才是bitter lesson的落地：少人工先验，多从数据里学习。如果连字节都能自学出“字”，那图像像素、音频波形、DNA序列、世界模型的原始信号，还远吗？
Tokenization是拐杖，H-Net在扔掉拐杖后，用更少的数据和算力跑得更快。
这才是真正从原始数据里长出抽象的路径。
もっと見る
🤯我靠！真正的智能，不该被人类先喂东西训练！
现在的 AI 看文字，不是直接看原始数据，而是先被 Tokenizer 切成词碎片，再丢给模型学习。这个分词器是人写的，带着一堆历史包袱和怪异行为，模型根本不是真正端到端在学习。
Karpathy 说过，Transformer 最丑陋的部分就是 Tokenizer。
如果连“直接从字节里自己发现什么是有意义的单位”都做不好，那谈什么理解图像、声音、真实世界？谈什么通用智能？
Albert Gu 的 H-Nets 正在朝这个方向走：让模型自己学会动态分块，而不是靠人类预先切好。用更少数据和算力，就能追上在海量 tokens 上训练的模型。
智能的未来，不是更复杂的工程设计，而是更彻底地相信简单。
少一点人类的聪明，多一点让简单机制自己涌现。
#AI# #BitterLesson# #智能# #LLM# #HNets# #Tokenizer# #端到端# #通用人工智能# #Karpathy#
もっと見る
