SuSu_酥酥👅
@NFT_Chen
#BiBiCrew# Co-founder｜@Sydney_Uni Master｜Stock & Crypto Trader｜AI Builder｜Not Financial Advice, DYOR
Joined August 2021
2.2K Following 25.8K Followers
🤯我靠！真正的智能，不该被人类先喂东西训练！
现在的 AI 看文字，不是直接看原始数据，而是先被 Tokenizer 切成词碎片，再丢给模型学习。这个分词器是人写的，带着一堆历史包袱和怪异行为，模型根本不是真正端到端在学习。
Karpathy 说过，Transformer 最丑陋的部分就是 Tokenizer。
如果连“直接从字节里自己发现什么是有意义的单位”都做不好，那谈什么理解图像、声音、真实世界？谈什么通用智能？
Albert Gu 的 H-Nets 正在朝这个方向走：让模型自己学会动态分块，而不是靠人类预先切好。用更少数据和算力，就能追上在海量 tokens 上训练的模型。
智能的未来，不是更复杂的工程设计，而是更彻底地相信简单。
少一点人类的聪明，多一点让简单机制自己涌现。
#AI# #BitterLesson# #智能# #LLM# #HNets# #Tokenizer# #端到端# #通用人工智能# #Karpathy#
Show more
