TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
sukie
@sukie234
Building Vedio LLM DM open
Joined November 2019
7.4K
Following
39.9K
Followers
sukie
@sukie234
2026.08.11 22:53
这里有一个有意思的点,就是分词这个东西是一个很复杂的点,所以不同大模型的token完全不一样。 1 million GPT tokens ≠ 1 million Claude tokens ≠ 1 million Gemini tokens ≠ 1 million deepseek tokens deepseek 自部署出来的token跟官方token其实有一些差距,有人说自部署的deepseek要笨一些,官方售价甚至比自部署售价还便宜。 目前kimi k3 自部署成本已经可以到3-4折 而kimi官方却还是按照原价出售。 甚至“token”这个词看似统一,底层实际上依赖各模型自己的 tokenizer / vocabulary / encoding scheme。 同一句: 今天天气很好,我想出去散步。 不同 tokenizer 可能切成完全不同的序列。 英文、中文、代码、数字、特殊字符的 token efficiency 也可能不同。 所以当公司说: $3 / 1M input tokens 这里的“1M tokens”并不像: $0.12 / kWh 它并不是一个天然可以跨供应商比较的标准计量单位。 历史上,一个东西要真正成为 commodity,往往需要经历: measurement → standardization → comparability → pricing → exchange 例如米、公斤、千瓦时。 标准化非常重要,因为市场需要知道: 我在 A 那里买的一公斤铜,和 B 那里买的一公斤铜,是不是同一种一公斤。 但是 AI 市场现在很奇怪: pricing 已经发生了,measurement 也发生了,但 standardization 并没有真正完成,市场混乱,我们现在可能还没有找到 AI 的“千瓦时”。
Show more
sukie
@sukie234
2026.08.11 22:36
《从技术史的角度看“卖token”》 这篇文章的主线是: Energy → Computation → Information → Intelligence 能源→计算→信息→智能 19世纪初,人类进入电气时代,开始用kwh来计算电的基本单位,标志着电力进入工业化生产,电力不再被简单地理解为代替人力畜力的一种生产力,而是可以通过网络传输,被标准化计量购买的商品,广泛参与到人类生产中。 引发我们的第一个问题,就是一个技术发明到什么阶段,才能变成基础设施,引发科技革命呢? 20世纪初,IBM mainframe等大型机的诞生,MSU(Million Service Unit,百万服务单元),衡量CPU处理能力,MSU成为软件计费的新的计量单位。 随后AWS所代表的云计算革命,让计算能力开始像电力一样,可以被远程调用、弹性扩展和按量付费,资源、算力、存储都可以被标准化售卖。 第三阶段,则是API Economy 革命,API计费时代,概括来讲就是cloud computing + SaaS + API economy,不再是出售硬件、云算力,而是而是把算力、数据库、业务能力、AI能力全部封装成可调用接口,对外商业化。 不管是laas代表的infra: GCP Azure AWS paas代表的开发者工具如数据库中间件消息队列等。 还是Saas:salesforce、飞书、zoom等成品软件,直接面向客户。 API通过按量计费,成为统一的接口,成为参与到工业化的标准产品。 第四阶段,就是我们现在正处,AI API token时代,跟上一代计费标准不同,AI API计费主要是按照 input tokens + output tokens。 跟电力时代的kwh一样,token正成为ai时代的计量单位,但目前这个计量单位并不统一,因为从实验室出来的智能并不一致,deepseek的token只有claude fable 5token的 1/200。 token只是依托于api时代流传下来的短暂计量工具,它可能不是 machine intelligence 最终的价值单位,而是机器智能从实验室技术走向标准化商品过程中出现的一种过渡性计量制度。 如果未来商业模式不是api,如果开源模型能占据主导地位,在普及度上超越闭源模型,Electricity → Computing → AI,一定会出现统一的计量单位。 过去150年,现代技术体系不断把原本依附于机器、组织乃至人的能力,抽象出来,使其变得可计量、可定价、可通过网络输送,并最终成为可以按需购买的商品。 电网对电力做过一次统一。 云计算对 computation 做过一次统一 API economy 对 digital capabilities 做过一次。 但是ai暂时还没有实现智能计量统一,一个可以商业化的通用计量方式,是不是还有很久的路要走。
Show more
0
0
3
7
1
Forward to community
Most Popular Users
Tibo
@thsottiaux
777.9K Followers
Serenity
@aleabitoreddit
1.1M Followers
Donald J. Trump
@realDonaldTrump
111.9M Followers
Elon Musk
@elonmusk
241.7M Followers
Sam Altman
@sama
6.3M Followers
New York Post
@nypost
4.2M Followers
OpenAI
@OpenAI
5.4M Followers
zerohedge
@zerohedge
3.4M Followers
Wall St Engine
@wallstengine
198.9K Followers
SpaceXAI
@SpaceXAI
2.1M Followers
First Squawk
@FirstSquawk
569.4K Followers
Anthropic
@AnthropicAI
1.8M Followers
Ansem 🐂🀄️
@blknoiz06
1.4M Followers
Polymarket
@Polymarket
2M Followers
Kalshi
@Kalshi
472.8K Followers