seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
772 正在关注 17.2K 粉丝
Amy Acton 赢下了Ohio州长！
这个世界终究还是有良知的。
如果我们客观的去考虑，
OAI如果能保持今天A社2/3的营收就很好了，
那么OAI的算力开支也应该是A社的2/3左右，即4000亿左右。
四千亿也已经很多了，但是还是远远小于OAI这些疯子承诺的1.4万亿。
也就是，现在至少有一万亿的overbuild, 即使不考虑 deepinfer / Strata 带来的生产力暴增。
不知道这是哪个幸运儿负责这一万亿建设。
显示更多
OpenAI和Anthropic两家公司，公开披露的长期算力及基础设施承诺，合计已达约2万亿美元量级。
你们认为，这2万亿美元最终能兑现多少？
OpenAI约1.4万亿美元：据Reuters报道，Altman称公司承诺未来八年投入这一金额建设算力资源。
Anthropic约6370亿美元：根据其招股文件的梳理，包含已签协议及预计交易。
显示更多
ChatGPT 自己查数据总结的，
OpenAI未来几年收入（绿黄橙）和支出（蓝线）的比较图。
可以看到，只有在高增速（绿）一种情形下，OpenAI才有可能在2030前达到收支平衡。
中间几年的缺额从哪里来呢？从股市和债市融资来。
显示更多
我认为OAI已经是期货死人了。
巨额commitment + 越来越高的融资价格 + 日渐收窄的发展空间。
OAI：我看中大众AI的长远发展。
GOOG/META/字节：巧了，更巧的是我们还真有用户数据。
显示更多
我认为OAI已经是期货死人了。
巨额commitment + 越来越高的融资价格 + 日渐收窄的发展空间。
OAI：我看中大众AI的长远发展。
GOOG/META/字节：巧了，更巧的是我们还真有用户数据。
显示更多
现在已经到了 200 刀宁愿给 Google 也不给 OpenAI 到时候了
是我的错觉吗？
我感觉muse这种工具一点都不好用，比Opus Claude Code差太远了。
除了对用户体验比较重视以外，实际工作能力很差，基本一点小事都要反复检查纠正。
显示更多
放到历史长河中看，面对AI威胁的一般技术人员，其实很像面对纺织机乃至自动织机威胁的纺织工人。
纺织，尤其是复杂花纹的纺织，是古代社会技术含量最高、报酬最高的生产活动之一。古代社会对纺织，尤其是高档纺织，都有统一的管理，给予从业者极高的报酬和社会优待。
甚至程序控制的源头，就是编织。1804年，提花织机获得专利，它用穿孔卡控制花纹，后来启发了巴贝奇的分析机，穿孔卡也一脉相承地成为早期计算机的程序载体。到了20世纪60年代，阿波罗登月计算机的程序，更是由女工把铜线穿过磁芯，一位一位织进存储器的。
古代纺织工人没有赢过织机，当代纺织工人没有赢过自动织机。
卢德主义者并不是通常以为的贫民，他们是那个时代的科技工作者。
今天呢？
哀叹一个时代的逝去是毫无意义的，该消亡的必然会消亡。如果一个一般技术工人，只懂得怎么把花纹织得更精巧、速度更快，这个时代将很残酷。但是如果她懂得市场，懂得花纹和物料，懂得怎么撬动买者的钱包，甚至怎么控制其欲望，她就会真正成为织机的主人。
图1： 提花织机与穿孔卡（1804年专利）
图2： 阿波罗制导计算机的磁芯绳存储器（手工织入的软件）
图3： IBM穿孔卡（早期计算机的程序与数据载体）
显示更多
某种意义上，谷歌和腾讯的危，或者机，是非常相似的。
一个人的真实性，在未来社会，实际上是越来越难证明的。
在未来世界，你说你是Neo，可是你怎么证明自己不是Smith探员呢？
谷歌（的一部分）和腾讯今天的生意，如果归到本质上看，在于对东西方人类数字身份证的垄断生意。
而且这种垄断，是自然形成的，不是法规或者资源赋予的，来源于非常特殊的历史过程，基本上已经不可复制了，也不会再有第三第四家了。
这是历史上最大的入口生意。这两家的数字身份证，其重要性可能已经不次于一般国家的政治身份证。
（苹果也有这个性质，但是规模比上两者小的多）。
谷歌的数字身份证生意，最初来源于Gmail，后来被安卓设备，谷歌搜索，谷歌Oauth等产品不断加强。
QQ- 微信 - 微信支付，也是类似的过程。
这种个人数字身份证，随着AI世界的进一步演进，将会越来越重要。
这里就构成了一个机和一个危。
机会就是，我们每个人，都有非常迫切的需求，让AI帮我们处理我们在邮箱里，在数字生活里的事务，甚至觉得Gmail，微信的拥有者，是让我们跨入数字孪生的阻碍。
然而危险就是机会的另一面，如果Agent可以代理我们的数字身份，那么在数字世界中，我们又是谁呢？
今天我们找回各种账号，甚至政府信息，使用的正是Gmail，微信，如果这两个被人控制了呢？
会不会出现，哎呀，这下我成替身了？这样的事故。
更可怕的是，会不会出现Smith探员为主导的数字世界秩序？
显示更多
一个人需要有多自我中心
才能说出，你们的需求没有我的需求重要，这样的逆天言论的呢？
论自大，还得是美国人。
Sam Altman says its bad that everyone's personal computers are using the world's limited supply of memory chips.
"It’s quite terrible to have everybody have a bunch of the world’s limited supply of DRAMs sitting in their own computer, and being used 5% of the time. Like, you want maximum utilization."
显示更多
今天Deepinfer 开源，用令人瞠目结舌的经济性逆转了半导体和云的颓势。
这个贴讨论一下Deepinfer的经济性吧
Deepseek公布了每小时B200可以产出38$的token（波谷定价）。
短期看，用现在B200租价6$美元算，这是85%的毛利率。
换句话说，如果一个商家，能够满足于一般性的15% IRR，有能力销售Token，能依照Deepseek的Recipe租用GPU去大规模部署，那么它可以打1.5折去销售Deepseek Token。
还记得最近有很多服务商，Opencode Go, Command Code, 腾讯，都有类似于10美元使用60-80美元DS token的订阅吗？
这从侧面证明Deepinfer的架构，是可复制，可扩散的技术优势，而且正在成为市场主流。
显示更多
兰香如故，
一部改变北美华人生活作息的电视剧。
现在每天早上都得起早爬起来先看了电视。
大家一定要试试 Strata，流式输送加 CPU、GPU 协同，家用电脑 Prefill 轻松 1000 tps。
你想想，1600 tps 都比 API 快了，家用电脑能有这 2200 tps，还要啥自行车？
反正这 3000 tps 我先用着，你们慢慢考虑。
显示更多
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
显示更多
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
显示更多
昨天Opus5.5说我的十年老硬件+新卡的硬件上限是 2500/60 （X370 Ryzen 5900 5070 Ti 64GB ram）
今天它自己优化到了2746/68，比官方上游快60%/10%。
根据它的计算，如果内存改善（我的内存跑在2133上），还有20-30%的改善空间。
Architectds/strata
显示更多
现在回头看，6月 5090 三四千多美元的时候，真是大便宜。
目前流式处理下 5090 + 大内存专用优化，和Pro 6000 最终可能区别不会很大。
我装AI机这条路真是犯了无数错误:
六七月觉得5090太贵没有必要（实际上是现存方案中最优异的一个），
七月涨起来后又在4090 和 双 5070 Ti 中选择了双卡方案，嫌4090 架构旧，二手。
八月又在DGX Spark和M5中选择了等M5U，认为联合内存路线更好。
好在Strata出来了，拯救了我们低显存N卡用户。
目前看，硬件Core支持低位计算，算力强大，显存大，就是王道，一力降十会。
上一段每一个字背后都写着英伟达，英伟达。
所以九月我买多英伟达。
显示更多
买了5090和RTX 6000 pro的各位
才算是真正的慧眼，真正的成功
昨天Opus5.5说我的十年老硬件+新卡的硬件上限是 2500/60 （X370 Ryzen 5900 5070 Ti 64GB ram）
今天它自己优化到了2746/68，比官方上游快60%/10%。
根据它的计算，如果内存改善（我的内存跑在2133上），还有20-30%的改善空间。
Architectds/strata
显示更多
过去一周多，可能以后被证明是AI推理部署史上天翻地覆的一周。
上个周末，我的本地机双5070ti试跑Qwen Flash，只能做到200 prefill，10decode。
今天，在Strata和我自制的PR的支持下，目前可以跑到2200/67，而且只需要一张卡。
即读写速度都提高了近十倍。
更好的消费卡比如4090/5090，当然也有幅度相当大的升级（目前5090在流式处理的支持下，速度已经开始逼近RTX6000，当然显存还是不足）。
这当然带来了消费级硬件的新一轮大涨价。如今，就连曾经无人问津的 32G B70英特尔显卡都卖断货涨价了。
2200/67的速度是什么意思？
今天除了deepseek，muse等少数模型，大部分API达不到这个速度。
而一个普通的家用游戏电脑就可以达到这个水平。
而这个水平，一周以前，只有5090，DGX spark，M3U这样的机器可以达到。
也就是说，在过去的一周多，全球的普通家用电脑带来了十倍于上周的AI产量。
这个增量，得益于deepseek- Qwen flash这种特殊设计，把智力分成了注意力，专家，和查表，
也得益于Strata这样优秀的架构，把整个处理流水线化，让不同的智力，存储在不同速度的存储设备中，在需要用时刚好抵达。
这对所有愿意拥有本地智力的人，当然是极大的利好。
也许模型层的设计，正在快速收敛到一个目前硬件条件下的最优解？
然而这对依赖出卖模型算力的生意，尤其是平庸的智力的商业来说，也可能是催命符。
显示更多
曾经人类以为智能是神秘的，连续的，来源于天意的。
现在LLM发展了，我们发现智能是离散的，分片的，读写分离的，断点续传的，甚至多工复用的。
现在Strata路线上，CPU参与Decode，证明效果巨大。
那么Prefill时CPU闲着也是闲着，是不是也应该去出点力帮助Prefill？
Tavus推出了一个全实时的视频对话Agent
以后我们还能分得清对面是人还是AI吗？
在录制的视频中基本看不到延迟和反应时间，一切看起来就像是一个远程工作的同事
可能比我的大部分远程同事回复还要更及时些
赛博朋克，我们来了。
显示更多
Introducing Griffin, the first model to pass the video Turing test.
48% of people who talked to it live thought it was a real human. Previous systems have had a pass rate <3%. It is #1# on NVIDIA's benchmark for full-duplex AI video.
It’s the first Human Interaction Model (HIM).
显示更多
买了5090和RTX 6000 pro的各位
才算是真正的慧眼，真正的成功
今天O家开发布会，同时O记模型烂到没有办法用。
从OA两家的行为看
大模型公司的主要经营方式是
看市值变动轮流降智提智，糊弄客户，顺带提价
俗称挂羊头卖狗肉。
这样居然诞生了两家万亿公司。
显示更多
