本期《晚点聊 LateTalk》邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3：它真的比肩 Fable 5 吗？3T 模型规模、“线性-全局混合注意力” 等改进意味着什么？开源厂商们无法开源的竞争力是什么？

在最近的开源热潮中，SGLang和vLLM等开源推理引擎成为算力优化的核心技术。DeepSeek、Kimi等模型一上线就实现Day-0支持，昨天Google Cloud TPU也官宣引入SGLang。 这背后是AI Infra的千亿级市场和需求：当推理成为AI的主战场，GPU看似满载，却仍把大量时间耗在重复计算、缓存搬运和任务等待上。AI Infra深处，一场围绕调度与系统优化的效率革命已经开始。为什么最昂贵的GPU仍会“又忙又闲”？AI Infra还能榨出多少藏在“硅”里的性能？当算力增长不再只靠堆卡，AI竞争的尺度会被怎样改写？这期视频，我们与推理引擎开源社区SGLang孵化出的RadixArk团队一起，深入探讨这场算力效率变革。

最近大模型更新的隐式缓存为什么可以把缓存价格降低，命中率大大提高。 传统推理里，你每调一次API，GPU都得把整个输入prompt重新算一遍。固定System Prompt、历史对话、RAG知识库，这些重复内容每次都重新预填充，按全价收费。 隐式缓存做了什么？ 它自动检测本次输入和之前请求的公共前缀。命中了，就把之前算好的KV Cache从SSD硬盘直接加载出来，只对新增部分重新计算。重复劳动，直接砍掉。 效果立竿见影。多轮对话、Agent、代码补全这类场景，重复前缀往往占输入Token的70%-90%。命中后，input价格直接打到一折。对长文本多次对话的推理的成本和内存的压力都大大降低。 但这里有个关键问题：之前为什么不行？ KV Cache太大了。传统Multi-Head Attention架构下，百万Token的KV可能要上百GB显存。存盘？I/O延迟完全没法接受。GPU必须全程Hold住所有KV，成本根本降不下来。 DeepSeek的MLA架构把KV Cache压缩了10-28倍。百万Token从80-200GB变成4-10GB。这才让硬盘级缓存成为可能，压缩后的KV可以经济地落盘到分布式SSD，需要时再快速加载。 本质上，是把最贵的GPU显存从按最大上下文全量占用变成了按实际新增Token动态使用，类似动态更新的模式。 这里有个反直觉的点：虽然对高速内存需求大幅下降，但并不是完全转向硬盘。更像是分层存储，GPU只保留热数据，冷前缀卸载到SSD。类似CPU的分页机制，只是这次发生在大模型推理层。 DeepSeek率先把这套机制默认开启，给出极致低价。其他厂商不得不跟进，竞争驱动技术扩散，技术扩散又进一步压低价格。 要想最大化缓存命中需要做什么？ 想最大化省钱，把重复内容尽量放在prompt开头，保持前缀一致性，命中率会更高。API响应里有prompt_cache_hit_tokens字段，直接看命中率。 这轮降价潮是真实的架构创新，算法效率优化带来的成本下降。MLA压缩KV、分布式SSD存储、Radix-Tree前缀索引，这些工程突破把原来需要重复劳动浪费的算力，优化到极致 尤其是 DeepSeek，降价这么多还能赚钱，还是永久降价，这是真本事，那之前的原价是耍我们玩得吗，第一天用原价 API 的人是有点冤大头了。

Radiant 协议被黑客攻击，目前 Arb 和 BSC 上的合约被黑客控制，请尽快取消对以下合约的所有授权。Eth 和 Base 暂未受到影响，但保险起见还是一并取消为好。工具可以使用 web3 钱包，都提供类似功能。在取消授权前请不要向地址内转入资产，攻击能在持续。

ETH: 0xA950974f64aA33f27F6C5e017eEE93BF7588ED07 BNB: 0xd50Cf00b6e600Dd036Ba8eF475677d816d6c4281 BASE: 0x30798cFe2CCa822321ceed7e6085e633aAbC492F ARB: 0xF4B1486DD74D07706052A33d31d7c0AAFD0659E1

@The_RadicalDino 主要是小学打不过，后面到高中真的有跟老师对打的，小学得靠家长但是老中家长通常不站在自己儿女这边。以前听过新闻家长来找老师算账让老师下跪的，不知道是真的还是编的爽文

Lofi Radio Web ：一个基于 Next.js 开发的开源网页版 Lofi 播放器 采用灵动岛界面，提供精选电台、专注计时、睡眠定时与 PWA 非常适合作为工作、学习和写作时的轻量背景音工具

据 New Hampshire Public Radio 报道，美国新罕布什尔州一项新法律要求加密货币 ATM 增加反诈保护，将加密 ATM 单日交易上限设为 2000 美元，并设置 48 小时取消与退款窗口。若受害者在被骗后两周内向执法部门报案，加密 ATM 运营公司需全额退款。报道称，该规定旨在应对诈骗者诱导受害者，尤其是老年人通过加密 ATM 转账的问题。