为什么选SVP而不是直接用现有高性能链？ 因为那些链是给人类设计的。 SVP从第一天就为自主Agent而生： 协议级身份 + 公平交易机制 + x402结算。 Agent不会被人类latency碾压。 这才是关键差异。 #Agent经济#

Acknowledging that APAC users experience significantly slow loading times (3-5 seconds) for certain features on @TrustWallet, we will sharply reduce latency across your regions by mid-July. 亚太区app 速度慢，反馈收到了，给我们1周时间优化，敬请期待。

zhipu和deepseek在25年春都曾经是jina reader的数一数二的大客户，也都是由我直接founder support。二者给我留下的印象就是非常精，对技术指标要求非常苛刻，动不动就p99 latency要降到多少。沟通基本就是一个微信群要随叫随到，从他们手里赚点钱非常难。zhipu这边买了用了我们服务两个月后，来一个清华来的实习工程师发现我们jina 官网的api token价格比给他们2b的价格便宜不少，觉得我是奸商欺骗他们，我解释说2b价格本来就不一样，其次我直接为你服务调优debug这些什么都不算么？他说不算。我这人ego比较大当时是一肚子火，一方面我觉得zhipu太小气，面对我们一个成长中的startup完全没有任何的支持。另一方面，第一性原则角度来讲他们也没做错什么，无非是想要最低价。他们也没有义务帮生态中的任何玩家。我觉得b2b销售本来就非我所长，自己ego太高放不下，即便放下我做founder sale极度缺乏耐心。再加上jina本身除reader服务之外需要我做大量技术管理，来美国后又忙并购的事情，zhipu这个2b的deal就凉了下来。

个人感觉币圈kol发的这些预测市场脚本。很容易成为被套利对象 我也还在学习 toxic flow检测，latency arbitrage，跨市场对冲，anti-prediction，动态inventory平衡等知识。欢迎老师指导

$SPCX 真正被低估的AI野心：马斯克争夺的可能不是芯片，而是全球智能网络的控制权！ 当整个华尔街都在讨论 $NVDA 的GPU、$AVGO 的定制芯片，以及全球AI数据中心还需要多少电力时，我认为市场可能忽略了SpaceX另一条极具想象力的增长曲线： 未来超级智能（SI）的竞争，除了算力，还有一个关键变量——延迟（Latency）。 想想我们今天使用AI的过程。 当你向ChatGPT或其他AI助手提出问题，请求需要经过运营商网络、路由设备、数据中心网络，才能最终到达GPU集群。模型完成计算之后，再将答案传送回来。 AI的响应时间不仅取决于GPU的运算速度，也受到网络传输、服务器排队和模型推理效率的共同影响。 而当AI从简单的文字问答，逐步进入自动驾驶、机器人、实时语音助手和自主AI代理时，延迟的重要性可能会进一步提升。 因为未来的AI，不只是回答问题，而是需要实时观察、判断和执行任务。 这正是 $SPCX 值得重新研究的地方。 SpaceX旗下Starlink卫星运行在距离地球约550公里的低地球轨道。 按照光速计算，信号垂直到达550公里高度，理论上只需要约1.8毫秒。 当然，这不代表完整AI请求只需要2毫秒。现有Starlink网络仍依赖地面基础设施，实际端到端延迟远高于这个数字。 但如果未来计算能力本身可以部署到轨道上，整个网络架构就可能发生改变。 想象一下： 用户不再需要让所有AI请求跨越漫长的地面网络，才能找到远方的数据中心。 部分适合的AI推理任务，可能直接由轨道计算节点处理，再通过卫星网络把结果传回地面。 这不是说卫星计算一定比地面数据中心更快，而是SpaceX有机会重新设计通信、计算和用户之间的连接方式。 更重要的是，SpaceX已经不仅仅停留在概念阶段。 根据此前披露的规划，SpaceX正推动轨道AI计算基础设施的发展，目标最早于2027年底启动相关技术验证。 而它拥有一个其他AI企业很难复制的组合： Starlink负责全球通信网络。 Starship负责未来大规模、低成本地部署轨道设备。 AI计算业务负责提供智能服务。 如果这三个系统最终成功整合，SpaceX就不再只是收取卫星宽带订阅费，而可能进一步参与全球AI算力服务市场。 这意味着SpaceX的商业模式，有机会从出售连接能力，升级为同时出售连接能力与计算能力。 不过，真正的挑战仍然存在。 轨道数据中心需要解决供电、散热、辐射防护、设备维护和大规模部署成本等问题。对很多用户而言，附近的地面数据中心仍可能拥有更低的延迟和成本。 因此，轨道AI计算目前还是一个需要验证的商业方向，而不是已经建立的护城河。 但投资者应该思考一个更长远的问题： $NVDA 掌握AI计算芯片，$TSLA 正在推动AI进入汽车与机器人，而 $SPCX 如果成功将卫星通信、火箭运输与轨道计算结合，它在整个AI产业链中的定位会变成什么？ 马斯克过去讲的是让人类成为多行星物种。未来SpaceX另一项巨大的商业价值，可能来自把部分智能基础设施搬到地球上空。 从GPU到数据中心，从地面网络到轨道计算，AI基础设施的竞争正在不断扩大。 未来真正具有价值的，也许不只是拥有最多GPU的企业，而是能够以最低成本、最低延迟，把智能送到全球用户面前的企业。 如果这条路线最终成功，市场今天对 $SPCX 的估值，是否已经充分反映了它在全球AI基础设施中的潜在地位？ 你认为SpaceX未来最大的利润来源，会是Starlink卫星互联网、Starship发射服务，还是目前仍在早期阶段的轨道AI计算？

这里是《复仇者联盟》，请选择你的英雄超能力： A. 随时任意重置你的codex和claude code配额； B. 随时给全球任意100名指定用户的LLM降智； C. 把你的first token latency(TTFT)永久降低为0； D. inference速度提高50倍，每天仅限50次； E. 100秒内意念生成任意角色+任意剧情的4k黄片。

我看了一下@ycombinator 今年的项目，基本上都是 1. FDE/Router + Vertical Application： 模型router → 针对某个具体场景做优化 → 接入业务 workflow → 用数据反馈继续优化。 初创公司卖模型，初创公司都是中转站。 2. Router + LLM Optimization / Infra： 跟上一类不一样，这种是解决大模型调用本身的问题：routing、cost、latency、eval、observability、prompt optimization、fine-tuning、inference 等。 比如说 @WorkWeave 这个产品，他们说自己是AI to understand and then route engineering work。最开始的产品更像是 AI-native engineering analytics：接 GitHub / PR / Claude / Cursor 等工程数据，然后用模型分析： 工程师到底完成了多少工作 哪部分代码是 AI 写的 AI coding tools 有没有真正提高 productivity AI 花了多少钱、ROI 怎么样 哪些任务 AI 做得好、哪些做得不好 后面他们这个方向跑到最后发现还是需要模型聚合能力，他们就往一个中转站走了，然后发布了weave router。 他们分析 各种企业的Claude Code workload 后称，大约 60–70% requests 是比较简单的 completion，这些任务用便宜的 open-source model 可以做到相近效果，而成本可能只有约 1/40。 Coding request → Weave classifier/router → 判断任务难度 → 选择模型。 所以拆解一下这家公司就是做Router + Vertical Coding 场景，Weave 这种模式比单纯做一个LLM中转站 Router 更值得借鉴，先找到一个 token spend 巨大、任务高度重复、而且不同任务对模型能力要求差异巨大的 vertical，尤其是coding场景，然后做它的 intelligent routing layer。 所以我感觉年初做中转站的经验虽然没有给我个人带来什么经济收益，但是确实积累了很多实战技能，比如说如何从零到一搭建中转站，如何做FDE，挨个建群解决用户的api问题，比如我自己搭画布接seedance。 往后来看这种经验太值钱了，以后的ai startup都会是这个形态。

Codex 的 /goal 没有设置 turn 上限，也就是说，只要它认为目标没完成，除非把你的账号干到限流，不然不会停下来。 很多人根本不知道如何给 AI 设定目标，使用 /goal 和输入单条 prompt 几乎无区别。 例如，“把代码优化一下”，“提升系统性能”，“接口设计优雅一些”，这种目标是无法驱动 AI 持续工作的，既没有明确产物，也没有验收标准。 又比如，“网页改版，改的更好看”，“产品交互体验太差了，打磨一下”，这种目标最大的问题是“更好”本身没有可度量的指标，模型只能往各种可能性上反复尝试，要么提前结束，要么疯狂优化，无限烧 token。 好的目标 = 交付物 + 验收标准 + 约束条件 举个例子：“把登录接口优化一下” 可以改成：“重写登录接口逻辑，提交 PR，并确保在 100 并发下 P95 latency ≤ 120ms，所有现有测试通过，且不引入新的依赖” 在制定目标的时候，也无需吝啬 prompt： 从定义 /goal 的过程中，也能看出定义问题的水平。好的问题，可以调度更多的算力去解决更复杂的问题。

如果你会 AI，但是不投资，那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的，还是 AI Infra学习，收藏搞懂我这篇帖子，对你帮助都一定会很大 算力发展远远不足，早点搞懂，就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度，就得牺牲订阅额度上限，这个帖子是我认真整理的内部流程，看懂了它，你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token)，它来衡量你发出一条消息之后，OpenAI 多久响应吐出第一个字。 > TPOT（Time per Output Token），这个来衡量你总体的体感速度，以及什么时候完成？ 你总的等待时间约等于 TTFT 加 n 乘以 TPOT，n 就是你的 Token output总量，就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用，那么两者的速度都会很快，但互联的速度跟不上，因此 GPU 会有闲置时间，会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户，这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长，导致整体速度变慢 2/ 那 GPU 内部在推理的时候，到底发生了什么呢？ 我做推理优化，这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图，先说结论，后面按图的顺序讲 1. 请求进来不会直接上 GPU，而是先进调度器，由 CPU 驱动。GPU 每跑一步，调度器就重新挑一次人，批次每一步都在换人，这叫 continuous batching 2. 评估推理服务，工业界盯三个数，吞吐、出字间隔 ITL、首字延迟 TTFT，而且要看 P99, P50，需要有统计意义 3. 这三个数互相拉扯，决定了用户的成本和总的等待时间，总的来说是一个权衡（trade-off） 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事：已经在跑的先上，本轮 token 预算还剩多少，KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填（prefill），整段 prompt 一次算完；老的做生成（decode），每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场，没写完的回到 ②，马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”，在 GPT-3 175B 上，同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资，相信你看到这儿已经差不多都懂了。想入门推理，我的建议是先把这个循环自己画一遍，再去读压测报告，每个数都能对回其中一步 这里边的水很深，后续我会逐渐跟大家讲解，结合每天的信息以及具体实践，帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models，OSDI 2022 [2] vLLM 文档，Optimization and Tuning [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve，OSDI 2024 [4] vLLM 文档，vllm bench serve