吴说获悉，据 Token Tarminal 数据，自去年 10 月 10 日以来，Hyperliquid 的季度交易量已下滑约 50%；与此同时，在第二季度中，Hyperliquid 的交易量约 1/3 来自 RWA，且增长迅速。

字节 Seed成立了专门的模型安全与对齐部门，感觉确实很有必要。 这次他们计划在这个部门全球招募 10 位顶尖研究员。 研究课题有： 大模型及Agent安全的前沿评测方法和Benchmark建设 模型前沿能力对齐的训练方法 自动化Red Teaming 模型行为可解释性 模型能力和行为监控 字节的待遇向来非常顶，事情本身也极具挑战性，最近刚好在看类似方向工作的朋友不妨试试。 最近不管是大模型还是小模型，都频繁出现模型越狱和突破沙箱隔离环境的问题。 而且这种风险要么是小打小闹，要么就是憋个大的。提前有这样的储备并持续进行研究，起码在出问题时能快速反应。 随着模型能力越来越高、自主性越来越强，在一些危险领域的隐患也越来越大： 比如 CBRN 领域（化学、生物、放射性及核领域） 可能很多人觉得上面的四个离我们太远，但是互联网上针对个人的内容攻击离我们可太近了。 AI 甚至有可能直接篡改应用，甚至控制家里的其他设备。 随着 AI 能破解一切软件，那 AI 写出非常厉害的病毒也是一个顺理成章的事情。 包括对于我们整个互联网赖以生存的密码学破解，应该也是进展神速。 客观来说，国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。 Anthropic 成立初衷就是为了安全，长期在做对齐和可解释性研究；而海外 AI 圈几乎每隔一两周就会爆出安全热点，比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。 模型安全是一个非常前沿的跨学科领域，需要大量的探索，对研究者的综合要求比较高。 这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因，感兴趣的可以关注一下

如果你会 AI，但是不投资，那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的，还是 AI Infra学习，收藏搞懂我这篇帖子，对你帮助都一定会很大 算力发展远远不足，早点搞懂，就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度，就得牺牲订阅额度上限，这个帖子是我认真整理的内部流程，看懂了它，你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token)，它来衡量你发出一条消息之后，OpenAI 多久响应吐出第一个字。 > TPOT（Time per Output Token），这个来衡量你总体的体感速度，以及什么时候完成？ 你总的等待时间约等于 TTFT 加 n 乘以 TPOT，n 就是你的 Token output总量，就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用，那么两者的速度都会很快，但互联的速度跟不上，因此 GPU 会有闲置时间，会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户，这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长，导致整体速度变慢 2/ 那 GPU 内部在推理的时候，到底发生了什么呢？ 我做推理优化，这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图，先说结论，后面按图的顺序讲 1. 请求进来不会直接上 GPU，而是先进调度器，由 CPU 驱动。GPU 每跑一步，调度器就重新挑一次人，批次每一步都在换人，这叫 continuous batching 2. 评估推理服务，工业界盯三个数，吞吐、出字间隔 ITL、首字延迟 TTFT，而且要看 P99, P50，需要有统计意义 3. 这三个数互相拉扯，决定了用户的成本和总的等待时间，总的来说是一个权衡（trade-off） 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事：已经在跑的先上，本轮 token 预算还剩多少，KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填（prefill），整段 prompt 一次算完；老的做生成（decode），每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场，没写完的回到 ②，马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”，在 GPT-3 175B 上，同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资，相信你看到这儿已经差不多都懂了。想入门推理，我的建议是先把这个循环自己画一遍，再去读压测报告，每个数都能对回其中一步 这里边的水很深，后续我会逐渐跟大家讲解，结合每天的信息以及具体实践，帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models，OSDI 2022 [2] vLLM 文档，Optimization and Tuning [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve，OSDI 2024 [4] vLLM 文档，vllm bench serve