注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 tami
tami 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 tami 的推特
@TamiFloyd266089 上门的按摩师在给家庭主妇按摩师擦出了火花两人一拍即合打起扑克💋主页更多精彩视频 💋
川普: “卡塔尔埃米尔 Tamim bin Hamad Al Thani、沙特阿拉伯王储 Mohammed bin Salman Al Saud,以及阿拉伯联合酋长国总统 Mohamed bin Zayed Al Nahyan,请求我暂缓原定于明天对伊朗伊斯兰共和国发动的军事打击。目前严肃的谈判正在进行中,而且在他们这些伟大领导人和盟友看来,一项协议将会达成,并且这项协议不仅会让美国满意,也会让中东乃至更广泛地区的所有国家都能够接受。重要的是,这项协议将包括:伊朗不得拥有核武器! 基于我对上述领导人的尊重,我已经指示战争部长 Pete Hegseth、参谋长联席会议主席 Daniel Caine 将军,以及美国军方:我们明天将不会按计划对伊朗发动攻击。但我也进一步指示他们做好准备,一旦无法达成一项可接受的协议,就要随时准备对伊朗展开全面、大规模的打击。 谢关!”
显示更多
国外超级大空头 Alex Tamis,之前发起过一项实盘挑战,要用35000美元的本金在年底之前做到 100 万,实盘全程公开,结果只用了 55 天的时间,账户就超过了100万美元,接近 30 倍的收益🧐😘 其中最经典的一单,是在70美元做空了AMC,在30左右获利了结,一单就赚了70万美元~ Alex 从周薪一百五的星巴克咖啡师,到年赚百万美元的职业交易员,是怎么做到的?Alex 最喜欢交易那些流通量少、市值小、价格低的小盘股票,因为这类股票的波动幅度很大,可以用相对少的资金规模,去博取巨大的盈利空间!!
显示更多
0
36
501
110
转发到社区
驯服洪水,袁店乡汉山水库。 Taming floods, Hanshan Reservoir in Yuandian Township.
如果你会 AI,但是不投资,那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的,还是 AI Infra学习,收藏搞懂我这篇帖子,对你帮助都一定会很大 算力发展远远不足,早点搞懂,就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度,就得牺牲订阅额度上限,这个帖子是我认真整理的内部流程,看懂了它,你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token),它来衡量你发出一条消息之后,OpenAI 多久响应吐出第一个字。 > TPOT(Time per Output Token),这个来衡量你总体的体感速度,以及什么时候完成? 你总的等待时间约等于 TTFT 加 n 乘以 TPOT,n 就是你的 Token output总量,就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用,那么两者的速度都会很快,但互联的速度跟不上,因此 GPU 会有闲置时间,会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户,这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长,导致整体速度变慢 2/ 那 GPU 内部在推理的时候,到底发生了什么呢? 我做推理优化,这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图,先说结论,后面按图的顺序讲 1. 请求进来不会直接上 GPU,而是先进调度器,由 CPU 驱动。GPU 每跑一步,调度器就重新挑一次人,批次每一步都在换人,这叫 continuous batching 2. 评估推理服务,工业界盯三个数,吞吐、出字间隔 ITL、首字延迟 TTFT,而且要看 P99, P50,需要有统计意义 3. 这三个数互相拉扯,决定了用户的成本和总的等待时间,总的来说是一个权衡(trade-off) 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事:已经在跑的先上,本轮 token 预算还剩多少,KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填(prefill),整段 prompt 一次算完;老的做生成(decode),每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场,没写完的回到 ②,马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”,在 GPT-3 175B 上,同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资,相信你看到这儿已经差不多都懂了。想入门推理,我的建议是先把这个循环自己画一遍,再去读压测报告,每个数都能对回其中一步 这里边的水很深,后续我会逐渐跟大家讲解,结合每天的信息以及具体实践,帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models,OSDI 2022 [2] vLLM 文档,Optimization and Tuning [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve,OSDI 2024 [4] vLLM 文档,vllm bench serve
显示更多
0
13
192
32
转发到社区