註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 SERVING_X
SERVING_X 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 SERVING_X 的搜尋結果
CMP 170HX 今天又有一个比较实在的进展。 8G版解锁64G之后,已经有人单卡把 Qwen3.8-27B 跑到 200K 级真实长上下文了。 vLLM 0.27.1,175W,不超频,1K 大概84 tok/s,64K 还有75 tok/s,200K 还能跑57 tok/s,而且做了160K左右的 needle retrieval,不只是显存能分配出来,是真的在跑长上下文。 温度也还不错,持续负载核心大概66度,显存71度,功耗173W左右。这个和之前170tune测出来的175W甜点位基本对上了。 但我还是那句话,别一看到256K、262K就高潮。 现在公开证据能确认的是200K级真实跑通,不是262K连续跑几天,更不是24到72小时 serving 0 Xid。 还有一点,这个案例用的版本并没有包含最新的 WPR2 修复,所以它证明的是长上下文能力,不代表满显存稳定性问题已经彻底解决。 目前我的判断还是没变。 8G版越来越像真正能拿去部署的64G AI卡了。 10G版的80G,继续当彩票看。没有多人独立复现,没有全显存唯一pattern,没有多CUDA context,没有24到72小时0错误,我就不加一分钱估值。
顯示更多
若要寻七夕浪漫的源头,一定要来一趟仙女湖!这个夏天跟我一起解锁仙女湖“夏凡季”~ Angie's Vlog-Fairy Lake in Xinyu, Jiangxi. The legendary birthplace of China's Qixi Festival — is serving full fantasy vibes this summer with its Fairy Descending Season. Roam three mist-shrouded romantic islands, meet roaming immortal NPCs, cool off in bubble showers and water games, and catch breathtaking live Xianxia theater as golden hour spills over the lake. This is a magical summer escape you don't want to miss. Tag someone you'd wander this fairyland with. #FairyLake# #Xinyu# #QixiLegend# #ChinaTravel# #SummerEscape# #JiangxiTravel# #节日里的江西#
顯示更多
🔥X 平台杠开源了整个平台的算法权重,这次连“你的每个动作值多少分”都公开了。 X 直接放出了主要生产权重、可见性过滤规则、账号与内容标签系统、SimClusters,以及真正用于训练和 Serving 的 Phoenix 生产代码。 先猜你会对每条帖子做什么,再按一张“行为价目表”算分,然后经过限流、去重、圈外折扣、新作者扶持,最后决定你看到什么。 工作原理: 1、先找一批“候选帖子”,现在主要有三个入口: • Thunder:你关注的人刚发的内容 • Phoenix Retrieval:根据你的历史行为和内容语义,从全网找 AI 认为你可能感兴趣的帖子 • SimClusters:根据“哪些人经常喜欢同一类东西”形成兴趣簇,再从这些圈子里捞内容 2、然后 Phoenix 对每条帖子预测一串概率: 点赞 / 回复 / 转发 / 引用 / 分享 / 私信分享 / 复制链接 / 点击 / 看视频 / 关注作者…… 负反馈也一起预测: 不感兴趣 / 静音 / 拉黑 / 举报 / 没有停留。 而且它看的信息比“你过去点过什么赞”多得多。 新版生产模型里还有国家、语言、位置、当地时间、年龄段、性别、已安装 App、帖子年龄等上下文。 3、真正炸裂的地方来了: X 这次把主要生产默认权重公开了。 正向: • 复制链接分享:+20 • 回复:+5 • 引用:+5 • 私信分享:+5 • 关注作者:+4 • 普通分享:+2 • 转发:+1 • 点赞:+0.5 • 点击帖子:+0.4 负向更加夸张: • 举报:−234 • 静音作者:−58.8 • 不感兴趣:−43.2 • 拉黑作者:−31.2 还有一个非常有意思的隐藏项: 如果你和作者互相关注,而且对方发的是原创帖,“你会回复它”的权重额外 +15。 基础回复权重是 5。 也就是说,这类帖子对应的回复预测权重可以直接来到 20。 当然,这些数字不能简单理解成: “1 次复制链接 = 40 个赞”。 系统计算的是: 某个行为发生的概率 × 对应权重。 而且 X 自己在代码里专门解释,这些权重同时考虑了行为价值和这种行为在全网有多稀有。 4、打完分还没结束。 圈外内容,也就是你没有关注的账号,默认分数还要乘 0.75。 同一个作者连续出现,也会被强行衰减。 按目前公开的默认参数计算: 同一批候选里,同一个作者的第二条大约只剩 62.5%,第三条约 43.75%,继续出现会越来越接近 25% 的下限。 所以疯狂连续刷帖,并不能无限霸占推荐流。 更有意思的是,小账号真的有代码级“新人保护”。 当前默认参数里: 作者粉丝不超过 1000,帖子浏览低于 1000,满足条件的原创帖,有机会被系统主动往大约第 16 位附近的目标分数抬。 另外,超过 48 小时的帖子,在打分之前就会被过滤。 5、这次对创作者最重要的一个变化,是“限流”终于开始变得可解释了。 X 把 Visibility Filtering 整条链路开出来了。 Spam、恶意链接、NSFW、辱骂、Do Not Amplify 等标签,都可能让一条帖子在“推荐给非关注者”时直接被 DROP。 这就解释了过去一种很常见的现象: 你的粉丝依然可以看到你。 陌生人的 For You 推荐流里,你却几乎消失了。 X 还配套推出了 Under the Hood,可以查看自己账号和帖子身上影响可见性的标签统计。 6、另外还有一个旧版解读需要更新。 Phoenix 内部依然采用 Candidate Isolation。 模型给某条候选帖打基础分时,它看不到同一批里的其他候选帖,所以 Phoenix 这一层的分数不受 Batch 里其他帖子的影响。 但之后还会继续经过: 作者多样性衰减、圈外 0.75 折扣、新作者扶持,以及 DPP 多样性重排。 所以“每条帖子独立打分”依然成立于 Phoenix 这一层。 最终出现在第几位,依然会受到整个推荐管线影响。 几个最值得记住的结论: 第一,复制链接分享的默认权重非常高。 X 明显很在意一条内容有没有强到让人愿意“带出信息流”。 第二,回复远比普通点赞值钱。 互相关注关系里的原创内容,回复预测还会得到巨额加权。 第三,连续刷屏会被作者多样性机制主动压制。 第四,小账号确实存在明确写进代码里的冷启动机会。 第五,负反馈非常贵。 举报、静音、不感兴趣带来的负权重,远高于一次普通点赞提供的正权重。 第六,这次透明度已经高了一个级别,但距离 100% 仍有空间。 真实生产数据和 checkpoint 没有开放,部分 Grox prompts 和 Botmaker 规则依然保留。 对于创作者来说,新的优先级已经非常清晰: 让内容值得被回复、私信分享、复制链接带走; 建立真实的双向关系; 减少连续刷屏; 尽量避免触发“不感兴趣”、静音、举报和各种安全标签。 X 的算法越来越像一个实时预测“你下一步会做什么”的 AI 编辑部。
顯示更多
🧵 后端/基建开发推荐阅读的十篇论文 别只背八股了,很多面试题就是这些论文里的工程问题被压缩成的问答。 推荐按顺序读,强烈建议边读边画图/做笔记。 1️⃣ RocksDB: 看懂工业级 KV 存储怎么演进 RocksDB 这篇不是讲单个算法,而是讲一个 KV 存储在大规模生产环境里,优化重点怎么从写放大、空间放大一路转到 CPU 利用率。 Evolution of Development Priorities in Key-value Stores Serving Large-scale Applications: The RocksDB Experience 2️⃣ WiscKey: 理解为什么要把 key 和 value 拆开WiscKey 的核心是把 LSM-tree 里的 key 和 value 分离,减少 I/O 放大,尤其适合理解 SSD 时代 KV 存储的设计取舍。 WiscKey: Separating Keys from Values in SSD-conscious Storage 3️⃣ Vertical Paxos: 把主从同步放进共识算法里看很多高可用方案看起来只是“注册中心 + 主从同步”,但 Vertical Paxos 提供了更底层的解释框架。 Vertical Paxos and Primary-Backup Replication 4️⃣ PacificA: 工程里的强一致复制协议PacificA 讲的是日志型分布式存储系统里的复制框架,重点不是抽象共识理论,而是故障、恢复、对账这些工程细节。 PacificA: Replication in Log-Based Distributed Storage Systems 5️⃣ SWIM: 服务发现别只会说注册中心SWIM 把故障检测和成员变更传播拆开,用随机探测 + gossip 传播,解决大规模节点下全量心跳扛不住的问题。 SWIM: Scalable Weakly-consistent Infection-style Process Group Membership Protocol 6️⃣ TiDB: Raft 怎么落到 HTAP 数据库里TiDB 这篇讲 multi-Raft、行存、列存副本和 learner,适合看 Raft 怎么服务事务和分析混合负载。 TiDB: A Raft-based HTAP Database 7️⃣ Paxos vs Raft: 别把二者理解成口水战这篇用相同术语比较 Paxos 和 Raft,结论很实用: 二者整体方法接近,核心差异主要在 leader election。 Paxos vs Raft: Have we reached consensus on distributed consensus? 8️⃣ Paxos 和 Raft 的形式化映射: 把学术优化搬到工程系统上海交大这篇建立了 Paxos 和 Raft 的形式化对应关系,还讨论如何把 Paxos 优化迁移到 Raft。 On the parallels between Paxos and Raft, and how to port optimizations 9️⃣ PolarFS: 高性能共享存储里的 ParallelRaftPolarFS 为 PolarDB 做低延迟共享存储,里面提出 ParallelRaft,用乱序 I/O 能力突破 Raft 严格串行带来的吞吐限制。 PolarFS: An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database 🔟 X-Engine: 双 11 级 OLTP 存储引擎X-Engine 是阿里的 OLTP 存储引擎方向,适合看电商峰值流量下,存储层怎么做写入、压缩、缓存和冷热数据管理。 X-Engine: An Optimized Storage Engine for Large-scale E-commerce Transaction Processing
顯示更多
Open AGI Builders Day Shanghai Recap ✦ 6 月 13 日,由 Alibaba × Sentient × 复旦大学联合举办的 Open AGI Builders Day 在上海复旦科技园顺利结束。 本次活动聚集了约 80–100 位 AI 开发者、研究者、创业者、投资人与生态伙伴,围绕 Open AGI、Agent Infrastructure、AI Applications 以及未来智能体生态展开交流。 随着大模型能力逐渐趋同,AI 产业正在进入 Agent、应用与基础设施协同发展的新阶段。Open AGI Builders Day 希望连接正在一线构建未来的 builders,共同讨论开放式 AI 生态的下一步。 活动首先由 Sentient 分享赋能 Open AGI 的路径,并介绍 EvoSkill;随后,Alibaba Cloud 从云基础设施与 AI 生态实践角度,分享了从大模型到 agentic AI 的演进趋势。 在 Demo 展示环节,来自 Sentient Arena、X-Agent、Billions、 等方向的 builders 带来了各自的实践,覆盖多个关键议题: → AI Agent 如何从 Prompt 走向 Execution → 如何构建可执行的 AI Agent 应用层 → 如何为 AI Agent 建立新的 Trust Model → 数字员工如何进入真实工作流 → AI 产品如何从 Demo 走向真正可用的应用 两场圆桌讨论分别聚焦 AI Infra 与 AI App。 Panel 1:AI Infra From Models to Agent Infrastructure: What AI Infra Really Needs Next 0G × Sentient × Billions × SoloVault 围绕 AI Infra 的下一阶段展开讨论:当行业从 model-serving 走向 agent-serving,基础设施需要支持的不只是模型部署,也包括记忆、工具调用、身份、权限、验证、信任层与多 Agent 协作。 Panel 2:AI App From AI Demo to Real Product: What Makes AI Apps Work? × Xerpa × Sentient × Miuro 共同讨论了 AI 应用从 Demo 走向真实产品所需要跨过的门槛:明确的使用场景、稳定的用户体验、可持续的工作流价值,以及能够真正被用户反复使用的产品能力。 活动结束后,现场 builders 继续围绕 Agent Infra、Trust Layer、AI 产品设计、开放协议与开发者协作展开交流。 Open AGI 不只是单一模型能力的提升,而是模型、Agent、基础设施、应用与社区共同推进的开放生态。 感谢所有来到现场的嘉宾、builders、合作伙伴与参会者。 See you at the next Open AGI Builders Day🙌
顯示更多
0
7
27
10
轉發到社區
Sounds like you're not very happy serving me? 看样子你很不乐意为我服务?
0
1
864
42
轉發到社區
男子展示酒店传菜员的技术 知道“端盘子都没人要你”的含金量了 Man Shows Off Hotel Food-Serving Skills – Now We Know What "You Can't Even Handle a Tray" Really Means
顯示更多
传承科学薪火 赓续报国初心——唐河县科技馆举办两弹元勋科学家精神主题活动Carrying forward the torch of science and continuing the original aspiration of serving the country - Tanghe County Science and Technology Museum holds a theme activity on the spirit of the two-particle experts
顯示更多
肉菩提盛开,10多个军警大1轮番灌满肉菊,狂喷的浓精充当润滑油。#fansly# #NSFW# Thick semen flows out along the flower’s pistil, the wildly spurting cum serving as slick lubricant.​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ 完整版请前往下述订阅或 ➡️订阅: ➡️Subscribe:
顯示更多
0
3
1.6K
329
轉發到社區
手上有 NVIDIA DGX Spark的話,先把 agent 安裝起來。叫它去讀 @MiaAI_lab 的 sparkDash,再叫它在機器上寫一個、或改一個 model switcher、service switcher。 Switcher 實際怎麼設 一份 registry。每個 serving stack 一張卡。現在七張。 每張卡帶:它在哪台機器、要探的 IP 加 port、它該回報的 model id、以及啟動跟關掉的兩支腳本。 四張在 head,`:8888`、`:8889`,loopback 探。三張在 worker,27B 在 `:8888`、TTS 在 `:8010`、MiniMax 在 `:8000`,走 CX7 探。啟動關掉走 ssh,因為腳本在 worker 上。 兩台都用 8888 這個 port。所以不能用 port 當鑰匙。要用 host 加 port,再加上它回報的 model id。Head 跟 worker 能同時掛在同一塊面板上、又不會認錯,就靠這對。 活著沒有,靠便宜的探針。OpenAI 那種 stack 打 models 那個端點。 沒有 id 清單的卡,就只看探針回不回。 切換順序是寫死的,不是聰明的。先停掉全部。兩台都把 page cache 丟掉。UMA 上這步不能省,否則下一包權重要進記憶體時,空閒檢查會過不了。再跑目標自己的 start 腳本。輪詢到 API 肯回答。Dashboard 不自己發明啟動參數。它叫操作員寫好的腳本。 畫面上一個 stack 一張卡。亮著的那張綠點。節點、host:port、現在活著的 model id。Start、Stop、Switch。連到它的 console。切換進行中,進度從 operation log 流下來。 旁邊那些附屬服務另開一區,不算進 UMA 預算。`:8814` 那個檔案上傳。普通的 node process,記住 pid。要開再開,要關再關。模型切走,它還在。 我們活在最好的時代,能想出來就可能創造出來. 我剛做完,現在在用。
顯示更多