註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 Torch
Torch 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 Torch 的搜尋結果
学深度学习一上来就 import torch,模型能跑起来,面试官问一句反向传播里梯度怎么传的,支支吾吾答不上来。 TrenTorch 的路子是不用 PyTorch,只靠 NumPy 从零写一个自己的深度学习框架,它照着哈佛 CS249r 课程的 TinyTorch 重做了一遍,还往前推了一段。 一共 20 个模块分四部分,先是张量、激活函数、层、损失、自动求导、优化器、训练循环这 8 块基础,接着卷积做图像分类。 GitHub: 第三部分是分词、词嵌入、多头注意力和 Transformer,最后写出 GPT 式的语言模型。第四部分讲推理,性能分析、量化、KV 缓存加速,优化器一路做到 AdamW、Lion、Muon。 每过一段会解锁一个历史里程碑复现,拿自己写的框架跑经典模型。装好自带一个 tren 命令行,进度和测试都在里面管。 20 个模块作者说小到能一口气读完,我觉得比刷文档踏实,想真正搞明白框架底下在干什么的可以照着敲一遍。
顯示更多
0
45
58
20
轉發到社區
🐳 DeepSeek 刚开源了 DeepSelect,大模型里“从海量候选中挑出前 K 个”这一步,比 PyTorch 自带的 torch.topk 快 2 到 20 倍。 它是给 DeepSeek 稀疏注意力 DSA 和采样器用的 TopK 内核,而 DSA 就用在 DeepSeek V3.2、V4 和 V4.1 上。仓库昨天才建,今天就发了 1.0.0。 稀疏注意力的思路是每一步只看最要紧的那部分 token,挑哪几千个就靠 TopK;生成时从约 12.8 万的词表里采样,也要先挑出前 K 个候选。 DeepSelect 把这两个场景分别做了优化:批大小、词表大小随便设,K 最多到 4096,每一行还能单独设长度上限,接口同样返回 values 和 indices 两个张量。默认开着 NaN 检查,发现坏数值直接终止程序。 如果你在做推理框架、抠每一步的开销,可以拿仓库自带的基准测试跑一遍对比。 GitHub:
顯示更多
0
15
57
3
轉發到社區
传承科学薪火 赓续报国初心——唐河县科技馆举办两弹元勋科学家精神主题活动Carrying forward the torch of science and continuing the original aspiration of serving the country - Tanghe County Science and Technology Museum holds a theme activity on the spirit of the two-particle experts
顯示更多
8月6日贵州毕节、云南楚雄等地举行火把节,游客与群众围篝火载歌载舞欢庆。 On August 6, Torch Festival celebrations were held in Bijie, Guizhou, and Chuxiong, Yunnan, where tourists and locals danced and sang around bonfires in celebration. #Torch#
顯示更多
♻️ 真香!DeepSeek 公开的 DeepJIT,让 GPU 算子编译一次就能在多用户、多进程、多台机器之间共享复用,英伟达显卡和华为昇腾 NPU 走的是同一套接口。 仓库 9 月 8 号才建,挂在 DeepSeek 官方 GitHub 账号下,只有头文件,引进 C++20 项目就能用。 跑大模型时不少自定义算子是运行时现编译的,一个进程编一遍、一台机器又编一遍,卡一多,光等编译就把启动拖慢了。 DeepJIT 的做法是给每份编译产物算一个缓存键,源码、引用的头文件、编译器版本、编译选项都算进去,结果放进本地或分布式文件系统上的共享目录,别的进程、别的节点命中了就直接加载,不用再编。 用 PyTorch 的也不用额外折腾,默认跟着当前的 CUDA 流或 torch_npu 流走,通过 pybind11 就能接进来。目前只支持 Linux,按历史记录预热缓存、直接从 Python 传源码编译这两项还在开发中,暂时用不了。 编一次到处用,集群越大,省下的等待时间越多。 GitHub:
顯示更多
日本外资酒店最大的建设浪潮时期 这个时期,还在当下,但是进入了尾声。 酒店是一个国家国运的晴雨表,这么说虽然有些夸张,但也是事实。 人为什么要住酒店,因为流动。 无论是商业往来的流动还是旅游观光的流动,一个国家经济活跃、国际往来增加,旅游业繁荣,最先感受到的就是酒店行业。 反过来讲,一个国家经济衰退,战争或者政治封闭,国际关系恶化,酒店的入住率和客单价往往也会迅速反应出来; 其实,酒店比普通的房地产更能反映出真实的经济。 住宅的租金可以很多年不变,写字楼也可以空着,只有酒店今晚的房价,入住率,几乎每天都在重新定价。 某种程度上讲,酒店还能反映资本对于这个国家未来的判断。 当一个国际机构愿意花几十亿甚至上百亿买酒店,他买的绝对不是今晚的入住率,而是未来十年二十年这个国家游客数量、房价上涨、城市吸引力、汇率上升、消费能力、旅游政策以及这个国家本身的稳定性。 当前,是日本历史上自二战以来,最大的外资酒店建设浪潮时期。 这股浪潮始于2000年,而且预计要持续到2030年。 为什么是2030年呢? 因为日本入境游到达6000万人次,就是终极承载量,以及所有的外国头部酒店品牌入住日本为标志。 伴随着酒店热的背后是日本这一轮入境游真正开始加速,大约可以从2000年前后算起。 2000年,访日外国游客只有475.7万人。 2013年,第一次突破1000万人。 2016年,突破2000万人。 2018年,突破3000万人。 2025年,第一次突破4000万人,达到4268万人。 从475万人到4268万人。 25年,接近9倍。 中间除了新冠疫情导致的三年异常中断之外,日本入境游的大趋势几乎一路向上。 拿今年的7月份来说,访日外国游客人数为3442100人,同比增长0.1%,创下历年7月份的最高纪录。 包括韩国、印度尼西亚、墨西哥等在内的17个市场均创下历年7月最高纪录。其中,台湾地区市场更创下单月历史最高纪录,首次突破70万人。 核心是:即使是在大陆游客暴跌56.1%的情况下,依然实现了增长。 我预测今年日本全年入境游与去年基本持平,甚至有可能增加,背景是大概率中国游客减少500万人次的情况下。 如果不受中日关系的影响,以及不受国际地缘政治冲突的影响,日本入境游到2030年实现6000万人次,是可能的。 在日本入境游的推动下,过去20年,几乎所有的国际酒店品牌都在不断入住日本,本土酒店集团也是迅速发展,比如APA,东横Inn,Super hotel,星野集团等等。 每一家入住日本的国际酒店,背后都往往都站着一家日本大型开发商。 比如三井不动产。它先后参与引进了: Mandarin Oriental Tokyo,2005年开业; The Ritz-Carlton Tokyo,2007年开业; Four Seasons Hotel Tokyo at Otemachi,2020年开业; Bulgari Hotel Tokyo,2023年开业; Waldorf Astoria Tokyo Nihonbashi,预计2027年开业。 再看东京建物。 2014年,把Aman第一次带进日本:Aman Tokyo; 2028年,Raffles Tokyo计划开业; 2029年度下半年,SEN/KA TOKYO by The Crest Collection计划开业。 再看三菱地所。 2007年,The Peninsula Tokyo; 2017年,Ascott Marunouchi Tokyo; 2028年,日本第一高楼TORCH TOWER计划引进Dorchester Collection。 这不仅是日本第一家,而是Dorchester Collection的亚洲第一家酒店。 再看森大厦。 2003年,六本木Hills引进Grand Hyatt Tokyo; 2014年,虎之门Hills引进Andaz Tokyo; 2023年,Hotel Toranomon Hills开业; 2024年,麻布台Hills又引进Janu Tokyo。 而Janu Tokyo更有意思,这不是日本第一家,这是Janu这个品牌在全世界的第一家酒店。 还有积水House。 严格来说,它并不是传统意义上的“三井、三菱、住友”式财阀开发商,但在日本高端酒店领域同样非常重要。 它参与推动过一系列Marriott系高端酒店,包括The Ritz-Carlton Kyoto、W Osaka、The Westin Yokohama等。 尤其是京都Ritz-Carlton,是国际顶级酒店从东京、大阪向日本核心旅游城市扩张的一个非常典型的案例。 三井不动产、三菱地所、森大厦、东京建物、积水House……这些日本最聪明的房地产公司,为什么都在抢国际顶级酒店? 难道他们真的只是为了赚那几十间、几百间客房的钱吗? 当然不是。 因为对于大型开发商来说,酒店从来不只是一家酒店。 一家安曼、一家宝格丽、一家四季、一家半岛、、、放进一个大型城市综合体之后,它提升的是整栋楼甚至整个区域的价值。 如果说住宅看人口,写字楼看企业,商场看消费。 那么酒店看的就是流动! 一个国家真正繁荣的时候,就是人、钱、企业和资本都愿意往这里流动的时候。 现在走在东京的街头,无论是旅游密集的台东区,还是繁华昂贵的中央区,一座座酒店正在拔地而起。 当前,日本人口已经低于1.2亿。但全世界来到日本的人,却从一年475万变成了4268万。 从4268万到6000万,这中间还有1700多万人的增量。 这些人来了以后,总要有地方睡觉。吃住行游购娱都是刚需。 这,可能就是未来几年日本酒店最大的故事。
顯示更多
0
23
23
5
轉發到社區
HuggingFace 独立研究者 AuroraAI-Research 把语言模型压到了 8 万参数——训练是在一台小米手机的 CPU 上完成的。 《Aurora-80K:一个现代微型语言模型》 Aurora-80K 是 AuroraAI-Research 发布在 HuggingFace 上的微型语言模型:正好 8 万参数,Apache 2.0 许可,整个权重文件只有约 0.3MB。作者称这是 Aurora 系列的新起点,用来取代之前那些"低效的旧模型",更大尺寸的版本已在路上。 最有意思的是词表设计。8 万参数的模型通常只能用几百词的词表,它却塞进了 4096 词表——靠分解表示:嵌入层拆成 64 个 cluster 向量和 64 个 sub-token 向量,相加组合出全部 4096 个词。128 个向量就顶起一张 4096 宽的嵌入表。 输出层同样分解。推理时先预测 cluster(64 选 1),再在 cluster 条件下预测 sub-token(64 选 1),两级合起来就是完整的 4096 词表概率。输入输出两头都省。 架构是现代配置的极简版:2 层 Transformer、hidden 64、SwiGLU 前馈、RMSNorm、ALiBi 位置编码配 256 的注意力窗口、4 头注意力。评测数字:Wikitext-2 BPB 3.2902,BLiMP 52.31%,Arc-Easy 26.05%。 训练数据是 fineweb-edu 按教育分 4 分以上过滤出的约 4000 万 token,跑 2 个 epoch。训练设备是小米 14T Pro,钉在 4 个 Cortex-X4 CPU 大核上,算上预处理和 tokenizer 训练,全程约 6 小时。 适合玩极限压缩、或者想研究"现代架构缩到最小长什么样"的人。仓库里权重、tokenizer、 齐全,装个 torch 就能在 CPU 上跑。AuroraAI-Research 主页还会更新更大的尺寸。 原文: #Aurora80K# #TinyLM# #开源模型#
顯示更多
THORChain 回应 Bitget 称,network halt 仅用于保护协议整体安全,并非针对特定地址或单笔交易的选择性冻结机制。 此前 Bitget 在 9 月 24 日遭遇约 3.875 亿美元安全事件,部分被盗资金随后经 THORChain 跨链转移;Bitget CEO Gracy Chen 因此要求 THORChain 拒绝为已确认的攻击者地址提供服务。THORChain 还表示,在今年 5 月其自身遭遇约 1070 万美元攻击时,攻击者地址同样未被列入黑名单,并强调协议按设计保持无许可。
顯示更多
THORChain出来辟谣了。 官方最新声明—— 社交媒体上出现多个假冒账号,散布"退款""空投""补偿计划"等不实信息。THORChain目前没有任何此类计划,任何相关说法都是冒充或误导。 初步调查显示,此次事件未造成用户资金损失。团队仍在与THORSec及外部安全伙伴共同调查。 此前THORChain确认Asgard金库遭攻击,损失约1070万美元。 每次安全事件后,骗子比官方还忙。看到"补偿""空投"字样的,先回官方账号核实,别二次被收割。
顯示更多
0
58
14
0
轉發到社區
THORChain被黑客攻击,损失约1000多万美元价值的资产,根据ZachXBT和链上追踪: 受影响的链包括,BTC、ETH、BNB、Base4条链。 涉及资产,约36.85 BTC(价值约297万美元);约3443 ETH)价值约777万美元;少量BNB。 黑客主要通过THORChain的Vaults(金库)和Router合约抽走资金,然后跨链转移/兑换。 当前进展是, THORChain团队已紧急暂停所有交易和签名操作(防止进一步损失);RUNE代币价格短期下跌超过10%。 这是典型的跨链桥/流动性协议安全事件,属于DeFi常见风险点。
顯示更多
0
10
26
3
轉發到社區