GitHubDaily(@GitHub_Daily):学深度学习一上来就 import torch，模型能跑起来，面试官问一句反向传播里梯度怎么传的，支支吾吾答不上来。 TrenTorch 的路子是不用 PyTorch，只靠 NumPy 从零写一个自己的深度学习框架，它照着哈佛 CS249r 课程的 TinyTorch 重做了一遍，还往前推了一段。一共 20 个模块分四部分，先是张量、激活函数、层、损失、自动求导、优化器、训练循环这 8 块基础，接着卷积做图像分类。 GitHub：https://t.co/XEVg3e1aC4 第三部分是分词、词嵌入、多头注意力和 Transformer，最后写出 GPT 式的语言模型。第四部分讲推理，性能分析、量化、KV 缓存加速，优化器一路做到 AdamW、Lion、Muon。每过一段会解锁一个历史里程碑复现，拿自己写的框架跑经典模型。装好自带一个 tren 命令行，进度和测试都在里面管。 20 个模块作者说小到能一口气读完，我觉得比刷文档踏实，想真正搞明白框架底下在干什么的可以照着敲一遍。

2026.09.08 10:00

学深度学习一上来就 import torch，模型能跑起来，面试官问一句反向传播里梯度怎么传的，支支吾吾答不上来。 TrenTorch 的路子是不用 PyTorch，只靠 NumPy 从零写一个自己的深度学习框架，它照着哈佛 CS249r 课程的 TinyTorch 重做了一遍，还往前推了一段。一共 20 个模块分四部分，先是张量、激活函数、层、损失、自动求导、优化器、训练循环这 8 块基础，接着卷积做图像分类。 GitHub：第三部分是分词、词嵌入、多头注意力和 Transformer，最后写出 GPT 式的语言模型。第四部分讲推理，性能分析、量化、KV 缓存加速，优化器一路做到 AdamW、Lion、Muon。每过一段会解锁一个历史里程碑复现，拿自己写的框架跑经典模型。装好自带一个 tren 命令行，进度和测试都在里面管。 20 个模块作者说小到能一口气读完，我觉得比刷文档踏实，想真正搞明白框架底下在干什么的可以照着敲一遍。

显示更多