推荐这篇笔记，对 Kimi K3 架构的独立技术拆解。 六个要点——最让人意外的一条：它完全没有使用位置嵌入，在 2.8T 这种规模上仍然是第一个。 Sebastian Raschka 在 Kimi K3 技术报告发布第二天（7/28）写了一篇精炼的架构笔记，今天登上了 HN 首页（#12，419# 分）。文章很短但信息密度高，以下是六个要点。 1. 本质上是 Kimi Linear 的超级放大版 K3 的架构直接继承自去年的 Kimi Linear（48B），只是从 48B 放大到了 2.8T。"K3 是目前最大的开源权重模型。"（注：Kimi K3 有 2.8T 总参数，104B 激活） 2. 唯一新增组件是 LatentMoE 与 Kimi Linear 相比，K3 唯一的新架构组件是 LatentMoE——和 Nemotron 3 Ultra 使用的结构相同。核心思想是把大型线性层压缩（下投影），类似于 multi-head latent attention（MLA）的做法。 3. 整体趋势指向推理效率 K3 延续了 Nemotron 3、DeepSeek V4 等模型的共同方向：用效率优化版替换标准组件。具体来说： • MoE → LatentMoE • 标准 attention → multi-head latent attention + Kimi Delta Attention (KDA) 4. Attention Residuals 是唯一非效率类改动 与 DeepSeek V4 用 mHC（manifold-constrained Hyper-Connections）改进残差路径不同，K3 使用 Attention Residuals——跨层连接残差，连接本身用 attention score 作为重要性/贡献权重。根据技术报告，它一致地改善验证损失和下游性能（少量提升），带来约 4% 的训练成本增加和 2% 的推理成本增加。 5. K3 完全去掉了 RoPE K3 在所有层使用 NoPE（No Positional Embeddings），这也是从 Kimi Linear 继承的。近期其他架构的趋势是在局部 attention 层（如 sliding window attention）使用 RoPE，在全局层使用 NoPE。有过一些纯 NoPE 的架构，但据 Raschka 所知，K3 是第一个达到前沿水平的纯 NoPE 模型。 6. 原生多模态支持 K3 现在原生支持视觉输入——Raschka 把它列为值得关注的新增能力。 Raschka 的结论 "有一些其他有趣的训练细节在技术报告中，但架构方面的要点就是这些。总的来说是一次非常棒的发布。" Raschka 的 LLM 架构画廊（涵盖本文提到的所有组件）： 原文： #KimiK3# #LLMArchitecture# #SebastianRaschka#

刷到浙大开源的那本《大模型基础》时，我第一反应是：又来？免费PDF？不会是阉割版吧。 结果点进去一看，GitHub 16K stars，六章完整版直接下，还真不要钱。 内容不是那种泛泛科普，从语言模型底子开始，LLM架构、Prompt工程、参数高效微调、模型编辑、RAG全给你捋了一遍。每章后面还甩了一串论文，想深挖直接顺着走，比你自己瞎翻强多了。 最骚的是每章拿不同动物当例子，什么大象长颈鹿的，抽象的东西一下子就好懂了。这设计比某些三千块的课用心。 对比我之前啃的那些英文教材，这本中文的确实更对胃口。缺点就是目前还没有推理加速和Agent相关，不过项目还在更，可以蹲一手。 反正免费，先存下来再说。万一哪天用上了呢。

推荐这个项目，shadcn（shadcn/ui 作者）做了一个 Agent Skill——让最贵的模型做审计和规划，让便宜的模型写代码。这个想法本身不新，但 shadcn 把它做成了一个可安装、可编排、带执行闭环的系统，每个设计决策都很实用。 shadcn/improve：一个 Agent Skill，让最强模型做审计，让便宜模型写代码 核心理念：把智能会累积的那部分——理解代码库、判断什么值得做、写规格——交给最强的模型。执行交给便宜的模型。这个 skill 自己从来不实现任何东西。计划就是产品。 /improve → 全局审计 → 优先级排序的发现 → 计划 用法 /improve # 全局审计 /improve quick # 快速：热点 + 最高优先级 /improve deep # 详尽：每个包、每个类别 /improve security # 关注审计（还有 perf, tests, bugs...） /improve branch # 只看当前分支改了的部分 /improve next # 产品方向建议 /improve plan <描述> # 跳过审计，直接起草一个计划 /improve review-plan <文件> # 批判和收紧已有计划 /improve execute <计划> # 派便宜执行器，审查其工作 /improve reconcile # 刷新 backlog：验证、解锁、退役 内部流程 勘查。 映射仓库：技术栈、规范、准确的构建/测试/lint 命令——这些变成每个计划的验证门。同时读取设计文档（ADR、PRD、CONTEXT.md 等），让已决定的 tradeoff 不再被重新标记。 审计。 并行分派子 agent 跨 9 个类别：正确性、安全性、性能、测试覆盖、技术债务、依赖和迁移、DX、文档、方向。每个发现带 file:line 证据、影响、努力和置信度。 审查。 子 agent 会过度报告，所以 advisor 在给你看之前重新读每个引用的位置——假阳性被丢弃，错误归属被纠正，驳回被记录。 优先级排序。 发现按杠杆排序（影响 ÷ 努力，按置信度加权）。你选哪些变成计划。 计划化。 每个选中的发现一个文件，写入 plans/，带索引、优先级顺序和依赖图。 什么让这些计划可执行 计划是为最弱的合理执行者写的——一个从未见过 advisor 会话、可能小得多的模型。三个特性承载这一点： 自包含。所有上下文内联：精确文件路径、当前状态代码摘录、带示例文件的仓库规范、已验证的命令。没有"如上所述"。 验证门。每一步以命令及其预期输出结束。完成标准机器可检查。执行者永远不需要判断自己是否成功。 硬边界。明确的范围外列表，加上 STOP 条件——"如果 X，停止并报告"——而不是让小模型在现实不匹配计划时即兴发挥。 闭环 execute：派更便宜的执行器子 agent 在隔离 git worktree 里，把计划交过去，然后像 Tech Lead 一样审查——重新跑每个完成标准、检查范围合规、读 diff 对意图。通过（批准，合并始终由你决定）、退回修改（最多 2 轮）、或阻塞并精炼计划。 reconcile：验证 DONE 计划是否仍成立、调查 BLOCKED 计划并绕过障碍重写、刷新漂移的计划、退役独立修复了的发现。 --issues：把计划发布为 GitHub issues。 硬规则 从不修改源代码。唯一的写入到 plans/；执行器只在一次性 worktree 中编辑，合并始终是你的。从不运行会破坏你工作树的命令。从不复现密钥值。被要求实现？拒绝并指向计划（或提供 execute）。 项目: shadcn/improve #AgentSkills# #CodeAudit# #LLM架构#

AI时代核心资产是记忆和抽象思维 折腾了一段时间，终于把"本地记忆 + 云端 LLM"的架构跑通了 核心思路： 记忆是核心资产，不能全给云端。 输入 → 本地记忆(完整) → 过滤层 → 云端 LLM → 审计 → 输出 我的做法分几层： 1.⁠ ⁠本地存完整记忆* — Markdown 文件 + 本地向量数据库 - 什么都记，不做过滤 - 这是"真实的我" 2.⁠ ⁠云端只拿过滤后的上下文 - 敏感信息单独存，不进 LLM 上下文 -输出审计 — 发送前过一遍检查

作为一个把 Obsidian 当主力生产工具跑了一年多的人，我想说一句可能得罪人的话： 如果你还在用 Obsidian记笔记，你在用跑车送外卖 真正的做法是把 Obsidian 变成 AI 的本地操作系统 资料、模板、流程全部 Markdown 化，AI 进来就能接活、干活、交活 这不是我的发明，Karpathy 之前开源了他的 LLM Wiki 架构，核心思路一模一样——用一个 agents.md 纯文本文件控制 AI 行为，改一行字，Agent 行为立刻变，不需要部署、不需要写代码 Obsidian CEO Steph Ango 甚至专门发布了一套 Obsidian Skills，教 Claude Code 怎么用 wikilink、callout、frontmatter 来操作你的 vault 这个方向已经不是概念了，是基础设施 个我实际在跑的工作流，分享给同路人： 1. 信息自动入库 网页发现好内容，直接剪藏→ Obsidian Web Clipper 一键进 /raw 文件夹 → AI 自动总结归档 2. 会议录音 → 结构化纪要 飞书录音豆直接保存本地->Whisper 本地转写 → AI 按模板整理成 who/what/action items → 全文可检索 不再有遗忘事项和重要内容 3. 爆款文章→ 内容框架 把自己写过的爆款文章全都导出->基于karpathy的LLM wiki架构整理->创作新文章时，直接基于之前的文章进化 4. 笔记库自我进化 Smart Connections 插件做语义搜索，AI 自动补双链、改标签、发现你自己都没注意到的知识关联 Karpathy 的架构里这叫 cross-linker skill 5.多模型协同 Claude、GPT、Gemini、本地 Ollama 全部通过 Copilot 插件接入同一个 vault 流程写一次，模型随便换，不被任何一家绑死 6. 写完即发布 Markdown → 公众号排版 → 草稿箱，一条命令搞定 （我现在发推也是从 Obsidian 里出的稿） 作为产品经理出身的人，我看这件事的底层逻辑是： 你在建造的不是一个笔记库，你在建造一套可复用数据工作流资产 工具会迭代，Notion 可能改定价，Roam 可能关服务器 但 Markdown 是纯文本，本地存储，Git 可版本控制 这套东西十年后打开还是能用的

基于 Transformer 架构的 LLM 最大的问题就是没有时间感，我觉得这是主观智能甚至是意识到重要部分，时间的连续感知和记忆的先后形成了“自我”！每次涉及到Agentic 任务我都得让模型自己使用 tool 确定操作时间，别让它靠幻觉脑补😂 不知道我这样对不对？

之前做LLM推理芯片架构探索的时候，我把四大AI推理ASIC公司的架构都翻过一遍。Groq、SambaNova、Tenstorrent、Cerebras。前三家的思路虽然各有侧重，但底层逻辑都在同一个框架里：片上大SRAM + dataflow架构 + 确定性调度，核心差异在NoC拓扑、内存层级、编译器抽象这些维度上展开。 Cerebras是里面让我真正被震惊到的一家，而它却这四家里马上第一个拿到IPO结果的。 这家公司的选择比其他三家都激进一个量级：不做芯片，直接做整片wafer。 单颗WSE-3，21.5cm × 21.5cm的整片晶圆，90万个PE通过scribe-line stitching在物理上连成一片连续的silicon。这个工艺是Cerebras和TSMC联合定制的，把原本用于晶圆切割的窄条改造成跨reticle的金属导线，让所有reticle在物理上拼接成一整块芯片。（配图二展示了单颗WSE-3内部结构：左半边是整片晶圆的reticle网格和scribe-line拼接，右半边放大了单个PE的微架构。） 单个PE的结构极简：8-wide FP16 SIMD计算核，48KB本地SRAM直连，没有cache层级，所有数据访问都是确定性的单周期。加上一个5端口路由器（N/S/E/W + loopback），相邻PE之间的通信延迟也是单周期。关键在于，跨reticle边界的mesh在物理参数上和reticle内部完全一致，编译器和runtime完全不需要感知reticle边界的存在。 从LLM推理的视角看，这个均匀性的价值非常大。 LLM推理的瓶颈在decode阶段。每生成一个token，模型权重要被完整读取一次，计算量却很小，典型的memory-bound场景。GPU集群在这个环节的核心问题是数据搬运：HBM带宽有限，多卡之间还要经过NVLink → NVSwitch → InfiniBand → Ethernet四层互联，每一层带宽和延迟都差几个量级，编程模型必须显式处理每一层的拓扑边界。 Cerebras的做法完全绕开了这个问题。单片wafer内部fabric带宽27 PB/s，权重从外部的MemoryX存储集群通过SwarmX流入wafer后，在PE之间按数据流模式传播执行，同一套placement和routing算法跑遍整片wafer。（配图一展示了这个系统级架构：MemoryX参数存储集群到SwarmX互联fabric，再到底层最多2048台CS-3节点，权重广播和梯度规约的数据流方向一目了然。） 90万个PE各自带48KB SRAM，合计约42GB片上存储，每个PE对自己本地SRAM的访问是单周期确定性的，PE间通信每跳single-cycle，延迟和曼哈顿距离成正比。对于推理场景，前提是weight streaming的编译器能把权重有效地分配到对应的PE上，这42GB分布式片上SRAM的聚合带宽远超GPU的HBM方案，没有cache层级带来的访问不确定性，没有跨芯片搬运的开销。 回到我自己的体感。做推理芯片架构的时候，NoC拓扑和内存层级的权衡花了大量精力，因为芯片边界是硬约束，跨芯片通信的成本和片内通信之间永远存在断层。Cerebras的做法等于从片内通信的角度消除了这个断层，代价是整条制造和封装链都要重新定义。 这也解释了Cerebras的工程取舍。所有架构创新集中在wafer内部，scale-out方向直接复用100GbE + RoCE的以太网生态。wafer内27 PB/s对比跨CS-3的SwarmX在Tbps量级，几个数量级的差距全部交给商品化网络承担。推理场景下单wafer内部的带宽和延迟优势可以直接转化成token生成速度。 OpenAI选择和Cerebras合作做推理，从架构层面看逻辑是通的。大规模在线推理需要低延迟、高吞吐、确定性时延，这三点恰好是wafer-scale架构在片上通信均匀性方面的结构性优势。 但这套架构也有几个结构性的问题值得正视。 良率和成本是绕不开的。整片wafer做单颗芯片，任何一个reticle的缺陷都影响整体。Cerebras靠冗余PE和路由绕行来应对，但冗余比例和良率数据从未公开过。一片wafer的制造成本本身就远高于切割后卖单颗die的模式，叠加23kW、15U的单系统功耗和体积，部署密度和TCO在大规模推理集群的经济性上面临考验。 最关键的是KV cache的容量瓶颈。42GB片上SRAM看起来很大，但长上下文推理场景下KV cache随序列长度线性增长。以Llama 70B为参考，FP16下128K上下文的KV cache就要吃掉约40GB，即使做KV cache量化，长序列场景下的容量压力仍然显著。片上放不下的部分必须依赖MemoryX做外部存储，数据要经过SwarmX回传，这条路径的带宽在Tbps量级，和wafer内部27 PB/s的差距意味着长序列场景下decode速度会被外部带宽卡住。这可能是Cerebras在推理场景面临的最核心的架构约束。

给 LLM Agent 堆越花哨的"记忆"架构，效果不一定越好。一篇新论文实测了 12 个记忆系统，没有通用赢家。 它把 Agent 记忆当成数据库来拆——表示与存储、抽取、检索与路由、维护四个模块，拉来 Mem0、Letta、Zep、Cognee、MemOS、MemTree、A-MEM、LightMem 等 12 个系统，外加 Long Context 和 Embedding RAG 两个基线，跑 5 类负载、11 个数据集。 几个反直觉的点： 1）在数据库操作类任务 DB-Bench 上，裸的 Long Context（48.20 EM）和最朴素的 MemoChat 反而赢过一众精致记忆系统。强记忆看的是它对主导瓶颈的对齐程度，而不是用了多花哨的表示。 2）检索的关键是怎么组织证据供后续重建，而不是把最相关那条排第一。证据拉远时图/层级结构碾压扁平：A-MEM Recall@10 达 85.9，而 Embedding RAG 的 Answer-F1 从 37.1 断崖跌到 7.4。 3）成本由"维护范围"而非"结构本身"决定，局部维护远胜全局重组。LongBench 上 LightMem 稳在 17.3 秒，而做全局协调的 Mem0/MemoChat/MemoryOS/A-MEM 飙到 374~552 秒，20~30 倍延迟差。 4）别急着压缩：保留原文胜过摘要，压一压 Substring-EM 就从 26.0 掉到 10.7；抽取要保上下文（MemOS Fast 25.5 EM vs Fine 2.5）；维护要保守整合，激进的延迟刷新反而把分数拉低。 还有个普遍毛病叫"过去的幻觉"：事实更新后系统照样返回旧值。所以论文标题才会问，我们真的准备好迎接 Agent 原生的记忆系统了吗。

我们衡量 LLM 能力的方式已经严重落后于模型实际能做到的事。 Karpathy 给了 Opus 5 一段《指环王》的开篇文字、1M token 预算和一句指令：用 Three.js 渲染这个故事。模型自主工作了 2 小时，产出了 5500 行代码，在三维空间中编排多边形资产，生成了一段程序化动画。 重点不是渲染效果好不好看，而是任务粒度发生了根本变化。 过去我们测 LLM 用的是单次问答：画一只鹈鹕、写一段代码、回答一个问题。模型在几秒内完成，我们立刻判断好坏。但现在模型能在没有人干预的情况下，自主管理 2 小时的计算预算，组织数千行代码的架构，协调多个创意维度的输出。 这意味着我们最常用的评估方式，包括 benchmark、A/B 测试和 human eval，都是为秒级任务设计的。当任务扩展到小时级，这些工具完全失效。 失败成本是第一个被放大的问题。一次生成失败浪费的不是几秒钟，而是几美元加几小时。更隐蔽的问题是：我们不知道模型在长时间运行中什么时候会偏航。它在第 30 分钟做出的某个小决策，可能在 90 分钟后才暴露，而且没有自动纠错机制能捕捉到。 严肃建设者应该开始关注两件事：长周期任务的自主纠错能力，以及模型在耗尽预算前是否会主动调整策略。 LLM 的测试范式需要一次和任务粒度相匹配的升级。

7. Anthropic - Applied AI Architect（Startups 团队） - 角色: 帮助创业公司构建 Claude 应用的技术架构师 - 要求: 有 LLM 应用开发经验，能与创始人对话 - 中国讨论度: 低 - 🔗 8. Stripe - Staff Full Stack Engineer - 角色: 创业公司级别的早期员工，设定技术方向 - 薪资: 高端（未公开具体数字） - 中国讨论度: 低 - 🔗 --- 校招/实习信息差 9. Cloudflare - 2026 年招聘 1,111 名实习生 - 背景: 从原来 60 人项目暴增至 1,111 人 - 目标: "培养下一代技术领袖" - 中国讨论度: 低 - 🔗 10. - 2026 校招（New Grads） - 岗位: 计算机视觉 / 算法工程师 - 地点: San Jose, CA - 公司: 自动驾驶上市公司 - 中国讨论度: 低 - 🔗 11. Databricks - 2026 New Grad + 实习 - 岗位: 多个 AI/ML 研究、工程岗位 - 地点: SF / NYC / Mountain View / Berlin / Amsterdam / Bengaluru - 中国讨论度: 低 - 🔗 12. IBM - 2026 年校招扩招 3 倍 - 背景: IBM 人力资源官表示将"重写每一个岗位" - 原因: AI 能做入门级工作，但需要能驾驭 AI 的新人 - 中国讨论度: 极低 - 🔗 13. Google DeepMind - Student Researcher Program - 项目: 付费研究实习，覆盖 BS/MS/PhD - 团队: DeepMind / Google Research / 其他 AI 团队 - 中国讨论度: 低 - 🔗