Hugging Bay 直接把 Hugging Face 的生态搬到了免费版上。 如果你需要大规模检索 AI 模型，这个工具能帮你省下昂贵的 API 调用费和筛选时间。它索引了超过 145,000 个 AI 资产，涵盖从 LLM、Embeddings 到 Vision、Audio、Agents 以及 Datasets 的全品类数据。 与传统平台不同，它的底层架构专门为 Agent 设计，对 AI 工具极其友好且易于爬取。这意味着你可以直接让你的 Agent 通过它自动化获取所需的模型权重或数据集，实现真正的端到端开发闭环。

如果你对 AI 的认知还停留在“输入文字就能自动翻译”，推荐你去看《NLP Course for You》。 它是由自然语言处理（NLP）领域非常知名的学者和研究员 Lena Voita 维护的开源教程。 这门课的设计理念是“For You”，为每一个想学习NLP的学者定制。在把底层的核心概念讲清楚的同时，给学者足够的空间去按照自己的兴趣和节奏进行学习。 课程包括现代大模型和翻译系统的四大核心基石： 1️⃣ Word Embeddings（词向量）：机器是如何把人类的文字理解成数字和空间的？ 2️⃣ Seq2Seq（序列到序列模型）：早期的机器翻译是如何处理输入和输出的？ 3️⃣ Attention（注意力机制）：AI 在翻译时，是如何像人类一样聚焦在关键上下文上的？ 4️⃣ Transformer：当今所有大语言模型（如 ChatGPT、Claude）的绝对底层架构。 《NLP Course for You》的最大特点是“把复杂的数学和算法可视化”。作者用大量的动图、彩色图解和直观的流向图，把枯燥的工业级原理讲得非常通透。 没有堆砌夸张的公式，适合作为你转型 AI 技术研发或理解大模型原理的“第一张通关门票”。 💡需要提个醒，这门课程目前部分高级章节仍在更新中。它不适合被当作一门拿证、速成的“完整毕业课程”，更适合作为查漏补缺、攻克核心概念的系统化专题学习帖。 由于是全英文的高质量学术教程，网站中包含大量的长文原理解释和技术细节。建议大家搭配「沉浸式翻译」插件使用，开启双语对照阅读。 这样你既能通过中文快速抓取词向量和 Transformer 的核心逻辑，又能对照英文原学术语，完全不会因为语言门槛而劝退。 想搞懂 AI 翻译底层逻辑的朋友，赶紧收藏体验吧！ 🔗：

推荐这篇笔记，对 Kimi K3 架构的独立技术拆解。 六个要点——最让人意外的一条：它完全没有使用位置嵌入，在 2.8T 这种规模上仍然是第一个。 Sebastian Raschka 在 Kimi K3 技术报告发布第二天（7/28）写了一篇精炼的架构笔记，今天登上了 HN 首页（#12，419# 分）。文章很短但信息密度高，以下是六个要点。 1. 本质上是 Kimi Linear 的超级放大版 K3 的架构直接继承自去年的 Kimi Linear（48B），只是从 48B 放大到了 2.8T。"K3 是目前最大的开源权重模型。"（注：Kimi K3 有 2.8T 总参数，104B 激活） 2. 唯一新增组件是 LatentMoE 与 Kimi Linear 相比，K3 唯一的新架构组件是 LatentMoE——和 Nemotron 3 Ultra 使用的结构相同。核心思想是把大型线性层压缩（下投影），类似于 multi-head latent attention（MLA）的做法。 3. 整体趋势指向推理效率 K3 延续了 Nemotron 3、DeepSeek V4 等模型的共同方向：用效率优化版替换标准组件。具体来说： • MoE → LatentMoE • 标准 attention → multi-head latent attention + Kimi Delta Attention (KDA) 4. Attention Residuals 是唯一非效率类改动 与 DeepSeek V4 用 mHC（manifold-constrained Hyper-Connections）改进残差路径不同，K3 使用 Attention Residuals——跨层连接残差，连接本身用 attention score 作为重要性/贡献权重。根据技术报告，它一致地改善验证损失和下游性能（少量提升），带来约 4% 的训练成本增加和 2% 的推理成本增加。 5. K3 完全去掉了 RoPE K3 在所有层使用 NoPE（No Positional Embeddings），这也是从 Kimi Linear 继承的。近期其他架构的趋势是在局部 attention 层（如 sliding window attention）使用 RoPE，在全局层使用 NoPE。有过一些纯 NoPE 的架构，但据 Raschka 所知，K3 是第一个达到前沿水平的纯 NoPE 模型。 6. 原生多模态支持 K3 现在原生支持视觉输入——Raschka 把它列为值得关注的新增能力。 Raschka 的结论 "有一些其他有趣的训练细节在技术报告中，但架构方面的要点就是这些。总的来说是一次非常棒的发布。" Raschka 的 LLM 架构画廊（涵盖本文提到的所有组件）： 原文： #KimiK3# #LLMArchitecture# #SebastianRaschka#

花了三个月换 embedding 模型，召回率涨了 2 个点。 后来加了查询改写，涨了 15 个点。 模型是最后才该动的，不是最先动的。大部分人反着来，因为换模型最省事。

我们组现在做公司的 Embedding 服务，要对业务的 Markdown 的数据进行额外清洗，清除掉 URL 等额外格式，变成更纯粹的文本。 同事提了一个 AI 用正则实现的方案。 我？？？阁下是不是不知道，有一个 Java 库叫做 commonmark-java。

实用开源小工具推荐：PixelRAG 项目思路很有趣：不解析网页,直接"看"网页的搜索方案 传统 RAG(检索增强生成)要爬取、清洗、解析 HTML/PDF——遇到复杂排版、图表、JS 渲染页面就容易翻车。但 PixelRAG 反其道而行——把文档直接渲染成截图,再用视觉语言模型给这些图片做embedding,建FAISS索引,最后提供搜索API,相当于跳过了"解析"这一步,让模型直接"看图"来理解和检索内容。 还有对应的Claude Code插件——相当于给Claude装了"眼睛"。装好插件后可以直接让Claude截图看网页、看论文、看本地开发页面,不需要额外的MCP服务器或后端支撑。

给 LLM Agent 堆越花哨的"记忆"架构，效果不一定越好。一篇新论文实测了 12 个记忆系统，没有通用赢家。 它把 Agent 记忆当成数据库来拆——表示与存储、抽取、检索与路由、维护四个模块，拉来 Mem0、Letta、Zep、Cognee、MemOS、MemTree、A-MEM、LightMem 等 12 个系统，外加 Long Context 和 Embedding RAG 两个基线，跑 5 类负载、11 个数据集。 几个反直觉的点： 1）在数据库操作类任务 DB-Bench 上，裸的 Long Context（48.20 EM）和最朴素的 MemoChat 反而赢过一众精致记忆系统。强记忆看的是它对主导瓶颈的对齐程度，而不是用了多花哨的表示。 2）检索的关键是怎么组织证据供后续重建，而不是把最相关那条排第一。证据拉远时图/层级结构碾压扁平：A-MEM Recall@10 达 85.9，而 Embedding RAG 的 Answer-F1 从 37.1 断崖跌到 7.4。 3）成本由"维护范围"而非"结构本身"决定，局部维护远胜全局重组。LongBench 上 LightMem 稳在 17.3 秒，而做全局协调的 Mem0/MemoChat/MemoryOS/A-MEM 飙到 374~552 秒，20~30 倍延迟差。 4）别急着压缩：保留原文胜过摘要，压一压 Substring-EM 就从 26.0 掉到 10.7；抽取要保上下文（MemOS Fast 25.5 EM vs Fine 2.5）；维护要保守整合，激进的延迟刷新反而把分数拉低。 还有个普遍毛病叫"过去的幻觉"：事实更新后系统照样返回旧值。所以论文标题才会问，我们真的准备好迎接 Agent 原生的记忆系统了吗。

每个人都应该了解的AI 术语名词，你都认识吗？ 搞懂这些名词 并了解其实现方式和原理。你基本就入门了。 AGI（类人AI）：类似人类思维的AI。 CoT（链式思维）：AI一步步思考。 AI Agents（AI代理）：自动化决策的程序。 AI Wrapper：简化与AI模型的互动。 AI Alignment（AI对齐）：确保AI遵循人类价值观。 Fine-tuning（微调）：使用特定训练数据来改进AI。 Hallucination（幻觉）：AI编造的信息。 AI Model（AI模型）：用于任务的训练AI。 Chatbot（聊天机器人）：模拟人类对话的AI。 Compute（计算）：AI模型的处理能力。 Computer Vision（计算机视觉）：AI理解图像和视频的能力。 Context（上下文）：AI为更好响应保留的信息。 Deep Learning（深度学习）：通过多层神经网络学习的AI。 Embedding（嵌入）：AI的词汇数字化表示。 Explainability（可解释性）：理解AI决策背后的逻辑。 Foundation Model（基础模型）：可适应任务的大型AI模型。 Generative AI（生成式AI）：创建文本、图像等内容。 GPU（图形处理单元）：用于快速AI处理的硬件。 Ground Truth（真实数据）：AI学习的验证数据。 Inference（推理）：AI对新数据做出的预测。 LLM（大型语言模型）：用大量文本数据训练的AI。 Machine Learning（机器学习）：AI通过数据经验改进。 MCP（模型上下文协议）：AI内部数据访问的标准。 NLP（自然语言处理）：AI理解人类语言。 Neural Network（神经网络）：受大脑启发的AI模型。 Parameters（参数）：AI学习的内部变量。 Prompt Engineering（提示工程）：创建输入以指导AI输出。 Reasoning Model（推理模型）：有逻辑推理能力的AI。 Reinforcement Learning（强化学习）：AI通过奖励与惩罚学习。 RAG（检索增强生成）：结合搜索与生成的AI。 Supervised Learning（监督学习）：在标记数据上训练的AI。 TPU（张量处理单元）：AI处理专用芯片。 Tokenization（分词）：将文本分割成词片。 Training（训练）：通过调整参数教AI。 Transformer（变换器）：用于语言理解的AI架构。 Unsupervised Learning（无监督学习）：AI在无标签数据上发现模式。 Vibe Coding（情绪编码）：通过语言捕捉情绪并预测输出。 Weights（权重）：影响AI学习的值。 #AI# #AIAgent#