註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 LLM
LLM 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 LLM 的搜尋結果
LLM 不只在污染我们读到的文字,也在重塑我们写的文字,进而腐蚀人和人之间的信任。 最近读 Armin Ronacher 的一篇 blog,他是 Flask 的作者,python 圈很老的人了。 Armin 这篇 blog 叫《Content for Content's Sake》,大概意思是:LLM 不只是在污染我们读到的东西,它正在改写我们自己怎么写、怎么说话,最终腐蚀掉人和人之间最底层的信任。 他扒了自己过去 90 天的 AI 会话记录,把中频词的使用频率跟 wordfreq(一个历史词频基准)对了一下。结果capability、substrate 这种词在 AI 给他的回复里出现的频率,远远高于历史正常水平。 也就是说,AI 已经有一套自己独特的语言指纹。 这只是第一层。 第二层是这些指纹正在渗透回人类。Armin 说,他上推特、刷 HN 的时候发现,越来越多回复读起来像 LLM,但发帖人不少是他认识的真人。他自己也察觉到了,读了太多机器生成的文本之后,人会无意识地吸收那种腔调。 不是 AI 模仿他,是他在变成 AI。 这个我也有同感,很多时候,即使是我自己写的东西,我看着也像 AI 写的东西…… 然后是第三层。信任被腐蚀。 系统层面已经在崩:欧盟的投诉系统被 AI 批量投诉搞到接近瘫痪;开源项目的 GitHub issue 区被 AI 生成的伪 bug 报告冲烂;已经有公司专做“自动化发送 LLM 内容”的服务。 但最贴身的崩坏不是这些,比如他的一个朋友,现在跟陌生人聊几句就会强制对方打电话过来,只为了确认对面是个活人。 结尾更有意思 Armin 承认,这篇文章里的表,是他让 AI agent 帮他做的,爬 Google Trends 数据的代码也是 AI 写的。 他用来论证“AI 在污染我们”的图表和数据,本身就是 AI 帮他生成的。 整篇博客就是在说:我们已经被卷进这个漩涡里了,保持清醒已经很难,保持干净几乎不可能。 感觉是时候写一篇论文了:人与 AI 如何和谐共生😂
顯示更多
llm不是万能工具,如何正确使用llm确实是一门学问。
📌 LLM驱动的 A/H/美股智能分析器:多数据源行情 + 实时新闻 + LLM决策仪表盘 + 多渠道推送,零成本定时运行,纯白嫖. LLM-powered stock analysis system for
现在的 Coding LLM,很擅长处理代码、日志、文档、终端输出,但它们理解的是被描述的世界,而不是真实运行后的世界。 开发时就会遇到一种情况,代码逻辑完全正确,然后页面问题一堆,例如字体发虚、间距不协调、响应式布局失效,或者小程序、WebView、浏览器之间表现不一致。 这些问题,人一眼就能察觉,但纯语言模型就是不行。这也是当前做软件开发最让人头疼的地方,调细节调到手软,🐶 很多 Agent 会接入 Playwright/Puppeteer/截图分析/OCR/DOM Tree 等能力,相当于在给 LLM 增加了视觉输入,但就算是拿到了截图,它也很难还原真实画面,因为它依然是通过本文的方式来理解这个世界的。 产品体验里有大量东西,包括视觉认知、空间感知、交互节奏、动态反馈等,都存在于人的直觉里,滚动、动画、拖拽、手势、页面切换、焦点变化、微交互,这些都不是单张截图能够理解的。 最近也看到了一些变化的趋势,多模态 Coding Agent 已经在路上了。 下一代 Agent 会越来越像一个真正的软件工程师,它会自己运行页面,观察界面变化,理解视觉问题,修改代码,再重新运行,再继续观察。 当前主要还在靠 Harnees 工程手段来弥补这一块。
顯示更多
0
25
51
5
轉發到社區
之前做LLM推理芯片架构探索的时候,我把四大AI推理ASIC公司的架构都翻过一遍。Groq、SambaNova、Tenstorrent、Cerebras。前三家的思路虽然各有侧重,但底层逻辑都在同一个框架里:片上大SRAM + dataflow架构 + 确定性调度,核心差异在NoC拓扑、内存层级、编译器抽象这些维度上展开。 Cerebras是里面让我真正被震惊到的一家,而它却这四家里马上第一个拿到IPO结果的。 这家公司的选择比其他三家都激进一个量级:不做芯片,直接做整片wafer。 单颗WSE-3,21.5cm × 21.5cm的整片晶圆,90万个PE通过scribe-line stitching在物理上连成一片连续的silicon。这个工艺是Cerebras和TSMC联合定制的,把原本用于晶圆切割的窄条改造成跨reticle的金属导线,让所有reticle在物理上拼接成一整块芯片。(配图二展示了单颗WSE-3内部结构:左半边是整片晶圆的reticle网格和scribe-line拼接,右半边放大了单个PE的微架构。) 单个PE的结构极简:8-wide FP16 SIMD计算核,48KB本地SRAM直连,没有cache层级,所有数据访问都是确定性的单周期。加上一个5端口路由器(N/S/E/W + loopback),相邻PE之间的通信延迟也是单周期。关键在于,跨reticle边界的mesh在物理参数上和reticle内部完全一致,编译器和runtime完全不需要感知reticle边界的存在。 从LLM推理的视角看,这个均匀性的价值非常大。 LLM推理的瓶颈在decode阶段。每生成一个token,模型权重要被完整读取一次,计算量却很小,典型的memory-bound场景。GPU集群在这个环节的核心问题是数据搬运:HBM带宽有限,多卡之间还要经过NVLink → NVSwitch → InfiniBand → Ethernet四层互联,每一层带宽和延迟都差几个量级,编程模型必须显式处理每一层的拓扑边界。 Cerebras的做法完全绕开了这个问题。单片wafer内部fabric带宽27 PB/s,权重从外部的MemoryX存储集群通过SwarmX流入wafer后,在PE之间按数据流模式传播执行,同一套placement和routing算法跑遍整片wafer。(配图一展示了这个系统级架构:MemoryX参数存储集群到SwarmX互联fabric,再到底层最多2048台CS-3节点,权重广播和梯度规约的数据流方向一目了然。) 90万个PE各自带48KB SRAM,合计约42GB片上存储,每个PE对自己本地SRAM的访问是单周期确定性的,PE间通信每跳single-cycle,延迟和曼哈顿距离成正比。对于推理场景,前提是weight streaming的编译器能把权重有效地分配到对应的PE上,这42GB分布式片上SRAM的聚合带宽远超GPU的HBM方案,没有cache层级带来的访问不确定性,没有跨芯片搬运的开销。 回到我自己的体感。做推理芯片架构的时候,NoC拓扑和内存层级的权衡花了大量精力,因为芯片边界是硬约束,跨芯片通信的成本和片内通信之间永远存在断层。Cerebras的做法等于从片内通信的角度消除了这个断层,代价是整条制造和封装链都要重新定义。 这也解释了Cerebras的工程取舍。所有架构创新集中在wafer内部,scale-out方向直接复用100GbE + RoCE的以太网生态。wafer内27 PB/s对比跨CS-3的SwarmX在Tbps量级,几个数量级的差距全部交给商品化网络承担。推理场景下单wafer内部的带宽和延迟优势可以直接转化成token生成速度。 OpenAI选择和Cerebras合作做推理,从架构层面看逻辑是通的。大规模在线推理需要低延迟、高吞吐、确定性时延,这三点恰好是wafer-scale架构在片上通信均匀性方面的结构性优势。 但这套架构也有几个结构性的问题值得正视。 良率和成本是绕不开的。整片wafer做单颗芯片,任何一个reticle的缺陷都影响整体。Cerebras靠冗余PE和路由绕行来应对,但冗余比例和良率数据从未公开过。一片wafer的制造成本本身就远高于切割后卖单颗die的模式,叠加23kW、15U的单系统功耗和体积,部署密度和TCO在大规模推理集群的经济性上面临考验。 最关键的是KV cache的容量瓶颈。42GB片上SRAM看起来很大,但长上下文推理场景下KV cache随序列长度线性增长。以Llama 70B为参考,FP16下128K上下文的KV cache就要吃掉约40GB,即使做KV cache量化,长序列场景下的容量压力仍然显著。片上放不下的部分必须依赖MemoryX做外部存储,数据要经过SwarmX回传,这条路径的带宽在Tbps量级,和wafer内部27 PB/s的差距意味着长序列场景下decode速度会被外部带宽卡住。这可能是Cerebras在推理场景面临的最核心的架构约束。
顯示更多
0
45
270
47
轉發到社區
基于 Transformer 架构的 LLM 最大的问题就是没有时间感,我觉得这是主观智能甚至是意识到重要部分,时间的连续感知和记忆的先后形成了“自我”!每次涉及到Agentic 任务我都得让模型自己使用 tool 确定操作时间,别让它靠幻觉脑补😂 不知道我这样对不对?
顯示更多
0
11
43
3
轉發到社區
感谢 @taresky 推荐,LLM 模型换成了 gpt-5.4-nano,速度特别快,目前默认模型已经改为 gpt-5.4-nano。
🤖 AI Agent 学习地图 — 从基础 LLM 概念到自己构建多 agent 系统,为“想学习 AI 或 AI agent 的人”设计。 结构化 7 阶段学习路径,从「LLM 是什么、token 怎么算」一路到 multi-agent 编排、本地部署, 每阶段都有必做的 動手練習 练习、必修阅读、精选 project
顯示更多
0
4
180
51
轉發到社區
实用小工具推荐:Hyper-Extract 使用 LLM 将非结构化文本转换为结构化知识。你可以把一大段乱糟糟的文字丢进去,它能帮你用 LLM 自动提炼结构并生成知识图谱,自带命令行工具,一行命令就能跑起来,还预置了 80 多个领域模板,金融、医疗、法律都有覆盖,不用自己写提示词。
顯示更多
0
12
420
72
轉發到社區
会用 Claude 聊天,不等于会做 LLM 工程。 这两件事之间的距离,比大多数人想象的远。 2026 年,"会用 AI"已经是基本门槛,不是护城河。 真正的护城河是:能设计、部署、监控一个生产级 AI 系统。 这需要的不只是会写 prompt。 从聊天到生产,你需要补上这几段距离: 提示工程 → 上下文工程 不是写更好的 prompt,是设计信息如何进入模型、以什么格式、在什么时机。 本地跑通 → 生产部署 延迟、并发、成本控制、降级策略——这些在 demo 里不存在,在生产里全是问题。 单次调用 → 可观测系统 你不知道模型在哪个请求上出了问题,就没办法系统性地改进它。 RAG 原型 → 检索工程 向量搜索只是起点。重排序、混合检索、上下文压缩,每一层都影响最终质量。 单 Agent → 多 Agent 协作 任务分解、状态管理、错误恢复——这是分布式系统问题,不是 prompt 问题。 "能设计 AI 系统"的人,永远比"会用 AI 工具"的人稀缺。 稀缺才有溢价。
顯示更多