注册并分享邀请链接,可获得视频播放与邀请奖励。

Benson Sun
@BensonTWN
Founder of @coinkarma_ Full-time degen, part-time shit poster
加入 January 2019
907 正在关注    76.8K 粉丝
太長不看版: 1. 現在 LLM 是工程端「大力出奇蹟」的結果,底層模型存在缺乏邏輯與原生記憶的根本缺陷 2. 人與人之間原本難以跨越的能力與經驗差距,正在被 AI 迅速抹平。 3. 在「強大工具」變得廉價且易得的時代,如何調用與驅動 AI 的能力,已經比自身苦練多年的基礎能力更具決定性。 4. 核心競爭力是 Context Engineering,當 AI 成為通用的數位義肢,勝負就在於誰能更精準地進行「上下文工程」。管理記憶、篩選資訊、同步不同 session 的認知斷裂,將成為未來如何用好 AI 的關鍵。
显示更多
2023 年,Meta 首席 AI 科學家楊立昆給當時的 LLM 熱潮潑了一盆冷水。 他指出 LLM 有根本性的缺陷:沒有持久記憶、無法從單一經驗學習、缺乏對物理世界的理解。本質上,它只是在做「下一個 token 的預測」。 從學術的角度看,他說得完全正確。 直到今天,LLM 的底層架構依然沒有變。它依然是一具每次啟動都空空如也的統計引擎。 但在三年的工程演進後,我們發現了一個讓科學家尷尬的事實:學術上的根本缺陷,工程上不一定要正面解決,繞過去一樣能起飛。 楊立昆主張要走「世界模型」的路線,讓 AI 像人一樣建立對物理規律的理解。他認為 Scaling Law(規模定律)有天花板,LLM 光靠堆算力不能產生真正的智慧。 但工程界用兩件事回應了他: 第一,資本的暴力美學。過去三年,人類往算力砸錢的瘋狂程度,讓模型規模產生的「湧現」直接蓋過了架構的粗糙。 第二,系統性的外掛補丁。模型記不住?掛上向量資料庫。模型理解不夠?接上 Vision 和工具。 這就是工程學最迷人的地方:解決問題不需要追求「本質的優雅」。 楊立昆在研究神經元的排列,而工程師在研究如何把這個「不完美的大腦」裝進一個強大的「機械外骨骼」裡。 楊立昆對 LLM 的核心批評,是他認為 Pattern Matching(模式匹配)不算真正的學習。 但如果這種模式匹配的複雜度足以模擬出文明的所有邏輯,那「學習本身到底是什麼模式」還重要嗎? 飛機與鳥的飛行原理完全不同。飛機沒有羽毛、不會拍翅膀,但在它飛得更高、更遠、更穩定的那一刻,它到底「算不算在飛」已經不重要了。 但繞過去的,跟真的解決,是兩回事。 只要底層架構沒變,楊立昆講的那些缺陷就真實存在。記憶是外掛的,不是原生的。就像義肢,裝上去能走能跑,但它跟真正的腿就是不一樣。你不能假裝它不存在。 所以雖然 AI 已經很強了,推理、寫作、寫程式,很多事做得比大部分人好,但它每次都是一個全新的大腦。沒有連續的意識,沒有累積的經驗。它所有的「記憶」、「理解」、「偏好」,全部來自你這次塞給它的上下文。 如果你去看 OpenClaw 最近的 repo 更新,你會發現記憶管理佔了很大的篇幅。怎麼讓 AI 在對話之間記住該記住的東西。 他們最近推的 QMD,把關鍵字搜尋跟語意搜尋混在一起用,就是為了解決一個問題:你三天前跟 AI 聊過的東西,它下次怎麼找得回來。 模型本身的能力會繼續進步,但只要底層是 LLM,記憶管理就是一個繞不開的大山。 用工程的角度來說,就是 Context Engineering 的重要程度,會逐漸超過模型本身。 你怎麼管理每次丟給模型的那包上下文,決定了 AI 能幫你做到什麼程度。哪些資訊該放、哪些不該放。什麼時候該砍掉重來、什麼時候該接著繼續。不同對話之間的記憶怎麼同步、怎麼取捨。 我自己每天都在處理這個問題。 舉個例子,我的 OpenClaw Agent KAI,它常常在多個頻道處理不同任務,但它們的記憶不是即時同步的。只要 還沒更新,它們就不知道彼此剛做了什麼。 所以我常常要幫它做認知同步。譬如告訴 A 分身,B 分身目前正在做什麼,然後要求 B 把做的東西整理好傳過去。或者更簡單一點,直接叫 A 去讀另一個 Discord 頻道最近兩小時的對話,讓它自己同步 B 的工作內容。 這種「認知斷裂」的現象,只要你常用 AI,一定會有很強烈的感覺。 從人格化的角度看,你會覺得它們是同一個人。但事實上,它們只是共享同一份記憶。只要記憶沒有同步,它們就是不同的人。 我現在花比較多時間在學這一塊。譬如今天 KAI 就教了我,如果讓 Claude Code 的 Opus 4.6 從外部調用 GPT 5.3-Codex,用 MCP 跟 coding-agent skill 的差異是什麼。 KAI 告訴我,差異的核心在於:中間過程要不要進主 context。 用 MCP 調用 Codex,每一個 tool call 都走 MCP 協議。Codex 過程中的每一個 turn,讀檔、改檔、跑測試、報錯、retry,全部以 tool result 的形式灌回 Opus 的 context。一個 coding task 可能產生幾十個 turn,跑完之後 Opus 的 context window 已經被中間過程塞滿了,後面每一 turn 都要重送這些垃圾。這就是 context 污染。 而 coding-agent skill 的設計完全不同。它把整個 coding task 交給一個獨立的 sub-agent,這個 sub-agent 在自己的 context 裡完成所有中間過程。跑完之後,回傳給 Opus 的是一個精簡的 handoff summary:改了哪些檔案、測試跑過了沒、有沒有殘留問題。中間那幾十個 turn 的掙扎,Opus 完全不需要知道。 同樣一件事,兩種做法,Opus 的 context 乾淨程度天差地遠。 所以同一個模型,不同的人用,產出可以差十倍。 人與人之間原本的能力差距,已經沒那麼重要了。你的學歷、你的年資、你寫程式的底子,這些東西的權重正在被 AI 快速壓縮。 取而代之的,是你怎麼使用 AI。這件事的精度,才是現在真正決定產出的變數。 你理不理解它的記憶是怎麼運作的。你知不知道什麼時候該砍掉 context 重來、什麼時候該讓它接著跑。你能不能在對的時間,把對的資訊塞進那個 context window。 這些東西有一個名字,叫 Context Engineering。 它不是什麼高深的學問,但它是所有想把 AI 用好的人,都應該深入研究的東西。
显示更多
0
13
173
22
转发到社区