卧槽,Anthropic 2021年就在讨论这些了吗?
这是 Anthropic 2021 年 7 月的研究路线图,在 Bartz 版权案里被当作证据公开了,读完有点震撼。
- 顶层目标就是 AGI,落到具体是做一个能对话的 AI 助手,写函数、找 bug、设计 API、聊代码风格,“具备一个软件工程师同事的全部能力”
- 训练 1T 及以上的模型,用自动奖励 + 人类反馈做 RL 微调,那时 GPT-3 也才 175B
- 硬件 de-risk:TPU、Trainium,为 compute deals 做准备;最值钱的资产是模型权重,要加强安全
- 数据:language、code、diffs、PRs、debugging,拿 diffs 和 PRs 去 finetune,"把人的意图和模型行为连起来"
- long context 和 memory,批注里还提了三种 memory 方案:periodic batched backprop、soft database lookup、skeletonization
- reward model 的鲁棒性,对齐的 scaling law
- 单独一节 RL for Tool Use,先在 search 和 printf debugging 上看到 signs of life
- 批注区 Dario 有一句:"Yep. Basically the code editor."
每一个词现在看都不吃惊。但 2021 年 7 月,GPT-3 还是天花板,Copilot 预览版刚出两周,这些东西全部同时出现在一份文档里。人的认知差距,真的可以跨这么多年。
其他同时公开的还有
《Concise Research Roadmap》(简明研究路线图)
《Product visions for early 2025》(2025 年初产品愿景):写于 2023 年 6 月,讨论 Claude 未来可能的用途。
《Responsible Scaling as a Framework for Anthropic》(以负责任扩展作为 Anthropic 的框架):讨论 RSP(负责任扩展政策),以及 Anthropic 为什么要持续扩展模型能力
显示更多