Mulight 沐光🌟
@Mulight
AI Research · Markets · Web3
商务：@mulight0826
가입 September 2022
3.6K 팔로잉 중 17.3K 팬
我只对 Codex 说了一句话：
你可以帮我直接部署这个模型吗？
然后，它真的在我的Windows电脑上把百灵 Ling 3.0 Tiny 跑起来了。
不是输出一堆命令让我自己研究，Codex会直接检查 GPU和 WSL2、安装 Docker、配置NVIDIA环境、下载模型、读取报错并继续修复，直到本地 API 真正返回中文答案。
最终在 RTX 5070 Ti 16GB 上成功运行：8K 上下文，显存约 15GB，预热后实测约 282–286 tokens/s。
以后可以直接让AI完成部署。
用 Codex 一键部署的好处：
01. 不用手动复制命令
Codex 可以直接检查环境、安装依赖并执行部署。
02. 遇到报错会继续处理
它能读取日志、定位原因、修改配置并重新启动，而不是只给出报错解释。
03. 自动适配本机硬件
根据显卡、显存、系统和磁盘情况选择模型版本与运行参数。
04. 部署结果可以真实验收
自动检查容器、显存和 API，并发送真实请求确认模型可用。
05. 自动生成管理工具
可以顺手制作一键启动、停止、查看状态和网页聊天入口。
06. 过程可以沉淀为脚本
成功部署后固化成可重复使用的脚本，下次启动不用重新研究。
07. 降低本地部署门槛
不需要提前精通 WSL、Docker、CUDA 和推理框架，也能完成完整部署。
더 보기
