NVIDIA 的 刚发布的PAIR 已经允许把家庭或办公室网络里的 RTX PC、DGX Spark 和 Mac 组合成一个本地 inference cluster,
并把多个独立 Agent 请求自动路由到空闲设备;提示词、文件和 Agent context 可以留在本地网络。
各节点并行承担不同请求。
同时ASUS 前天发布的 RTX Spark ProArt 笔记本声称可在本地运行最高约 120B 参数模型。
所以 AI PC 的发展越来越像让一个家庭/小公司拥有自己的 mini-cloud。
这会改变云端 Agent 与本地 Agent 的成本边界。
显示更多