Wei
@wei_wang
13y mobile vet | $100M EM | Building ecom brands with China supplier network | AI tools & cross-border ecom 🇺🇸
13年移动端老兵 | 美国电商创业 | 分享AI工具 & 出海实操
参加 April 2022
451 フォロー中 6.8K ファン
NVIDIA 发布了 Personal AI Router，感觉这东西像是专门为家庭 AI 数据中心准备的。
它可以自动发现局域网里的 DGX Spark、RTX 电脑和 M4 以上 Mac，把不同系统上的 Ollama、LM Studio 接到同一个本地 Endpoint，再把 Agent 请求分配给当前空闲的机器。
以后 Hermes 只需要连接一个地址，简单任务丢给 Mac，小模型高并发交给 RTX，大模型交给 DGX Spark，家里所有闲置算力终于能统一调度。
提示词、文件和 Agent Context 都留在本地网络，不用上传云端。
注意，PAIR 做的是跨设备请求路由。每台机器仍然独立推理，它不会把几台设备的显存合并成一张虚拟 GPU，也不能取代 DGX Spark 之间的 TP2 直连。
我的两台 DGX Spark、M4 Mac mini 和 RTX PRO 6000，终于要组成真正的本地 AI 团队了。
もっと見る
