🔌 把大模型搬进自己电脑的开源桌面应用,聊天记录不用交出去。
GitHub 上 4.4 万 Star,Apache 2.0 许可证,Windows、macOS、Linux 三个平台都有。
平时想问 AI 一个涉及公司内部资料的问题,总要先在心里过一遍这段能不能发出去,权衡半天最后干脆放弃。Jan 的解法是让模型直接跑在你自己机器上:从 Hugging Face 拉一个 Llama、Gemma 或者 Qwen 下来,整段对话都在本机完成。真需要更强的模型时再切到 OpenAI、Anthropic、Mistral 这些云端服务,本地和云端在同一个界面里随时换。
它还在本机 1337 端口开了一个 OpenAI 兼容接口,你原来那些调 OpenAI 的脚本,把地址一改就能指向本地模型跑,业务代码一行不用动。另外它也接了 MCP,能给自己建的助手挂上外部工具。
数据放在哪,心里踏实的程度是完全不一样的。
GitHub:
顯示更多