GitHubDaily(@GitHub_Daily):本地跑大模型的工具越来越多，光推理引擎就有 Ollama、llama.cpp、vLLM，还没算模型和界面。 LLMs-local 把本地跑大模型相关的资源整理到了一起，推理引擎、模型、硬件、教程都有。推理引擎收录了 Ollama、llama.cpp、vLLM 这些，界面有 Open WebUI、Lobe Chat，模型按用途分好了类。 GitHub：https://t.co/sCXZFKZDee 还收录了微调工具、Agent 框架、训练教程和硬件选购建议，一份清单基本能摸清整个生态。打算在自己机器上跑模型的朋友，可以先翻翻这份合集找找方向。

GitHubDaily

@GitHub_Daily

💡 挖掘开源的价值 🧑🏻‍💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术 🧐 A list cool, interesting projects of GitHub. ✏️ 公众号：GitHubDaily

加入 May 2023

209 正在關注 90.8K 粉絲

GitHubDaily@GitHub_Daily

2026.08.02 10:01

本地跑大模型的工具越来越多，光推理引擎就有 Ollama、llama.cpp、vLLM，还没算模型和界面。 LLMs-local 把本地跑大模型相关的资源整理到了一起，推理引擎、模型、硬件、教程都有。推理引擎收录了 Ollama、llama.cpp、vLLM 这些，界面有 Open WebUI、Lobe Chat，模型按用途分好了类。 GitHub：还收录了微调工具、Agent 框架、训练教程和硬件选购建议，一份清单基本能摸清整个生态。打算在自己机器上跑模型的朋友，可以先翻翻这份合集找找方向。