Magnitude：开源本地模型推理服务器，一键接入你已有的 AI Agent
一款开源推理服务器，可为您的硬件运行最适合的本地模型，并无缝接入您已在使用的智能体。兼容 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。
Magnitude
让您的智能体在本地模型上运行。免费、私密、离线。
Magnitude 是一款开源推理服务器，它会根据您的硬件配置推荐最合适的本地模型，并将其下载、调优后运行。它能对您的设备进行性能分析，为您推荐匹配的模型，随后自动完成下载、优化与启动。
支持与 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline 等框架协同工作，也可使用内置适配器。
⭐ 帮助我们触达更多开发者，壮大 Magnitude 社区。请为本项目点亮星标！
快速上手
将以下内容发送给您的智能体，即可引导其完成模型选择与部署：
请帮我通过 Magnitude CLI 部署本地模型。先执行 `npm i -g @magnitudedev/cli`（或使用我的包管理器）安装 CLI，然后运行 `magnitude docs onboarding` 并按提示操作。
您的智能体会对硬件进行评估，为您推荐最适合的本地模型，帮您选定后自动下载并切换至这些模型。
Magnitude 支持 macOS 和 Linux。Windows 用户可通过 WSL 使用。
想直接浏览模型列表吗？
npm i -g @magnitudedev/cli
magnitude setup
交互式安装界面允许您自行浏览推荐模型并作出选择。
为什么选择 Magnitude？
- 运行成本为零：无需支付 token 费用、无需 API 密钥，也无速率限制
- 完全私密且离线：模型、提示词和文件均保留在本地
- 以智能体为中心的部署：只需一条指令，智能体便会引导您完成后续流程
- 懂您的硬件：可精准识别芯片、内存与带宽等硬件参数
- 量身推荐：针对您的机器推荐最优模型，并提供预估的 tok/s 性能
- 端到端优化：支持推测解码、并发调度，全面适配您的硬件
- 按需加载：仅在需要时加载模型，空闲或内存紧张时即卸载
- 开源：采用 Apache 2.0 许可，您可以自由修改
常见问题解答
Magnitude 是什么？
一款开源推理服务器，可根据您的硬件条件推荐并运行最适合的本地模型，同时无缝集成到您已使用的智能体中。它会对您的设备进行分析，推荐匹配的模型，并负责下载、调优与运行。
我需要什么样的硬件？
没有严格的最低配置要求。Magnitude 会检测您的硬件，并为您推荐最适合的模型。配备更多内存可以让您运行更大规模的模型。
为什么不直接让我的智能体部署 Ollama？
那样的话，智能体会凭猜测行事，因为它不了解您的硬件配置、适合的量化方案以及实际运行速度。而 Magnitude 则为您提供了一份专为您的机器计算好的模型清单，配套了一套引导流程来生成适配器配置，并针对智能体的工作负载进行了专门的推理优化。
模型仅在需要时加载，空闲或内存不足时则自动卸载。
哪些适配器可以与之配合？
Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。在设置过程中，您的智能体会将所选模型与对应的适配器连接起来；当然，您也可以使用 Magnitude 自带的适配器。
部署完成后，我还需要手动管理 Magnitude 吗？
不需要。它会在后台运行，在智能体需要时加载相应模型，而在空闲或内存紧张时自动卸载。您的智能体随时可以通过 Magnitude CLI 安装或切换模型。
我的数据会上传到云端吗？
不会。提示词、文件和模型均保留在本地。
它可以完全离线运行吗？
可以。一旦 Magnitude 及所需模型已下载完毕，便无需联网。
我可以使用目录外的模型吗？
可以。只需 从Hugging Face下载兼容的GGUF模型，即可在 Magnitude 中使用这些模型。
了解更多
许可证
Magnitude 采用 Apache 许可证 2.0 许可协议。
点赞
收藏
点踩
分享