Star 数 57611，但安装后体积不到 100MB

它不运行模型，但让你本地大模型真正能干活。

你装好一个本地 LLM，比如 Qwen3.5，结果发现只能在命令行里问两句——没文件上传、没网页搜索、不能连 Excel、更没法查自己硬盘里的 PDF。工具链断在了第一步。

PrivateGPT 就是补上这截断掉的链子：给你的本地模型加一层“操作系统”，让它像 ChatGPT 那样响应文档、调用工具、连数据库、带引用回答问题。

这个“操作系统”不是抽象概念。它实际暴露一个标准 HTTP API，路径是 /v1/chat/completions，和 Anthropic 的 Claude API 完全对齐。你原来写给 Claude 的前端代码、Agent 调度逻辑、甚至 Postman 测试脚本，几乎不用改就能跑通。

它也不依赖特定模型格式。只要后端服务支持 OpenAI 兼容协议——比如 Ollama、llama.cpp、vLLM、Text Generation WebUI，PrivateGPT 就能直接对接。你甚至可以混用：让聊天走 vLLM，嵌入走 Ollama，完全由环境变量控制。

能替代什么 / 能省多少钱

它不直接对标某款付费软件，而是替你绕开一整类“AI 中台服务”采购需求，比如企业买的 Zylon、Claude Desktop 企业版、或定制 RAG 平台，年费动辄数万元起。

你的模型在本地，但能力得靠 PrivateGPT 才完整。

这些商业方案核心卖点是什么？文档检索+工具调用+结构化数据访问+统一 API。PrivateGPT 全部开源实现，Apache-2.0 协议，可商用、可修改、无订阅。

价格直接砍到零。

更重要的是控制权。所有请求都在你内网闭环：PDF 不上传、SQL 查询不离库、Python 代码只在本地沙箱执行。没有中间商，也没有“用户数据用于改进模型”的条款。

主要能干这几件事

• 上传 PDF、Word、Excel 后自动切片建索引，提问时自动召回原文段落，并标出具体页码和来源，不是模糊匹配，是真能翻回去核对的引用式回答。它用的是 mxbai-embed-large 这类专用嵌入模型，不是简单关键词匹配。
• 不用写代码，点几下就能让模型联网查最新资讯：打开 UI 里的「Web Search」开关，它就自动调用内置搜索工具，把结果喂给大模型再总结输出。搜索结果会原样附在 response 的 tool_use 字段里，方便你做二次处理。
• 连上你本地的 SQLite 或 PostgreSQL 数据库，自然语言问“上个月销售额最高的三个产品”，它自动生成 SQL 并执行，返回表格结果，README 明确写了支持 text-to-sql。连接参数填在 UI 的 Database 配置页，支持密码加密存储。
• 把 Python 代码执行当成安全沙箱工具：提问“画个正弦波图”，它生成代码、运行、返回图片；所有计算都在你本机完成，不传任何数据出去。沙箱默认禁用网络、文件系统和系统调用，仅开放 math/numpy/matplotlib 等基础库。
• 支持 MCP（Model Context Protocol）标准，意味着你能把它接入 n8n、OpenCode 这类自动化平台，把本地大模型变成你工作流里的一个“智能节点”，而不是孤岛。MCP 通信走本地 Unix Socket 或 HTTP，不依赖云注册中心。
• 自带一个可直接访问的 Web UI（http://localhost:8080/ui），能选模型、传文件、开工具、看请求日志，不是玩具界面，官方说它“足够用于内部试点和快速验证”。UI 底层用的是 Svelte，所有交互都直连 PrivateGPT API，不经过任何第三方服务。

怎么开始用

1. 先装好 Ollama（官网 ollama.com 下载安装包，Windows/macOS/Linux 都有图形安装器），然后终端运行 ollama pull qwen3.5:35b 和 ollama pull mxbai-embed-large，再 ollama serve 启动服务。Ollama 默认监听 http://localhost:11434/v1，这个地址就是后续要填进环境变量的值。
2. 根据系统选安装方式：macOS 用 brew tap zylon-ai/tap && brew install private-gpt；Windows 或 Linux 则按 README 提示用 uv 工具安装，命令已写清楚，复制粘贴就行。安装后会生成 private-gpt 可执行文件，全局可用。
3. 启动 PrivateGPT 前，设置两个环境变量指向 Ollama 服务地址（默认是 http://localhost:11434/v1），然后运行 private-gpt serve，等终端显示 “Server started” 就可以打开 http://localhost:8080/ui 开始用了。服务默认监听 8080 端口，如需改端口，加 --port 9000 参数即可。

项目信息