你有没有过这种时候:给同事共享一个 OpenAI API Key,结果月底账单翻倍?
有人调错模型跑出 200 元账单,有人把 key 贴在 GitHub 上被扫走,还有人想换家供应商,却得挨个改十台服务器的配置。
不是不想管,是手头没个能统一开关、记账、限流的“水龙头”——所有请求都直连上游,像开着窗烧暖气。
它替你省掉了什么
它不替代某款具体付费软件,而是替你砍掉三类真金白银的支出:第一,免掉团队级 API 管理 SaaS 的年费,比如 Langfuse Cloud 或 PromptLayer 的企业版,起步就要每月几百元;第二,避免因 key 泄露或误配导致的意外扣费,有用户实测一次密钥外泄,3 小时内被刷走 4700 元;第三,省下多模型切换时的重复开发成本——原来换 Gemini 得改代码,现在只在后台点两下就行。
所有模型调用,第一次经过你的电脑,最后一次也停在你的电脑。
它不卖账号、不收订阅、不托管数据。你装在自己服务器上,API 请求进来,它拆开看是谁、要什么模型、走哪条路、花多少钱,再转发出去。全程不碰原始 prompt,也不存 response。
价格直接砍到零。
核心功能
- 一个入口,对接所有大模型服务商。OpenAI、Claude、Gemini、Qwen、DeepSeek……不用再为每个平台单独申请 key、写适配代码。你在客户端只认 new-api 这一个地址,后端自动路由到对应服务商。比如发请求到
http://your-server:3000/v1/chat/completions,网关会根据你预设的规则,把请求转给 Azure OpenAI 的/openai/deployments/xxx/chat/completions或本地 Qwen 的 Ollama 接口。 - 给每个成员发独立 API Key,并设好权限和额度。销售同事只能调用轻量模型做客服回复,算法组才能跑 GPT-4o,超支自动熔断。文档里明确写了支持基于角色的访问控制(RBAC)。你可以在「Accounts」页面新建用户,勾选「Can use models」并限制最大并发数、每小时 token 上限,甚至禁用特定插件调用权限。
- 每笔请求都记明细:谁、什么时候、用了哪个模型、输入多少 token、输出多少 token、花了多少钱。成本按模型单价自动折算,导出 Excel 就能报销,这功能连很多商业 API 平台都要加钱买。报表支持按日/周/月筛选,字段包含 request_id、user_id、model_name、input_tokens、output_tokens、channel_used、cost_usd。
- 模型故障自动兜底。比如 OpenAI 接口超时,它会按你预设的权重,把请求悄悄切到 Azure 或本地 Qwen,客户端完全无感。重试次数、超时阈值、通道优先级,全在网页后台点选配置。例如在「Channels」页中,你可以为每个上游服务设置 timeout_ms=60000、max_retries=2、weight=80,并开启「failover to fallback channel」开关。
- 插件市场直接装进网关。官方列出的插件如“天气查询”“股票行情”,不用改一行代码就能接入,前端调用方式和原生 API 完全一致。README 提到已验证兼容 OpenAI 插件生态。安装后,插件会出现在「Plugins」菜单下,启用即生效,调用时仍走标准 /v1/chat/completions 接口,网关自动注入工具定义并处理 function_call 响应。
- 支持私有化部署,不依赖任何云服务。Docker 一键拉起,Linux 服务器或 Mac Mini 都能跑。iOS 版本虽未上架 App Store,但项目说明支持 iOS 上通过 Termius 等终端工具管理,适合技术型小团队。部署后默认监听 3000 端口,HTTPS 可通过 Nginx 反向代理 + Let’s Encrypt 自动配置,无需修改源码。
上手只要三步
- 去 GitHub 页面下载最新 release 包,或直接运行 docker run -d -p 3000:3000 CalciumIon/new-api。官网 Docker Hub 镜像已更新至 v0.12.3,无需编译。如果你用 Apple Silicon Mac,镜像已原生支持 arm64 架构,启动后容器状态显示 healthy 即可。
- 浏览器打开 http://localhost:3000,用默认账号 admin/admin 登录,进「Channels」页面填入你的 OpenAI、Gemini 等上游 API Key。每填一个,系统自动测试连通性。测试按钮叫「Test Connection」,点击后弹出绿色提示框显示「Connection successful」才算就绪。
- 复制页面生成的「新 API 地址」和「你的专属 Key」,粘贴到你的应用或脚本里替换原来的 OpenAI 地址。从此所有调用都经由你自己的网关流转。例如 Python 中 requests.post() 的 url 参数从
https://api.openai.com/v1/chat/completions改为http://your-server:3000/v1/chat/completions,headers 里的 Authorization 字段保持不变,仍用 Bearer + 你的专属 Key。
项目信息
QuantumNous/new-api
GitHub
Open-source AI gateway. Self-hosted LLM gateway with OpenAI-, Claude- and Gemini-compatible APIs, model routing, access control, usage tracking and co







