首页 AI 正文

以后所有大模型调用,你都能看清、管住、算清

2026-10-29 0 5

你有没有过这种时候:给同事共享一个 OpenAI API Key,结果月底账单翻倍?

有人调错模型跑出 200 元账单,有人把 key 贴在 GitHub 上被扫走,还有人想换家供应商,却得挨个改十台服务器的配置。

不是不想管,是手头没个能统一开关、记账、限流的“水龙头”——所有请求都直连上游,像开着窗烧暖气。

以后所有大模型调用,你都能看清、管住、算清

它替你省掉了什么

以后所有大模型调用,你都能看清、管住、算清

它不替代某款具体付费软件,而是替你砍掉三类真金白银的支出:第一,免掉团队级 API 管理 SaaS 的年费,比如 Langfuse Cloud 或 PromptLayer 的企业版,起步就要每月几百元;第二,避免因 key 泄露或误配导致的意外扣费,有用户实测一次密钥外泄,3 小时内被刷走 4700 元;第三,省下多模型切换时的重复开发成本——原来换 Gemini 得改代码,现在只在后台点两下就行。

所有模型调用,第一次经过你的电脑,最后一次也停在你的电脑。

它不卖账号、不收订阅、不托管数据。你装在自己服务器上,API 请求进来,它拆开看是谁、要什么模型、走哪条路、花多少钱,再转发出去。全程不碰原始 prompt,也不存 response。

价格直接砍到零。

核心功能

以后所有大模型调用,你都能看清、管住、算清

  • 一个入口,对接所有大模型服务商。OpenAI、Claude、Gemini、Qwen、DeepSeek……不用再为每个平台单独申请 key、写适配代码。你在客户端只认 new-api 这一个地址,后端自动路由到对应服务商。比如发请求到 http://your-server:3000/v1/chat/completions,网关会根据你预设的规则,把请求转给 Azure OpenAI 的 /openai/deployments/xxx/chat/completions 或本地 Qwen 的 Ollama 接口。
  • 给每个成员发独立 API Key,并设好权限和额度。销售同事只能调用轻量模型做客服回复,算法组才能跑 GPT-4o,超支自动熔断。文档里明确写了支持基于角色的访问控制(RBAC)。你可以在「Accounts」页面新建用户,勾选「Can use models」并限制最大并发数、每小时 token 上限,甚至禁用特定插件调用权限。
  • 每笔请求都记明细:谁、什么时候、用了哪个模型、输入多少 token、输出多少 token、花了多少钱。成本按模型单价自动折算,导出 Excel 就能报销,这功能连很多商业 API 平台都要加钱买。报表支持按日/周/月筛选,字段包含 request_id、user_id、model_name、input_tokens、output_tokens、channel_used、cost_usd。
  • 模型故障自动兜底。比如 OpenAI 接口超时,它会按你预设的权重,把请求悄悄切到 Azure 或本地 Qwen,客户端完全无感。重试次数、超时阈值、通道优先级,全在网页后台点选配置。例如在「Channels」页中,你可以为每个上游服务设置 timeout_ms=60000、max_retries=2、weight=80,并开启「failover to fallback channel」开关。
  • 插件市场直接装进网关。官方列出的插件如“天气查询”“股票行情”,不用改一行代码就能接入,前端调用方式和原生 API 完全一致。README 提到已验证兼容 OpenAI 插件生态。安装后,插件会出现在「Plugins」菜单下,启用即生效,调用时仍走标准 /v1/chat/completions 接口,网关自动注入工具定义并处理 function_call 响应。
  • 支持私有化部署,不依赖任何云服务。Docker 一键拉起,Linux 服务器或 Mac Mini 都能跑。iOS 版本虽未上架 App Store,但项目说明支持 iOS 上通过 Termius 等终端工具管理,适合技术型小团队。部署后默认监听 3000 端口,HTTPS 可通过 Nginx 反向代理 + Let’s Encrypt 自动配置,无需修改源码。

上手只要三步

以后所有大模型调用,你都能看清、管住、算清

  1. 去 GitHub 页面下载最新 release 包,或直接运行 docker run -d -p 3000:3000 CalciumIon/new-api。官网 Docker Hub 镜像已更新至 v0.12.3,无需编译。如果你用 Apple Silicon Mac,镜像已原生支持 arm64 架构,启动后容器状态显示 healthy 即可。
  2. 浏览器打开 http://localhost:3000,用默认账号 admin/admin 登录,进「Channels」页面填入你的 OpenAI、Gemini 等上游 API Key。每填一个,系统自动测试连通性。测试按钮叫「Test Connection」,点击后弹出绿色提示框显示「Connection successful」才算就绪。
  3. 复制页面生成的「新 API 地址」和「你的专属 Key」,粘贴到你的应用或脚本里替换原来的 OpenAI 地址。从此所有调用都经由你自己的网关流转。例如 Python 中 requests.post() 的 url 参数从 https://api.openai.com/v1/chat/completions 改为 http://your-server:3000/v1/chat/completions,headers 里的 Authorization 字段保持不变,仍用 Bearer + 你的专属 Key。

项目信息

以后所有大模型调用,你都能看清、管住、算清


📦
QuantumNous/new-api
GitHub

Open-source AI gateway. Self-hosted LLM gateway with OpenAI-, Claude- and Gemini-compatible APIs, model routing, access control, usage tracking and co

⭐
50.9k

Stars

🔀
12.3k
Forks


Go

📄
AGPL-3.0

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

本网站所提供的所有资源(包括但不限于软件、文档、教程、代码、素材等)均收集自互联网公开渠道,仅供个人学习、研究及交流使用。我们无法对所有资源的版权归属进行逐一核实。

OPENKLC昆仑草-免费资源下载-源码下载 AI 以后所有大模型调用,你都能看清、管住、算清 https://www.openklc.com/3820.html

常见问题

相关文章

发表评论
暂无评论
  • 19657584569 +

    访问总数

  • 28 +

    会员总数

  • 1447 +

    文章总数

  • 1 +

    今日发布

  • 41 +

    本周发布

  • 536 +

    运行天数

你的前景,远超我们想象