免费大模型“聚合路由器”：一键接入34家AI服务商，每月74亿Token额度全白嫖

你是否试过为一个本地AI应用配齐多个免费API密钥——结果被Groq、Cloudflare、Mistral、OpenRouter等34家平台不同的SDK、鉴权方式、速率限制和错误码搞得焦头烂额？FreeLLMAPI 就是为此而生：它不是另一个大模型，而是一个智能代理层，把全球34家主流AI服务商的免费额度（合计约74亿Token/月）统一成一个标准 OpenAI /v1 接口。你只需部署一次、配置一次、调用一次，剩下的自动路由、自动降级、自动加密、自动更新——真正让“白嫖AI算力”变得可持续、可维护、不踩坑。

核心功能

统一OpenAI兼容接口，告别多SDK适配之苦：无论你用的是LangChain、LlamaIndex、Ollama CLI还是VS Code Copilot插件，只要支持OPENAI_API_BASE和OPENAI_API_KEY，就能直连FreeLLMAPI的http://localhost:8080/v1，无需修改一行业务代码——它自动将请求翻译并分发到后端34家服务商中可用的最优节点。
智能路由+自动熔断，拒绝“503 Service Unavailable”焦虑：当某家提供商（如Cerebras）触发每分钟10次调用限制时，FreeLLMAPI会在毫秒级内检测失败，并自动切换至下一个空闲且配额充足的提供商（如Google或OpenRouter），整个过程对上游客户端完全透明，用户无感知。
密钥端侧加密存储，隐私不交“中间商”：所有API密钥（包括Google、Groq、Cloudflare等）均在本地设备上使用AES-256加密后存入SQLite数据库，服务端永不接触明文密钥——哪怕你把FreeLLMAPI部署在公共云服务器上，也无需担心密钥泄露风险。
动态模型目录自动同步，免手动升级：项目内置安全签名验证机制，每日自动从freellmapi.co拉取最新模型清单（含新增模型、配额变更、废弃接口预警）。免费版延迟30天同步，付费版（$19/年）则实现“当日上线即可用”，彻底解决“明明官网说有Qwen3免费额度，我的本地服务却找不到”的经典困境。
细粒度用量追踪，精准守住每家免费限额：不仅统计总调用次数，更按provider + model + key三元组实时记录Token消耗（含prompt+completion），并在控制台直观展示各服务商剩余配额百分比，避免因某家超额导致整条链路中断。
全模态支持，不止于文本聊天：除标准/chat/completions外，完整支持/embeddings（如BGE-M3免费向量服务）、/images/generations（如Playground v2图像生成）、/audio/transcriptions（如AssemblyAI免费ASR），一套代理打通文本、向量、图像、语音四大AI能力栈。
开箱即用的桌面客户端，零命令行门槛：官方提供Windows/macOS/Linux原生桌面App（Google Play亦有Android版），图形界面完成密钥导入、模型启停、流量监控与日志查看，学生、产品经理、非技术运营人员也能5分钟完成部署。

技术亮点

轻量TypeScript全栈架构，无Python依赖：基于Fastify（高性能Node.js框架）构建，采用纯TypeScript开发，启动内存占用仅~80MB，Docker镜像体积<120MB；规避了Python生态常见的版本冲突与编译问题，尤其适合树莓派、旧MacBook等边缘设备部署。
声明式路由策略引擎，支持自定义权重与规则：默认按“延迟最低+配额最足”双因子排序，但可通过router.config.json灵活配置——例如强制将所有gpt-4o-mini请求优先走Groq（低延迟），而长文本摘要任务强制走Cohere（高token免费额度），策略可热更新无需重启服务。
端到端加密密钥管理（E2EEKM）设计：密钥加密密钥（KEK）由用户首次启动时本地生成并缓存在内存中，SQLite数据库仅存密文；若用户启用--passphrase参数，KEK还会派生自口令，实现“无口令无法解密”的军工级防护。
带签名的增量模型目录协议（SMDP）：模型清单以CBOR二进制格式分发，附带Ed25519签名，客户端校验通过后才更新本地缓存。每次更新仅传输差异部分（Delta），网络开销低于2KB/天，弱网环境（如校园宽带）下依然稳定可靠。

适合哪些人用

FreeLLMAPI的核心价值在于“降低AI基础设施使用门槛”，特别适合三类人群：

学生与个人开发者：用LangChain写毕业设计时，无需为每个模型单独申请密钥、调试超时参数。案例：某计算机系学生用FreeLLMAPI聚合Google Gemini + Mistral + DeepInfra，在本地笔记本上跑通了支持10万字PDF解析的RAG系统，全程未花一分钱API费用。
中小团队技术负责人：为内部知识库、客服机器人搭建低成本AI底座。案例：一家20人电商公司用FreeLLMAPI对接Notion AI插件，将客户咨询自动分类+生成回复草稿，月均节省OpenAI商用账单$1,200+，且无供应商锁定风险。
开源工具作者：为自己的CLI工具（如ai-cli或text2sql）增加“免配置AI后端”。案例：某GitHub热门Shell工具作者集成FreeLLMAPI后，用户只需export OPENAI_API_BASE=http://localhost:8080/v1即可运行，文档篇幅减少70%。

快速上手

推荐Docker Compose一键部署（Windows/macOS/Linux通用）：

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
cp .env.example .env
# 编辑.env：填入你的各平台API密钥（GROQ_API_KEY、GOOGLE_API_KEY等）
docker compose up -d
# 服务启动后访问 http://localhost:8080/docs 查看交互式API文档

验证是否生效：
curl http://localhost:8080/v1/models 应返回包含google/gemini-2.0-flash、groq/llama-3.1-70b-versatile等635个免费模型的列表。

同类对比 / 注意事项

不同于单纯转发请求的代理（如openai-proxy）或仅支持单一服务商的封装（如ollama-groq），FreeLLMAPI本质是“AI资源调度操作系统”：它具备状态感知（配额）、决策能力（路由）、安全边界（密钥加密）和进化机制（自动目录更新）。但需注意：
• 不适用于生产级高并发场景：当前设计目标是个人/小团队实验，单实例建议承载≤50 QPS；更高负载需自行水平扩展；
• 免费额度波动属正常现象：部分服务商（如Fireworks.ai）可能临时关闭免费层，FreeLLMAPI会自动屏蔽失效端点，但用户需定期查看freellmapi.co的实时状态页；
• 中文优化需额外配置：部分模型（如Qwen、GLM）需在请求中显式添加"response_format": {"type": "text"}避免JSON格式干扰，详细适配指南见docs/clients.md。