让2.8万亿参数大模型在你家RTX 4090上实时运行：纯C写的“内存多层调度”推理引擎

Colibri（蜂鸟）不是一个传统意义上的LLM推理框架，而是一场针对“硬件瓶颈”的系统级突围——它用不到3000行纯C代码，把7440亿到2.8万亿参数的前沿MoE大模型，直接部署在消费级显卡、笔记本内存甚至NVMe硬盘上。它不依赖CUDA加速库、不调用PyTorch/TensorRT，也不需要A100/H100集群；它把VRAM、RAM和SSD视为同一套连续内存层级，按需流式加载专家（expert），让“买不起算力”不再成为私有大模型落地的拦路虎。

核心功能

零依赖纯C运行超大规模MoE模型：无需Python环境、不链接任何第三方库（如cuBLAS/cuDNN），编译即跑，嵌入式设备、老旧服务器、MacBook Pro均可开箱即用，彻底摆脱AI栈臃肿依赖。
跨存储层级的专家动态调度：模型权重按专家切分后，自动判断哪些专家常驻VRAM、哪些缓存在RAM、哪些仅存于NVMe磁盘；推理时实时流式加载，避免“全模型加载失败”的经典报错，让744B GLM-5.2在6×RTX 4090上实测达到4 token/s吞吐。
语义严格保真的MoE路由机制：绝不因内存不足而静默降级精度或篡改专家选择逻辑——若显存不足，只降低速度，不改变模型行为；所有int4量化、专家激活路径、路由温度系数均全程可审计、可复现。
开箱即用的可视化调试平台：执行./coli web即可启动本地Web仪表盘，实时显示每毫秒的专家激活热图（“Mini-Brain”）、三层内存占用条（VRAM/RAM/Disk）、单轮推理时间拆解（TTFT/Prefill/Decode），甚至支持3D星系视图（Atlas）查看1.3万个专家的主题聚类分布。
统一前端适配8大家族模型：GLM-5.2/5.3（744B）、Kimi K3（2.8T）、Qwen3.8-Flash-Next（125B+51B n-gram）、DeepSeek V4 Flash（284B）等全部共用同一套coli chat/coli serve命令行接口，切换模型只需替换一个C源文件，无需重写服务逻辑。
面向研究者的可测量实验平台：每个优化提案（如新调度策略、新量化方案）必须通过端到端真实负载测试（非合成benchmark），项目明确拒绝“微基准快但实际慢”的黑盒改进，所有性能数据开源可复现。
支持视觉-语言混合推理（GLM-5.3-Flash）：在纯C引擎中集成图像编码器，实现文本+图片联合理解，且视觉特征同样参与MoE专家路由，无需额外GPU显存预分配，对多模态边缘部署极具价值。
轻量级HTTP API与CLI双模式：既可通过coli serve --port 8080快速暴露OpenAI兼容API供LangChain调用，也支持终端直连coli chat进行低延迟交互，兼顾开发调试与生产集成。

技术亮点

单一内存抽象层（Unified Memory Hierarchy）：Colibri不区分“显存/内存/磁盘”，而是构建逻辑连续地址空间，由引擎内核动态决定数据放置位置。例如：高频专家常驻VRAM，冷门专家仅保留在NVMe并启用DMA直读，中间层用mmap映射实现零拷贝访问——这比传统“先加载再推理”模式减少90%以上I/O等待。
专家流式加载（Expert Streaming）：每个MoE模型被编译为独立C文件（如glm52.c），含权重索引表与轻量路由函数；推理时仅加载当前token所需专家子集，配合预取（prefetch）与LRU缓存淘汰，实测在PCIe 4.0 SSD上专家加载延迟压至8ms以内。
无状态、无锁、无异常的C实现：全项目无malloc/free动态内存管理（全部使用arena allocator），无线程锁竞争（单线程+异步I/O），无C++异常或RTTI，确保在资源受限环境稳定运行，也便于静态分析与安全审计。
基于实测的专家主题图谱（Expert Atlas）：项目团队对13260个专家进行真实请求聚类，生成可交互3D星系图——每个点代表一个专家，坐标由实测路由相似性计算得出，而非学习嵌入；法律、SQL、古诗等专业领域专家自然聚类，为模型可解释性与定向优化提供依据。
CPU/GPU计算重叠设计：在GPU执行当前token decode时，CPU已并行解析下一token的router输出并预取对应专家权重，显著摊薄TTFT（首字延迟），官网演示中744B模型TTFT稳定在1.6秒（6×RTX 5090）。

适合哪些人用

Colibri不是给“只想跑个ChatUI”的用户准备的，它的理想使用者是：关注推理成本、重视模型可控性、愿为性能亲手改代码的工程师与研究员。

典型场景一：AI初创公司CTO——用4台二手RTX 4090服务器（总价约￥6万）替代月租￥15万的云GPU集群，部署Kimi K3（2.8T）提供客户专属知识问答，所有专家激活日志实时落库，用于后续路由策略优化。

典型场景二：高校NLP实验室博士生——在没有A100的实验室里，用Colibri加载Qwen3.6（35B-A3B）做MoE稀疏性研究，修改router.c中一行代码即可测试新路由算法，并通过Web仪表盘验证专家激活分布变化，整个过程无需重装环境。

快速上手

仅需三步：

克隆并编译：git clone https://github.com/JustVugg/colibri && cd colibri && make（自动检测CUDA/NVMe，无GPU时默认纯CPU模式）
下载预编译模型（如GLM-5.2）：wget https://huggingface.co/justvugg/colibri-glm52/resolve/main/glm52.bin
启动交互式推理：./coli chat -m glm52.bin -t 0.8（支持-n指定专家缓存数、-d指定磁盘路径）

想看可视化？运行./coli web -m glm52.bin，浏览器打开http://localhost:8080即可进入实时监控面板。

同类对比 / 注意事项

vs llama.cpp：llama.cpp专注dense模型量化，对MoE支持弱（需手动拆分专家）；Colibri原生为MoE设计，专家调度、流式加载、多层级内存管理均为内置能力，且模型体积更小（GLM-5.2仅1.8GB int4 bin文件）。
vs vLLM/TGI：这些服务框架强在高并发吞吐，但依赖完整Python生态与特定GPU驱动；Colibri牺牲部分并发能力，换取极致轻量与硬件普适性——它能在树莓派5+USB SSD上跑通OLMoE（7B），而vLLM在此类设备根本无法安装。
注意事项：首次运行需预热（约30秒加载索引），NVMe带宽低于2GB/s时建议增加-c 4启用4路并行预取；Mac用户需关闭SIP才能启用mmap加速；Windows暂未官方支持（可通过WSL2运行）。