ds4.c 是一款专为 Apple Silicon（M1/M2/M3/M4）Mac 设计的极简原生推理引擎，让普通开发者和 AI 爱好者无需依赖云端或复杂框架，就能在本地高效运行目前最强的开源长上下文模型之一——DeepSeek-V4 Flash。它不追求“大而全”，而是聚焦于把 DeepSeek-V4 Flash 的金属加速能力榨干：从模型加载、思考链（Thinking Mode）执行、KV 缓存管理到 HTTP 服务接口，全部针对 Metal 优化，真正实现「开箱即用、秒级响应、百万上下文不卡顿」。
核心功能
- 纯 Metal 原生加速：深度绑定 Apple GPU，绕过 CPU 中转，推理速度比通用 GGUF 引擎提升显著，尤其在长文本生成与思考链场景下优势明显
- 专为 DeepSeek-V4 Flash 定制：非通用 GGUF 运行器，完整支持其独特的分块注意力机制、动态思考长度控制和超长 KV 缓存结构
- 智能思考模式（Thinking Mode）优化：自动压缩思考链输出——复杂问题思考更充分，简单问题几乎不“啰嗦”，实测思考段落可缩短至同类模型的 1/5，大幅降低延迟与显存占用
- 百万 Token 上下文实机支持：依托 Metal 高效内存管理，在 32GB 统一内存的 M2 Ultra 或 M3 Max 上稳定运行 100 万 token 上下文，真正释放模型知识边界
- 开箱即用的本地 API 服务：内置轻量 HTTP 服务器，启动即提供标准 OpenAI 兼容接口（/v1/chat/completions），可直接对接 LlamaIndex、LangChain 或自研前端
- 极致精简，无依赖编译：单文件 C 实现（ds4.c），仅依赖 macOS SDK 和 Metal 框架，无需 Python、CUDA 或额外 runtime，编译后二进制体积不足 5MB
适合哪些人用
如果你是以下用户之一，ds4.c 就是为你量身打造的工具：
• Mac 开发者：想在本地快速验证 DeepSeek-V4 Flash 能力，又不愿折腾 llama.cpp 或 Ollama 复杂配置；
• AI 应用创作者：需要将强大思考能力嵌入桌面工具、笔记插件或私有知识库系统，且对响应速度和隐私性要求极高；
• 技术博主与教育者：希望向学生或读者直观演示「百万上下文」「动态思考链」等前沿特性，而非停留在理论介绍；
• 边缘 AI 实践者：在无网络环境、低功耗设备（如 MacBook Air）上部署轻量但高智商的本地 AI 助手。
快速上手
只需三步，1 分钟内跑起来：
1. 安装 Xcode 命令行工具：xcode-select --install
2. 克隆并编译（自动启用 Metal）：git clone https://github.com/antirez/ds4 && cd ds4
make
3. 下载官方 DeepSeek-V4 Flash 的 .gguf 模型（推荐 quantized 版本如 Q4_K_M），然后启动服务：./ds4 -m deepseek-v4-flash.Q4_K_M.gguf -c 1048576
默认监听 http://localhost:8080，用 curl 或任何 OpenAI SDK 即可调用。
项目信息
DeepSeek 4 Flash local inference engine for Metal
2.4k
Stars
144
Forks
C
MIT
编程语言：C｜GitHub Star 数：2411｜开源协议：MIT｜GitHub 项目地址
这是目前 macOS 平台上最专注、最轻快、也最懂 DeepSeek-V4 Flash 的本地推理方案——不是另一个“能跑就行”的通用引擎，而是为这颗大模型新星亲手锻造的金属利刃。
