你是否厌倦了动辄几十GB显存占用、需要高端GPU才能跑起来的大语言模型？Bonsai Demo 是一个开箱即用的本地运行工具，专为「小而快」的新型轻量模型打造——它能让你在普通笔记本（甚至M1/M2 Mac）上，零门槛运行仅需几百MB内存的1-bit和三值（Ternary）大模型，同时支持图片理解、工具调用与多步推理。它不依赖云服务，所有计算都在本地完成，兼顾隐私性、速度与实用性。
核心功能
- 全平台本地运行：原生支持 macOS（Metal加速）、Linux/Windows（CUDA/Vulkan/ROCm）及纯CPU模式，无需配置复杂环境
- 极致压缩模型支持：一键加载 Prism ML 官方发布的 Bonsai 系列超低比特模型——包括仅 1-bit 量化（8B参数）和三值量化（8B）版本，体积最小仅约300MB，推理速度快、内存占用极低
- 全新Bonsai 27B多模态能力：支持图像识别与文档理解——可直接上传照片、截图、PDF文件，用自然语言提问，如“这张截图里的错误日志是什么原因？”
- 真·智能体交互体验：完整实现 OpenAI 风格的
tool_calls协议，支持函数调用、多轮工具协作，并内置 MCP（Model Communication Protocol）服务器，轻松对接外部工具链 - 双UI界面自由切换：提供命令行 CLI 和图形化 Web UI 两种交互方式，开发者调试用终端，普通用户点点鼠标就能聊
- 开箱即用的模型管理：自动从 Hugging Face 下载预量化模型（含 Bonsai 27B、1-bit Bonsai、Ternary-Bonsai 三大合集），附带详细白皮书与使用指南（VISION.md / TOOLS.md）
适合哪些人用
如果你是以下角色之一，Bonsai Demo 值得立刻收藏：
• 个人开发者与技术爱好者：想在没有RTX 4090的笔记本上实测前沿轻量LLM，探索1-bit推理边界；
• 隐私敏感型用户：拒绝将聊天记录、截图、PDF等敏感内容上传云端，坚持数据完全本地化；
• 教育/科研场景使用者：用于教学演示、模型对比实验或边缘设备部署研究；
• 轻量AI应用构建者：需要嵌入式友好、低延迟、可离线运行的模型底座，快速搭建本地Agent原型。
快速上手
只需三步，5分钟内启动第一个Bonsai模型：
- 确保系统已安装 llama.cpp（Linux/macOS推荐通过Homebrew：
brew install llama.cpp；Windows用户可下载预编译二进制包） - 克隆本仓库：
git clone https://github.com/PrismML-Eng/Bonsai-demo && cd Bonsai-demo - 运行脚本启动Web界面：
./run-webui.sh（macOS/Linux）或run-webui.bat（Windows），浏览器打开http://localhost:8080即可开始对话 —— 模型将自动下载并加载，首次运行稍慢，后续秒启。
进阶用户还可通过 ./run-cli.sh 使用终端交互，或修改 config.yaml 自定义模型路径、量化精度与硬件后端。
项目信息
Bonsai Demo
编程语言：Shell（主驱动脚本）+ C/C++（底层llama.cpp引擎）
GitHub Star 数：1459（持续快速增长中）
开源协议：Apache-2.0
GitHub 项目地址
这是目前中文社区最易上手、功能最完整的超低比特大模型本地运行方案——不画大饼，不堆参数，专注把「小模型真正变好用」这件事做到极致。
