你没看错——这不是云端API调用，也不是手机端推理，而是一个完整、可交互的2890万参数语言模型（LLM），直接运行在售价仅约8美元的ESP32-S3微控制器上。它不联网、不依赖服务器，所有计算都在芯片内部完成，还能实时把生成的文字输出到小型屏幕，速度高达每秒9.5个词。这标志着轻量级AI真正迈入“端侧原生”时代：无需WiFi、不用GPU、不传数据，也能拥有基础但真实的本地语言理解与生成能力。
核心功能
- 全离线本地推理：模型完全部署在ESP32-S3芯片内，零网络连接，隐私安全无泄露风险
- 超大规模模型压缩：突破性实现28.9M参数LLM运行（是此前同类记录的100倍），靠“分层嵌入+Flash查表”技术将2500万参数常驻闪存，大幅节省RAM
- 实时文本生成：支持提示词输入（如“写一首春天的诗”），端到端生成速度达9.5 tokens/秒，纯计算环节达9.7 tokens/秒
- 极简硬件适配：仅需ESP32-S3开发板（含8MB PSRAM）+ 一块SPI接口小屏幕（如1.14寸TFT），BOM成本低于15元人民币
- 开源可定制架构：基于Python构建训练与部署流水线，模型结构清晰，支持开发者替换词表、调整层数或接入自定义传感器
- 低功耗边缘AI范本：整机工作功耗约120mW，可由USB供电或锂电池驱动，为IoT设备集成对话交互提供开箱即用参考设计
适合哪些人用
这款项目不是给普通用户点开即用的App，而是为嵌入式AI实践者打造的技术里程碑工具：高校电子/人工智能方向的学生可用于课程设计与毕设；物联网工程师可快速验证本地NLP交互方案（如智能家电语音反馈、工业设备语音报错）；开源硬件爱好者能亲手烧录、调试并扩展功能；AI算法工程师则可深入研究Flash-aware模型压缩、量化感知训练等前沿嵌入式优化技巧。如果你曾为“如何让MCU听懂一句话”发愁，这里就是起点。
快速上手
项目已预编译好固件镜像，无需从头训练。只需三步：
① 准备硬件：ESP32-S3-DevKitC-1（推荐带8MB PSRAM版本）+ 1.14寸SPI TFT屏幕（ST7789驱动）；
② 下载最新release固件，用esptool.py烧录至开发板（命令见README）；
③ 连接屏幕排线（SPI MOSI/SCK/DC/CS/RST），通电后串口终端即可输入提示词，屏幕同步显示生成结果。进阶用户可修改Python脚本调整温度系数、top-k采样或接入按键/麦克风。
项目信息
492
Stars
63
Forks
Python
—
编程语言：Python（训练与部署脚本） + C/C++（底层ESP-IDF固件）
GitHub Star 数：492
开源协议：暂未声明（项目主页未标注，建议使用前查看仓库LICENSE文件或联系作者）
GitHub 项目地址
这是嵌入式AI从“概念演示”迈向“可用原型”的关键一跃——当大模型不再被服务器和显卡绑架，智能才真正开始扎根于万物之中。
