你是不是也遇到过这样的困扰：在 Hugging Face 上下载了一个热门的 7B 或 13B 大模型，结果一运行就卡死、爆显存、CPU 占用 100%、甚至根本启动失败？参数越大的模型，不一定越适合你的设备——真正决定体验的，是你的 GPU 显存、Apple M 系列芯片的统一内存、或笔记本 CPU 的实际推理能力。whichllm 就是专为这个问题而生的智能推荐工具：它不看宣传参数，只做一件事——用真实、最新、硬件感知的基准测试，为你自动筛选出「能在你机器上真正跑起来、且性能最优」的本地大语言模型。
核心功能
- 零配置快速推荐：一条命令（
uvx whichllm@latest）即可完成硬件识别 + 模型评估 + 排序推荐，无需安装依赖、无需手动查显存、无需编译 GGUF 文件 - 真实基准驱动排序：基于近期实测的推理吞吐（tokens/sec）、首字延迟、内存占用等指标动态排名，拒绝“参数崇拜”，只认实际表现
- 跨平台深度适配：原生支持 Apple Silicon（M1/M2/M3）、NVIDIA GPU（CUDA）、AMD GPU（ROCm）及纯 CPU 场景，自动识别 VRAM、RAM、核心数与架构特性
- 硬件模拟调试：支持
--gpu "RTX 4090"等指令，提前预演不同显卡下的模型兼容性，买卡前先“云测试” - 主流格式无缝集成：直接推荐已适配 Ollama、llama.cpp（GGUF）、Hugging Face Transformers 等主流本地推理框架的模型，复制粘贴就能跑
- 持续更新的模型库：自动同步 Hugging Face 上新发布的高质量量化模型（Q4_K_M、Q5_K_S 等），并剔除已失效或严重 bug 的旧版本
适合哪些人用
如果你是以下任一角色，whichllm 将显著节省你反复试错的时间成本：
• 个人开发者/技术爱好者：想在自己的 Mac Mini、Windows 笔记本或 Linux 小主机上部署本地 AI，但被模型选择搞晕；
• AI 教学者或学生：需要稳定、低门槛的本地 LLM 环境用于演示或实验；
• 边缘计算用户：在 Jetson Orin、Raspberry Pi 5（+ NPU）等资源受限设备上寻找可行模型；
• 硬件采购决策者：对比不同 GPU 在 LLM 推理场景下的真实性价比；
• Ollama / LM Studio 用户：厌倦了手动下载几十个模型逐一测试，渴望一份「开箱即用」的靠谱清单。
快速上手
无需克隆仓库、无需虚拟环境——推荐最轻量的两种方式：
① 一次性运行（推荐新手）：uvx whichllm@latest（需先安装 uv，仅 10MB 超快 Python 工具链）
② 全局安装（常用用户）：uv tool install whichllm → 后续直接运行 whichllm
或使用 Homebrew：brew install andyyyy64/whichllm/whichllm
或 pip：pip install whichllm
运行后，你会立即看到类似「Top 5 models for your M2 Pro (18GB RAM)」的清晰列表，每条包含模型名、量化格式、预计显存占用、实测速度与推荐理由。
项目信息
Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not parameter count. One command,
3.9k
今日 +631 stars today
Stars
218
Forks
Python
MIT
编程语言：Python｜GitHub Star 数：3930｜开源协议：MIT｜GitHub 项目地址
别再靠玄学选模型——让 whichllm 做你本地大模型的“硬件翻译官”，把“能跑”和“跑得好”真正交到你手上。
