Star 数 96106，安装命令只要两行

你有没有过这种时候：想用本地大模型写点东西，结果等它吐出第一句话，咖啡都凉了？

或者刚搭好一个本地 AI 助手，一开多轮对话就显存爆红、GPU 温度直冲 90℃？

更糟的是——你明明只想要个能跑起来的模型服务，却得先学 Docker、调 CUDA 版本、啃 Hugging Face 的 config 文件……

能替代什么 / 能省多少钱

vLLM 不是给你一个新玩具，它是专门干掉「买云服务」和「租 GPU 实例」这两件事的。

官方文档里直接写着：Easy, fast, and cheap LLM serving for everyone

比如你在用 OpenAI 或某国产 API 做批量文本生成，按 token 收费，每月轻松上千元；vLLM 就是你自己电脑上那个「不收一分钱」的替代品——只要你的显卡是 NVIDIA（A100/H100/V100/A10 等），它就能把你手上那张卡的利用率拉满。

它也不替代某个具体软件名，而是替代一类付费动作：你现在每调一次 API、每跑一次推理任务、每部署一个私有模型服务，背后都在付钱。vLLM 让这些动作全部变成「本地执行、不联网、不走账单」。

价格直接砍到零。

主要能干这几件事

让你的旧显卡跑得比新卡还顺：它用一种叫 PagedAttention 的技术，把显存碎片全利用起来，同样一张 24G 的 RTX 4090，原来只能跑 7B 模型，现在能稳跑 13B 甚至 34B 的 Qwen-MoE ，官方没说“提速多少”，但 Star 数已破 9.6 万，说明真有人靠它把卡用明白了。
不用改代码就能接入现有工作流：它提供完全兼容 OpenAI 的 API 接口，你原来用 curl 或 Python requests 调 ChatGPT，现在只换一个地址，其他一行不改，就能对接本地 vLLM 服务。比如原来发 POST 到 https://api.openai.com/v1/chat/completions，现在只需改成 http://localhost:8000/v1/chat/completions，header 和 body 结构完全一致。
支持真正能落地的中文模型：Qwen、Qwen-VL、Qwen-Math、DeepSeek-V3、Mixtral……光 Hugging Face 上明确列出来的中文友好模型就超过 50 个，不是“理论上支持”，是 README 里白纸黑字写了名字的。像 Qwen-VL 这类图文多模态模型，也能直接加载，无需额外 patch。
一次部署，多人同时用：它原生支持连续批处理（continuous batching），三个人同时发请求，它自动合并计算，不像有些本地方案一人一卡、排队等半天。这个机制在高并发场景下特别明显，10 个用户同时提问，vLLM 会动态把它们的 prompt 分块、prefill 合并、decode 并行，而不是串行排队。
小内存也能跑大模型：通过 FP8、INT4、GGUF 等多种量化方式，你可以把 13B 模型压缩到 6GB 显存以内启动，对 12G 显存的 3090 用户特别友好。比如用 –quantization awq 参数启动 Qwen2-14B，实测显存占用约 9.2GB，远低于原始 FP16 的 28GB。
不只是聊天，还能做结构化输出：比如你要让模型固定返回 JSON 格式，或按工具调用规范生成 function_call，vLLM 原生支持 xgrammar 和 guidance，不用再套一层中间件。启用时只需加 –enable-chunked-prefill –enable-prefix-caching，并在请求中传入 grammar 字段，服务端自动校验输出格式。

上手只要三步

确认你的系统是 Linux（Ubuntu/Debian/CentOS 都行），显卡驱动已装好，CUDA 版本 ≥ 12.1；Windows 和 macOS 目前不支持，别浪费时间折腾。检查命令是 nvidia-smi 和 nvcc –version，两者都需成功返回版本号。
打开终端，运行 uv pip install vllm（推荐 uv，比 pip 快很多）；接着跑一句 vllm download-kernels，提前下载预编译内核，下次启动快得多。这一步会把 FlashAttention、FlashInfer 等关键算子的二进制文件缓存到 ~/.cache/vllm/kernels 下。
选一个模型，比如 Hugging Face 上的 Qwen/Qwen2-7B-Instruct，然后用这行命令启动服务：vllm serve –model Qwen/Qwen2-7B-Instruct –host 0.0.0.0 –port 8000，浏览器打开 http://localhost:8000/docs 就能看到 OpenAI 风格的 API 文档页。如果想限制最大并发数，可以加 –max-num-seqs 32；想启用量化，加上 –quantization awq。