企业级大模型“精调引擎”：Miles 让千万级参数模型的强化学习后训练真正落地生产

Miles 是一个专为工业级场景设计的强化学习（RL）框架，聚焦解决当前大语言模型（LLM）和多模态大模型（VLM）在发布后最关键的“最后一公里”难题——如何高效、稳定、可观察地完成 RLHF/RLAIF 等后训练优化。它不面向学术实验，而是直击企业在部署千卡集群、训练千亿参数模型时遇到的吞吐瓶颈、精度漂移、权重同步延迟与多轮智能体交互失稳等真实痛点。

核心功能

毫秒级权重热更新，告别“训练-停机-上线”循环：传统 RL 训练中，新策略权重需数分钟甚至数十分钟才能同步至推理服务，导致策略滞后、评估失真。Miles 通过 P2P RDMA 直连技术，实现万亿参数模型（如 Kimi-K2.6）权重秒级分发，让 rollout 引擎实时加载最新策略，真正支撑“边训边推”的闭环迭代。
全异步解耦架构，榨干硬件利用率：将 rollout（推理采样）与 policy 更新（梯度计算）彻底分离为独立进程组，支持灵活配置 on-policy / off-policy 混合调度，并自动优化流水线气泡。实测在 512 卡集群上，rollout 吞吐提升 3.2 倍，训练资源闲置率下降至 8% 以下。
原生支持多模态与前沿模型“Day-0”接入：无需等待官方适配——Miles 已在发布当日即完成对 Kimi K3、Inkling（前沿多模态模型）、DeepSeek-V4、NVIDIA Nemotron 3 Ultra 等 7 款顶级闭源/开源模型的 RL 支持，覆盖文本、图像、代码、长上下文等全部主流范式。
Token-in-Token-out（TITO）精准对齐，终结“幻觉传播”：针对多轮 Agent 场景，Miles 强制保障每一轮用户输入 Token 与模型输出 Token 的严格一一映射，避免因截断、padding 或 tokenizer 不一致导致的 reward 信号错位，显著提升复杂任务（如工具调用链、多跳推理）的训练稳定性。
工业级低精度 RL 训练，FP8/NVFP4 不再是“纸面性能”：不同于简单量化，Miles 内置 MXFP8 和 NVFP4 数值稳定训练配方，结合梯度裁剪重标、loss scaling 自适应与 FP16/BF16 混合回传机制，在保持收敛性的前提下，将 1T 参数模型单 step 显存占用降低 57%，训练速度提升 2.1 倍。
LoRA 多租户并行训练，一套集群服务多个业务线：支持在同一基座模型上并发训练多个 LoRA 适配器（multi-LoRA），每个业务线可独立配置 reward 模型、prompt 模板与采样策略；训练完成的 LoRA 权重可零改造直载 SGLang 推理引擎，实现“一训多用、按需切换”。
开箱即用的可观测性套件，定位问题快于报错日志：内置 rollout 延迟热力图、reward 分布直方图、token-level KL 散度监控、GPU 显存碎片率追踪等 12 类指标，所有数据自动对接 Prometheus + Grafana，支持按 model/version/adapter 维度下钻分析，故障平均定位时间缩短至 90 秒内。

技术亮点

双引擎协同架构：SGLang × Megatron-LM 深度融合——Rollout 层采用 SGLang 提供的高吞吐、低延迟、带健康检查的路由网关，自动负载均衡跨引擎请求；训练层则深度集成 NVIDIA Megatron-LM 的 3D 并行（TP/PP/DP）与 FSDP2 后端，既支持超大规模张量并行训练，也兼容 HuggingFace 生态的快速原型验证。
面向 disaggregated infra 的 RDMA 优先设计——在 GPU 计算节点与存储/推理节点物理分离的现代 AI 基础设施中，Miles 默认启用 P2P weight transfer 协议，绕过 CPU 中转与 PCIe 瓶颈，实测在 RoCE v2 网络下，1TB 权重同步耗时稳定控制在 3.8 秒以内。
非对称精度流：Rollout 用 INT4 QAT，Training 用 MXFP8——首创 rollout 推理与 policy 更新采用不同量化策略：前者使用 INT4 量化感知训练（QAT）保证响应速度，后者采用 MXFP8 保障梯度数值精度，两者通过统一的 scale-aware embedding 对齐层无缝衔接，兼顾效率与收敛质量。
Agentic Workload First 的调度语义——区别于通用 RL 框架，Miles 的 rollout 调度器原生理解 multi-turn、tool-calling、stateful session 等 Agent 特征，支持 session-level batch、context-aware timeout 控制与失败自动重试，避免因单轮超时导致整条链路中断。

适合哪些人用

主要面向三类技术团队：
✅ 大模型产品化团队：已具备 LLM/VLM 基座能力，正面临用户反馈“回答机械”“不会用工具”“多轮易失忆”等问题，急需在不重构模型结构的前提下，通过 RL 快速提升产品体验；
✅ AI Infra 平台工程师：负责维护千卡级训练集群，当前被 RL 任务的低资源利用率、高运维复杂度困扰，亟需开箱即用、可观测、易排障的企业级框架；
✅ 垂直领域 Agent 开发者：如金融投顾、医疗问诊、法律文书生成等场景，需在私有模型上叠加行业 reward 模型与流程约束，要求训练过程可审计、策略变更可灰度、效果可归因。

真实场景案例：
• 某头部券商使用 Miles 在 3 天内完成 DeepSeek-V4 的投研报告生成 RL 微调，将“引用错误率”从 12.7% 降至 1.9%，且支持按客户风险等级动态切换 prompt 策略；
• 某省级三甲医院基于 Inkling 多模态模型，用 Miles 构建医学影像报告生成 Agent，通过 TITO 机制确保每张 CT 图像的描述 token 与诊断结论 token 严格对齐，临床采纳率提升 40%。

快速上手

只需 4 步即可启动首个 RL 任务：

安装：pip install miles-rl[sglang,megatron] （自动拉取 SGLang + Megatron-LM 依赖）
准备模型：将 HuggingFace 格式模型软链接至 miles/models/kimi-k3，或直接使用内置支持的 deepseek-v4 配置
启动 rollout 服务：miles rollout --model kimi-k3 --tp 8 --pp 4 --host 0.0.0.0:30001
启动训练任务：miles train --config configs/dsv4_rlhf.yaml --backend megatron --precision mxfp8

完整 Quick Start 文档见：https://miles.radixark.com/docs/getting-started/quick-start

同类对比 / 注意事项

vs. TRL / Accelerate：TRL 更适合单卡小模型微调，缺乏分布式 rollout、P2P 同步、TITO 等企业级能力；Miles 在千卡规模下训练吞吐是其 8.3 倍（基准测试：Llama-3-70B + 256 A100）。
vs. CleanRL / RLlib：二者面向通用强化学习环境（Atari、MuJoCo），未针对 LLM 的长序列、高延迟、非马尔可夫特性优化；Miles 的 rollout 调度器专为 10K+ token 上下文设计，支持 context-aware batching。
注意事项：首次运行需预编译 SGLang CUDA kernel（约 2 分钟），建议提前执行 sglang compile；MXFP8 训练需搭配 NVIDIA Hopper 架构 GPU（H100/H200）；多 LoRA 切换需配合 SGLang v0.4+ 的 adapter router 插件。