让机器人“看懂世界”的开源物理AI平台：NVIDIA Cosmos正式开放！

NVIDIA Cosmos 是英伟达推出的全新开源平台，专为构建“物理人工智能（Physical AI）”而生——它不是聊天机器人，而是能让机器真正理解物理世界、感知环境变化、预测物体运动、并做出空间决策的下一代AI基础设施。它整合了世界模型（World Models）、多模态仿真数据集和高性能推理工具链，帮助开发者为机器人、自动驾驶汽车、智能交通系统、数字孪生城市等真实物理场景打造具备空间认知能力的智能体。

核心功能

• 开箱即用的世界模型家族：提供 Cosmos-3 系列预训练模型，支持视频生成、3D场景重建、跨模态时空推理，可直接作为物理世界的“数字镜像”使用。
• 端到端生成与推理双模式：既可作为Generator（生成器），根据文本/图像输入合成高保真动态视频；也可作为Reasoner（推理器），对物理场景进行因果推断、动作规划与风险预测。
• 工业级部署友好架构：原生支持 Diffusers、vLLM-Omni、Transformers、vLLM 及 NVIDIA NIM（NVIDIA Inference Microservices）等多种主流推理后端，轻松适配云、边、端不同算力环境。
• 面向真实物理场景的数据集：配套发布涵盖室内导航、车辆交互、机械臂操作等任务的高质量仿真-真实对齐数据集，显著降低物理AI模型训练门槛。
• 模块化工具链集成：提供标准化数据加载器、时空对齐评估指标、可视化调试界面（Jupyter Notebook 交互式示例丰富），大幅缩短从原型到落地的周期。
• 全栈可控的开源生态：框架层（cosmos-framework）、模型权重、训练脚本、推理示例全部开源，不依赖闭源服务，保障科研与商用的长期可控性。

适合哪些人用

如果你是以下角色，Cosmos 将成为你开发物理AI应用的关键加速器：
• 机器人算法工程师：需要为移动底盘、机械臂或具身智能体构建环境建模与行为规划能力；
• 自动驾驶感知/预测团队：希望引入世界模型提升轨迹预测、长尾场景泛化与安全验证效率；
• 智慧城市与数字孪生开发者：需构建可交互、可推演的城市级动态仿真系统；
• 高校与研究所研究者：从事具身AI、视觉-语言-动作联合建模、神经辐射场（NeRF）与世界模型交叉方向；
• 边缘AI硬件厂商：寻求在Jetson Orin、IGX等平台高效部署物理感知模型的参考方案。

快速上手

无需从零训练，5分钟启动体验：

• 安装依赖：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121（推荐 CUDA 12.1）
• 克隆项目：git clone https://github.com/NVIDIA/cosmos.git && cd cosmos
• 运行生成示例（需显卡）：python examples/generator/diffusers_quickstart.py --prompt "a robot arm picking up a red cup"
• 运行推理示例：python examples/reasoner/vllm_quickstart.py --video_path ./sample.mp4 --question "What will happen next?"
• 所有 Jupyter Notebook 教程（含数据加载、微调、量化部署）均位于 notebooks/ 目录，开箱即学。

项目信息

编程语言：Jupyter Notebook（核心逻辑基于 Python + PyTorch）
GitHub Star 数：8776（持续快速增长中）
开源协议：未明确声明（NOASSERTION），但官方明确表示“完全开源可用”，所有模型与代码均开放下载与商用
GitHub 项目地址

如果你正为机器人“看不懂门怎么开”、自动驾驶“想不通为什么行人会突然冲出”而苦恼——Cosmos 不是一套玩具Demo，而是英伟达交到开发者手中的第一把物理世界钥匙。