英伟达在德国慕尼黑举行的机器人学习会议（CoRL）上公布了新的AI和模拟工具，这些工具将推动机器人学习和人形机器人开发的发展。作为全球最大的科技公司之一（估值3.432万亿美元），英伟达表示，这些工具将极大地加速机器人开发者在AI驱动机器人方面的工作。
主要工具和项目
- 英伟达 Isaac Lab 机器人学习框架：
- 全面可用性：英伟达Isaac Lab 是一个开源的机器人学习框架，建立在 英伟达Omniverse 之上，后者是一个用于开发工业数字化和物理AI模拟的 OpenUSD 应用程序平台。
- 功能：开发者可以使用 Isaac Lab 大规模训练机器人策略，适用于从人形机器人到四足机器人和协作机器人等多种实体，以处理复杂的运动和交互。
- 用户：全球领先的商业机器人制造商、机器人应用开发者和机器人研究实体正在采用 Isaac Lab，包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、Boston Dynamics、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、Swiss-Mile、Unitree Robotics 和 Xpeng Robotics。
- Project GR00T：
- 目标：Project GR00T 是一个开发加速库、基础模型和数据管道的计划，旨在加速全球人形机器人开发者生态系统。
- 新工作流程：六种新的 Project GR00T 工作流程为人形开发者提供了实现最具挑战性的人形机器人能力的蓝图，包括 GR00T-Gen 用于构建生成式AI驱动的、基于 OpenUSD 的 3D 环境。
- 影响：英伟达 的具身AI高级研究经理 Jim Fan 表示，Project GR00T 将帮助推进全球人形机器人开发者的发展。
- 英伟达 Cosmos Tokenizer：
- 功能：开源的 Cosmos Tokenizer 通过将图像和视频分解为高质量的 token，提供极高的压缩率，为机器人开发者提供了卓越的视觉 token 化。
- 性能：其运行速度比当前的 tokenizer 快12倍，设定了最小失真和时间不稳定性的新标准，实现了高质量的视频和图像重建。
- 用户：人形机器人公司 1X 已经更新了 1X World Model Challenge 数据集，使用了 Cosmos Tokenizer，其他公司如 Xpeng Robotics 和 Hillbot 也在使用它。
- 英伟达 NeMo Curator：
- 功能：NeMo Curator 现在包括一个视频处理管道，使机器人开发者能够提高其世界模型的准确性，处理大规模的文本、图像和视频数据。
- 性能：它通过自动管道编排简化了数据管理，显著减少了处理时间，支持多节点多GPU系统中的线性扩展，高效处理超过100PB的数据。
- 影响：这简化了AI开发，降低了成本并加速了上市时间。
其他活动和支持
- 论文和研讨会：英伟达 发布了23篇与机器人学习相关的论文，并举办了九个研讨会，还发布了开发者培训和工作流程指南。
- 合作：Hugging Face 和 英伟达 宣布合作，通过 LeRobot、英伟达 Isaac Lab 和 Nvidia Jetson 为开发者社区加速开源机器人研究。
可用性
- 英伟达 Isaac Lab 1.2：现已在 GitHub 上开源。
- 英伟达 Cosmos Tokenizer：现已在 GitHub 和 Hugging Face 上可用。
- 用于视频处理的 NeMo Curator：将于月底推出。
- Project GR00T 新工作流程：即将推出。
- 开发者指南和教程：现已提供新的入门开发者指南和教程，包括 Isaac Gym 到 Isaac Lab 的迁移指南。
英伟达的新工具和项目为机器人开发者提供了强大的支持，特别是在人形机器人和复杂机器人任务方面。这些工具不仅提高了开发效率，还简化了数据管理和处理，为未来的机器人技术发展铺平了道路。无论是学术研究还是商业应用，这些工具都将成为推动机器人技术进步的重要工具。（来源）