热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Jim Fan
NVIDIA 机器人总监和杰出科学家。GEAR 实验室联合负责人。解决物理 AGI，一次一个电机。斯坦福大学博士，OpenAI 的第一位实习生。
我正在进行一项独特的使命，旨在解决机器人领域的物理图灵测试。这是人工智能的下一个，或者说是最后一个伟大挑战。在文本字符串中实现超智能将比在灵活性和灵巧性上实现猩猩智能更早赢得诺贝尔奖。莫拉维克悖论是一个需要打破的诅咒，是一堵需要拆除的墙。没有什么能阻挡人类在这个星球上实现指数级的物理生产力，也许有一天在其他星球上也能实现。
我们在NVIDIA成立了一个小实验室，最近发展到30人。我们的团队实力超群。我们的研究领域涵盖基础模型、世界模型、具身推理、仿真、全身控制以及多种强化学习的变体——基本上是机器人学习的完整栈。
今年，我们推出了：
- GR00T VLA（视觉-语言-行动）基础模型：在3月开源了N1，6月开源了N1.5，本月开源了N1.6；
- GR00T Dreams：用于扩展合成数据的视频世界模型；
- SONIC：类人全身控制基础模型；
- 针对VLA的强化学习后训练和sim2real的强化学习配方。
如果没有NVIDIA众多合作团队的支持、强有力的领导支持以及来自大学实验室的合著者，这些都是不可能实现的。感谢大家对这个使命的信任。
关于里程碑画廊的讨论：
114
Atari 2600 曾是我博士期间 AI 代理的黄金基准。一个能够玩 50 多款 Atari 游戏的单一神经网络将被视为令人震惊。模型在将 84x84 的灰度像素化屏幕映射到几个按钮时遇到了困难。
然后 OpenAI Five（Dota）和 DeepMind 的 AlphaStar 提升了游戏水平，击败了世界顶级电子竞技冠军。然而，它们在一次只能适应一个虚拟环境上过拟合。改变任何东西都会立即破坏模型。
人类在适应截然不同的物理和规则方面表现得极其出色——这是我们最先进的万亿规模 LLM 仍然无法做到的。把 1000 款游戏看作 1000 个模拟。一个代理能够适应的虚拟世界越多，它在具身推理、感知和运动协调方面的发展就越好。这些都是机器人技术大拼图中的关键部分。
通过开源 NitroGen 模型和 Gym API，我们的目标与 AlphaGo、AlphaStar、OpenAI Five 以及最近的 Google SIMA 一致：不是要剥夺这些游戏的乐趣，而是突出现代 AI 的局限性，提供一个坚实的基线，并创建一个新的基准——“Atari 2.0”——以相应地衡量进展。
12月20日 01:15
介绍NitroGen，一个开源基础模型，经过训练可以玩1000多款游戏：角色扮演游戏、平台游戏、大逃杀、赛车、2D、3D，您说得出名字的都有！我们正在寻找通用的具身代理，不仅掌握现实世界的物理，还能掌握跨越多元宇宙的所有可能物理。
我们发现，最初为机器人设计的GR00T N1.5架构可以轻松适应玩许多机制截然不同的游戏。我们的配方简单且苦涩的教训是：（1）一个超过40K小时的高质量公共游戏数据集；（2）一个用于连续运动控制的高能力基础模型；（3）一个将任何游戏二进制文件包装起来以运行回合的Gym API。
我们的数据整理非常有趣：事实证明，玩家喜欢通过在视频流上叠加实时游戏手柄控制来展示他们的技能。因此，我们训练一个分割模型来检测和提取这些手柄显示，并将其转化为专家动作。然后我们遮蔽该区域，以防止模型利用捷径。在训练过程中，GR00T N1.5的一个变体学习通过扩散变换器将40K小时的像素映射到动作。
NitroGen仅仅是个开始，能力的提升还有很长的路要走。我们故意只专注于系统1方面：快速运动控制的“玩家直觉”。我们开源*所有*内容供您进行实验：预训练模型权重、整个动作数据集、代码，以及包含详细信息的白皮书。
今天，机器人技术是困难AI问题的超集。
明天，它可能成为一个子集，成为具身AGI更大潜在空间中的一个点。
然后您只需提示并“请求”一个机器人控制器。
这可能就是最终目标（双关语）。
NitroGen由我们杰出的团队共同领导：Loic Magne、Anas Awadalla、Guanzhi Wang。这是一个多机构的合作。请查看Guanzhi的技术深入讨论线程和下面的repo链接！
472
介绍NitroGen，一个开源基础模型，经过训练可以玩1000多款游戏：角色扮演游戏、平台游戏、大逃杀、赛车、2D、3D，您说得出名字的都有！我们正在寻找通用的具身代理，不仅掌握现实世界的物理，还能掌握跨越多元宇宙的所有可能物理。
我们发现，最初为机器人设计的GR00T N1.5架构可以轻松适应玩许多机制截然不同的游戏。我们的配方简单且苦涩的教训是：（1）一个超过40K小时的高质量公共游戏数据集；（2）一个用于连续运动控制的高能力基础模型；（3）一个将任何游戏二进制文件包装起来以运行回合的Gym API。
我们的数据整理非常有趣：事实证明，玩家喜欢通过在视频流上叠加实时游戏手柄控制来展示他们的技能。因此，我们训练一个分割模型来检测和提取这些手柄显示，并将其转化为专家动作。然后我们遮蔽该区域，以防止模型利用捷径。在训练过程中，GR00T N1.5的一个变体学习通过扩散变换器将40K小时的像素映射到动作。
NitroGen仅仅是个开始，能力的提升还有很长的路要走。我们故意只专注于系统1方面：快速运动控制的“玩家直觉”。我们开源*所有*内容供您进行实验：预训练模型权重、整个动作数据集、代码，以及包含详细信息的白皮书。
今天，机器人技术是困难AI问题的超集。
明天，它可能成为一个子集，成为具身AGI更大潜在空间中的一个点。
然后您只需提示并“请求”一个机器人控制器。
这可能就是最终目标（双关语）。
NitroGen由我们杰出的团队共同领导：Loic Magne、Anas Awadalla、Guanzhi Wang。这是一个多机构的合作。请查看Guanzhi的技术深入讨论线程和下面的repo链接！
429
热门
排行
收藏