介绍NitroGen,一个开源基础模型,经过训练可以玩1000多款游戏:角色扮演游戏、平台游戏、大逃杀、赛车、2D、3D,您说得出名字的都有!我们正在寻找通用的具身代理,不仅掌握现实世界的物理,还能掌握跨越多元宇宙的所有可能物理。 我们发现,最初为机器人设计的GR00T N1.5架构可以轻松适应玩许多机制截然不同的游戏。我们的配方简单且苦涩的教训是:(1)一个超过40K小时的高质量公共游戏数据集;(2)一个用于连续运动控制的高能力基础模型;(3)一个将任何游戏二进制文件包装起来以运行回合的Gym API。 我们的数据整理非常有趣:事实证明,玩家喜欢通过在视频流上叠加实时游戏手柄控制来展示他们的技能。因此,我们训练一个分割模型来检测和提取这些手柄显示,并将其转化为专家动作。然后我们遮蔽该区域,以防止模型利用捷径。在训练过程中,GR00T N1.5的一个变体学习通过扩散变换器将40K小时的像素映射到动作。 NitroGen仅仅是个开始,能力的提升还有很长的路要走。我们故意只专注于系统1方面:快速运动控制的“玩家直觉”。我们开源*所有*内容供您进行实验:预训练模型权重、整个动作数据集、代码,以及包含详细信息的白皮书。 今天,机器人技术是困难AI问题的超集。 明天,它可能成为一个子集,成为具身AGI更大潜在空间中的一个点。 然后您只需提示并“请求”一个机器人控制器。 这可能就是最终目标(双关语)。 NitroGen由我们杰出的团队共同领导:Loic Magne、Anas Awadalla、Guanzhi Wang。这是一个多机构的合作。请查看Guanzhi的技术深入讨论线程和下面的repo链接!