Представляем NitroGen, открытую модель, обученную играть в более чем 1000 игр: RPG, платформеры, королевская битва, гонки, 2D, 3D, что угодно! Мы находимся в поисках универсальных воплощенных агентов, которые овладевают не только физикой реального мира, но и всеми возможными физиками в мультивселенной симуляций. Мы обнаружили, что наша архитектура GR00T N1.5, изначально разработанная для робототехники, может быть легко адаптирована для игры во множество игр с совершенно разными механиками. Наш рецепт прост и основан на горьком уроке: (1) набор данных высокого качества на 40K+ часов публичного игрового процесса в дикой природе; (2) высокоэффективная основная модель для непрерывного моторного контроля; (3) API Gym, который оборачивает любой игровой бинарник для выполнения роллов. Наше кураторство данных — это настоящее удовольствие: оказывается, геймеры любят демонстрировать свои навыки, накладывая управление геймпадом в реальном времени на видеопоток. Поэтому мы обучаем модель сегментации для обнаружения и извлечения этих дисплеев геймпадов и превращаем их в экспертные действия. Затем мы маскируем эту область, чтобы предотвратить использование моделью короткого пути. Во время обучения вариант GR00T N1.5 учится сопоставлять 40K часов пикселей с действиями через диффузионные трансформеры. NitroGen — это только начало, и нам предстоит долгий путь к улучшению возможностей. Мы намеренно сосредотачиваемся только на стороне Системы 1: "инстинкт геймера" быстрого моторного контроля. Мы открываем *всё* для вас, чтобы вы могли экспериментировать: предобученные веса модели, весь набор данных действий, код и научную статью с подробными данными. Сегодня робототехника является надмножеством сложных задач ИИ. Завтра она может стать подмножеством, точкой в гораздо большем скрытом пространстве воплощенного AGI. Тогда вам просто нужно будет задать вопрос и "попросить" контроллер робота. Это может быть конечной целью (игровая шутка). NitroGen возглавляют наши блестящие умы: Лоик Магн, Анаса Авадалла, Гуанчжи Ван. Это многоинституциональное сотрудничество. Ознакомьтесь с техническим глубоким погружением Гуанчжи и ссылками на репозитории ниже!