Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Директор NVIDIA по робототехнике и заслуженный ученый. Соруководитель лаборатории GEAR. Решение физического AGI, по одному двигателю за раз. Стэнфордский доктор философии, 1-й стажер OpenAI.
Я на единственной миссии — решить Физический тест Тьюринга для робототехники. Это следующий, или, возможно, последний великий вызов ИИ. Суперинтеллект в текстовых строках получит Нобелевскую премию раньше, чем мы достигнем интеллекта шимпанзе в ловкости и точности. Парадокс Моравеца — это проклятие, которое нужно сломать, стена, которую нужно разрушить. Ничто не может стоять между человечеством и экспоненциальной физической продуктивностью на этой планете, а возможно, когда-нибудь и на планетах за её пределами.
Мы начали небольшую лабораторию в NVIDIA и совсем недавно выросли до 30 человек. Наша команда работает на уровне, значительно превышающем наши возможности. Наши исследования охватывают фундаментальные модели, мировые модели, воплощенное рассуждение, симуляцию, управление всем телом и множество вариантов RL — в общем, полный стек обучения роботов.
В этом году мы запустили:
- GR00T VLA (модель основанная на зрении, языке и действии): открытый исходный код N1 в марте, N1.5 в июне и N1.6 в этом месяце;
- GR00T Dreams: видео мировая модель для масштабирования синтетических данных;
- SONIC: модель управления всем телом гуманоидов;
- RL постобучение для VLA и рецепты RL для sim2real.
Эти достижения были бы невозможны без многочисленных команд-сотрудников в NVIDIA, сильной поддержки руководства и соавторов из университетских лабораторий. Спасибо всем за веру в нашу миссию.
Тред о галерее достижений:
121
Atari 2600 когда-то был золотым стандартом для AI-агентов во время моей аспирантуры. Один нейронная сеть, способная играть в более чем 50 игр Atari, считалась бы чем-то невероятным. Модели испытывали трудности с отображением экрана размером 84x84 пикселя в градациях серого на несколько кнопок.
Затем OpenAI Five (Dota) и AlphaStar от DeepMind подняли планку, обыграв лучших чемпионов мира в киберспорте. Тем не менее, они переобучались на одной виртуальной среде за раз. Изменение чего-либо мгновенно ломало модель.
Люди необычайно хорошо адаптируются к совершенно разным физическим законам и правилам - это то, что продолжает ускользать от наших самых продвинутых LLM на триллионном уровне. Подумайте о 1000 играх как о 1000 симуляциях. Чем больше виртуальных миров агент может адаптировать, тем лучше он развивает воплощенное мышление, восприятие и моторную координацию. Все это критически важные элементы в великой головоломке для робототехники.
Открывая исходный код модели NitroGen и API Gym, мы преследуем ту же цель, что и AlphaGo, AlphaStar, OpenAI Five и недавно Google SIMA: не отнимать удовольствие от этих игр, а подчеркнуть ограничения современного ИИ, предоставить надежную базу и создать новый стандарт - "Atari 2.0" - для измерения прогресса соответственно.
20 дек., 01:15
Представляем NitroGen, открытую модель, обученную играть в более чем 1000 игр: RPG, платформеры, королевская битва, гонки, 2D, 3D, что угодно! Мы находимся в поисках универсальных воплощенных агентов, которые овладевают не только физикой реального мира, но и всеми возможными физиками в мультивселенной симуляций.
Мы обнаружили, что наша архитектура GR00T N1.5, изначально разработанная для робототехники, может быть легко адаптирована для игры во множество игр с совершенно разными механиками. Наш рецепт прост и основан на горьком уроке: (1) набор данных высокого качества на 40K+ часов публичного игрового процесса в дикой природе; (2) высокоэффективная основная модель для непрерывного моторного контроля; (3) API Gym, который оборачивает любой игровой бинарник для выполнения роллов.
Наше кураторство данных — это настоящее удовольствие: оказывается, геймеры любят демонстрировать свои навыки, накладывая управление геймпадом в реальном времени на видеопоток. Поэтому мы обучаем модель сегментации для обнаружения и извлечения этих дисплеев геймпадов и превращаем их в экспертные действия. Затем мы маскируем эту область, чтобы предотвратить использование моделью короткого пути. Во время обучения вариант GR00T N1.5 учится сопоставлять 40K часов пикселей с действиями через диффузионные трансформеры.
NitroGen — это только начало, и нам предстоит долгий путь к улучшению возможностей. Мы намеренно сосредотачиваемся только на стороне Системы 1: "инстинкт геймера" быстрого моторного контроля. Мы открываем *всё* для вас, чтобы вы могли экспериментировать: предобученные веса модели, весь набор данных действий, код и научную статью с подробными данными.
Сегодня робототехника является надмножеством сложных задач ИИ.
Завтра она может стать подмножеством, точкой в гораздо большем скрытом пространстве воплощенного AGI.
Тогда вам просто нужно будет задать вопрос и "попросить" контроллер робота.
Это может быть конечной целью (игровая шутка).
NitroGen возглавляют наши блестящие умы: Лоик Магн, Анаса Авадалла, Гуанчжи Ван. Это многоинституциональное сотрудничество. Ознакомьтесь с техническим глубоким погружением Гуанчжи и ссылками на репозитории ниже!
479
Представляем NitroGen, открытую модель, обученную играть в более чем 1000 игр: RPG, платформеры, королевская битва, гонки, 2D, 3D, что угодно! Мы находимся в поисках универсальных воплощенных агентов, которые овладевают не только физикой реального мира, но и всеми возможными физиками в мультивселенной симуляций.
Мы обнаружили, что наша архитектура GR00T N1.5, изначально разработанная для робототехники, может быть легко адаптирована для игры во множество игр с совершенно разными механиками. Наш рецепт прост и основан на горьком уроке: (1) набор данных высокого качества на 40K+ часов публичного игрового процесса в дикой природе; (2) высокоэффективная основная модель для непрерывного моторного контроля; (3) API Gym, который оборачивает любой игровой бинарник для выполнения роллов.
Наше кураторство данных — это настоящее удовольствие: оказывается, геймеры любят демонстрировать свои навыки, накладывая управление геймпадом в реальном времени на видеопоток. Поэтому мы обучаем модель сегментации для обнаружения и извлечения этих дисплеев геймпадов и превращаем их в экспертные действия. Затем мы маскируем эту область, чтобы предотвратить использование моделью короткого пути. Во время обучения вариант GR00T N1.5 учится сопоставлять 40K часов пикселей с действиями через диффузионные трансформеры.
NitroGen — это только начало, и нам предстоит долгий путь к улучшению возможностей. Мы намеренно сосредотачиваемся только на стороне Системы 1: "инстинкт геймера" быстрого моторного контроля. Мы открываем *всё* для вас, чтобы вы могли экспериментировать: предобученные веса модели, весь набор данных действий, код и научную статью с подробными данными.
Сегодня робототехника является надмножеством сложных задач ИИ.
Завтра она может стать подмножеством, точкой в гораздо большем скрытом пространстве воплощенного AGI.
Тогда вам просто нужно будет задать вопрос и "попросить" контроллер робота.
Это может быть конечной целью (игровая шутка).
NitroGen возглавляют наши блестящие умы: Лоик Магн, Анаса Авадалла, Гуанчжи Ван. Это многоинституциональное сотрудничество. Ознакомьтесь с техническим глубоким погружением Гуанчжи и ссылками на репозитории ниже!
436
Топ
Рейтинг
Избранное