Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Директор з робототехніки та заслужений вчений NVIDIA. Співкерівник лабораторії GEAR. Розв'язання фізичного AGI, по одному мотору за раз. Доктор філософії Стенфордського університету, 1-й стажер OpenAI.
Я на єдиній місії — розв'язати фізичний тест Тюрінга для робототехніки. Це наступний, або, можливо, ОСТАННІЙ великий виклик ШІ. Суперінтелект у текстових рядках отримає Нобелівську премію раніше, ніж у шимпанзе, інтелект у спритності та спритності. Парадокс Моравека — це прокляття, яке треба зламати, стіна, яку треба зруйнувати. Ніщо не може стояти між людством і експоненційною фізичною продуктивністю на цій планеті, а можливо, колись і на планетах за її межами.
Ми заснували невелику лабораторію в NVIDIA і нещодавно виросли до 30 співробітників. Команда працює набагато сильніше, ніж очікувала. Наш дослідницький слід охоплює базові моделі, світові моделі, втілене мислення, симуляції, контроль всього тіла та багато типів RL — фактично повний стек навчання роботів.
Цього року ми запустили:
- Моделі фундаменту GR00T VLA (візія-мова-дія): відкритий N1 у березні, N1.5 у червні та N1.6 цього місяця;
- GR00T Dreams: відеомодель світу для масштабування синтетичних даних;
- SONIC: базова модель управління гуманоїдним тілом;
- RL після навчання для VLA та рецепти RL для sim2real.
Це було б неможливо без численних спільних команд NVIDIA, сильної підтримки керівництва та співавторів університетських лабораторій. Дякую всім за віру в місію.
Тема в галереї подій події:
117
Atari 2600 колись був золотим еталоном для AI-агентів під час моєї аспірантури. Одна нейронна мережа, здатна запускати 50+ ігор Atari, вважалася б неймовірною. Моделі мали труднощі з відтворенням 84x84 піксельного екрану в відтінках сірого на кілька кнопок.
Потім OpenAI Five (Dota) та AlphaStar від DeepMind підняли рівень гри, перемігши провідних чемпіонів світу в кіберспорті. Проте вони переповнюються в одному віртуальному просторі одночасно. Будь-яка зміна могла б миттєво зламати модель.
Люди надзвичайно добре пристосовуються до зовсім іншої фізики та правил — чого досі вислизають від наших найрозвинутіших трильйонних LLM. Уявіть 1000 ігор як 1000 симуляцій. Чим більше віртуальних світів агент може адаптуватися, тим краще він розвиває втілене мислення, сприйняття та моторну координацію. Усі важливі частини великої головоломки для робототехніки.
Відкриваючи модель NitroGen і Gym API, ми досягаємо тієї ж мети, що й AlphaGo, AlphaStar, OpenAI Five і нещодавно Google SIMA: не забирати задоволення від цих ігор, а підкреслювати обмеження сучасного ШІ, надати міцну базу та створити новий бенчмарк — «Atari 2.0» — для відповідного вимірювання прогресу.
20 груд., 01:15
Знайомтеся з NitroGen — відкритою базовою моделлю, навченою грати в 1000+ ігор: RPG, платформери, батл-рояль, гонки, 2D, 3D — що завгодно! Ми шукаємо універсальних втілених агентів, які володіють не лише реальною фізикою, а й усіма можливоми фізичними аспектами мультивсесвіту симуляцій.
Ми з'ясували, що наша архітектура GR00T N1.5, спочатку розроблена для робототехніки, легко адаптується для гри в багато ігор із абсолютно різними механіками. Наш рецепт простий і гіркий урок: (1) 40K+ годинний, якісний набір даних публічного ігрового процесу у дикій природі; (2) високофункціональна базова модель для безперервного керування мотором; (3) Gym API, який обгортає будь-який ігровий бінарний файл для запуску розгортань.
Наша підборка даних — це справжнє задоволення: виявляється, геймери люблять демонструвати свої навички, накладаючи керування геймпадом у реальному часі на відеопотік. Тому ми навчаємо сегментаційну модель виявляти та витягувати ці дисплеї геймпада і перетворювати їх на експертні дії. Потім ми маскуємо цю область, щоб модель не використовувала короткий шлях. Під час навчання варіант GR00T N1.5 навчається відтворювати від 40 тисяч годин пікселів до дій за допомогою дифузійних трансформаторів.
NitroGen — це лише початок, і попереду ще довгий шлях до підняття на пагорб у цій можливості. Ми свідомо зосереджуємося лише на стороні System 1: «геймерському інстинкті» швидкого керування моторами. Ми відкриваємо *все* для вас, щоб ви могли експериментувати: попередньо навчені ваги моделей, повний набір даних дій, код і whitepaper з чіткими деталями.
Сьогодні робототехніка — це набір складних задач ШІ.
Завтра вона може стати підмножиною, крапкою у значно більшому латентному просторі втіленого AGI.
Потім просто запитуєте і «запитуєте» роботизований контролер.
Можливо, це і є кінцева мета (гра слів навмисна).
NitroGen спільно очолюють наші блискучі уми: Лоїк Магне, Анас Авадалла, Гуаньчжі Ван. Це міжінституційна співпраця. Перегляньте технічну детальну тему Guanzhi та посилання на репозиторію нижче!
475
Знайомтеся з NitroGen — відкритою базовою моделлю, навченою грати в 1000+ ігор: RPG, платформери, батл-рояль, гонки, 2D, 3D — що завгодно! Ми шукаємо універсальних втілених агентів, які володіють не лише реальною фізикою, а й усіма можливоми фізичними аспектами мультивсесвіту симуляцій.
Ми з'ясували, що наша архітектура GR00T N1.5, спочатку розроблена для робототехніки, легко адаптується для гри в багато ігор із абсолютно різними механіками. Наш рецепт простий і гіркий урок: (1) 40K+ годинний, якісний набір даних публічного ігрового процесу у дикій природі; (2) високофункціональна базова модель для безперервного керування мотором; (3) Gym API, який обгортає будь-який ігровий бінарний файл для запуску розгортань.
Наша підборка даних — це справжнє задоволення: виявляється, геймери люблять демонструвати свої навички, накладаючи керування геймпадом у реальному часі на відеопотік. Тому ми навчаємо сегментаційну модель виявляти та витягувати ці дисплеї геймпада і перетворювати їх на експертні дії. Потім ми маскуємо цю область, щоб модель не використовувала короткий шлях. Під час навчання варіант GR00T N1.5 навчається відтворювати від 40 тисяч годин пікселів до дій за допомогою дифузійних трансформаторів.
NitroGen — це лише початок, і попереду ще довгий шлях до підняття на пагорб у цій можливості. Ми свідомо зосереджуємося лише на стороні System 1: «геймерському інстинкті» швидкого керування моторами. Ми відкриваємо *все* для вас, щоб ви могли експериментувати: попередньо навчені ваги моделей, повний набір даних дій, код і whitepaper з чіткими деталями.
Сьогодні робототехніка — це набір складних задач ШІ.
Завтра вона може стати підмножиною, крапкою у значно більшому латентному просторі втіленого AGI.
Потім просто запитуєте і «запитуєте» роботизований контролер.
Можливо, це і є кінцева мета (гра слів навмисна).
NitroGen спільно очолюють наші блискучі уми: Лоїк Магне, Анас Авадалла, Гуаньчжі Ван. Це міжінституційна співпраця. Перегляньте технічну детальну тему Guanzhi та посилання на репозиторію нижче!
432
Найкращі
Рейтинг
Вибране