Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
NVIDIA Directeur van Robotica & Vooraanstaand Wetenschapper. Co-leider van het GEAR-lab. Fysieke AGI oplossen, één motor tegelijk. Stanford Ph.D. OpenAI's 1e stagiair.
Ik ben op een unieke missie om de Fysieke Turing Test voor robotica op te lossen. Het is de volgende, of misschien WEL de laatste grote uitdaging van AI. Superintelligentie in tekststrings zal een Nobelprijs winnen voordat we chimpansees-intelligentie in behendigheid en vindingrijkheid hebben. Moravec's paradox is een vloek die gebroken moet worden, een muur die gesloopt moet worden. Niets kan tussen de mensheid en exponentiële fysieke productiviteit op deze planeet staan, en misschien op een dag op planeten daarbuiten.
We hebben een klein lab opgericht bij NVIDIA en zijn onlangs gegroeid naar 30 sterke leden. Het team presteert veel beter dan verwacht. Onze onderzoeksfocus omvat fundamentmodellen, wereldmodellen, belichaamde redenering, simulatie, volledige lichaamscontrole en vele varianten van RL - eigenlijk de volledige stack van robotleren.
Dit jaar hebben we gelanceerd:
- GR00T VLA (visie-taal-actie) fundamentmodellen: open-source N1 in maart, N1.5 in juni, en N1.6 deze maand;
- GR00T Dreams: videowereldmodel voor het schalen van synthetische data;
- SONIC: humanoïde volledige lichaamscontrole fundamentmodel;
- RL post-training voor VLA's en RL-recepten voor sim2real.
Deze zouden niet mogelijk zijn geweest zonder de talrijke samenwerkende teams bij NVIDIA, sterke leiderschapssteun en co-auteurs van universiteitslabs. Bedankt allemaal voor het geloven in de missie.
Draad over de galerij van mijlpalen:
120
Atari 2600 was vroeger de gouden standaard voor AI-agenten tijdens mijn PhD-tijd. Een enkel neuraal netwerk dat meer dan 50 Atari-spellen kon spelen, zou als verbluffend worden beschouwd. De modellen hadden moeite om een 84x84 grijswaarden pixelachtige scherm in kaart te brengen naar een paar knoppen.
Toen verhoogden OpenAI Five (Dota) en DeepMind's AlphaStar het niveau, door de beste kampioenen ter wereld in Esports te verslaan. Toch pasten ze zich aan een enkele virtuele omgeving tegelijk aan. Iets veranderen zou het model onmiddellijk breken.
Mensen zijn buitengewoon goed in het aanpassen aan heel verschillende fysica en regels - iets dat onze meest geavanceerde, triljoen-schaal LLM's blijft ontglippen. Denk aan de 1000 spellen als 1000 simulaties. Hoe meer virtuele werelden een agent zich kan aanpassen, hoe beter het zijn belichaamde redenering, perceptie en motorische coördinatie ontwikkelt. Allemaal cruciale onderdelen in de grote puzzel voor robotica.
Door het NitroGen-model en de Gym API open-source te maken, dienen we hetzelfde doel als AlphaGo, AlphaStar, OpenAI Five, en recentelijk Google SIMA: niet om het plezier van die spellen weg te nemen, maar om de beperkingen van moderne AI te benadrukken, een solide basis te bieden, en een nieuwe benchmark te creëren - "Atari 2.0" - om de voortgang dienovereenkomstig te meten.
20 dec, 01:15
Introductie van NitroGen, een open-source foundation model dat is getraind om meer dan 1000 games te spelen: RPG, platformgame, battle royale, racen, 2D, 3D, noem maar op! We zijn op een zoektocht naar algemene belichaamde agenten die niet alleen de natuurkunde van de echte wereld beheersen, maar ook alle mogelijke natuurkunde in een multiversum van simulaties.
We hebben ontdekt dat onze GR00T N1.5-architectuur, oorspronkelijk ontworpen voor robotica, gemakkelijk kan worden aangepast om veel games met totaal verschillende mechanics te spelen. Ons recept is eenvoudig en bitter les-gevuld: (1) een dataset van meer dan 40K uur, hoogwaardige openbare gameplay in het wild; (2) een zeer capabel foundation model voor continue motorische controle; (3) een Gym API die elke game-binary omhult om rollouts uit te voeren.
Onze datacuratie is erg leuk: het blijkt dat gamers graag hun vaardigheden tonen door real-time gamepadcontrole op een videostream te overlayen. Dus trainen we een segmentatiemodel om die gamepadweergaven te detecteren en te extraheren en ze om te zetten in expertacties. We maskeren vervolgens dat gebied om te voorkomen dat het model een shortcut benut. Tijdens de training leert een variant van GR00T N1.5 om van 40K uur pixels naar acties te mappen via diffusietransformatoren.
NitroGen is pas het begin, en er is nog een lange weg te gaan om de capaciteiten te verbeteren. We richten ons opzettelijk alleen op de System 1-kant: de "gamerinstinct" van snelle motorische controle. We open-source *alles* zodat je kunt experimenteren: voorgetrainde modelgewichten, de volledige actiedataset, code en een whitepaper met solide details.
Vandaag de dag is robotica een superset van moeilijke AI-problemen.
Morgen kan het een subset worden, een stip in de veel grotere latente ruimte van belichaamde AGI.
Dan vraag je gewoon om een robotcontroller.
Dat zou het eindspel kunnen zijn (woordspeling bedoeld).
NitroGen wordt mede geleid door onze briljante geesten: Loic Magne, Anas Awadalla, Guanzhi Wang. Het is een samenwerking tussen meerdere instellingen. Bekijk Guanzhi's technische diepgaande thread en repo-links hieronder!
478
Introductie van NitroGen, een open-source foundation model dat is getraind om meer dan 1000 games te spelen: RPG, platformgame, battle royale, racen, 2D, 3D, noem maar op! We zijn op een zoektocht naar algemene belichaamde agenten die niet alleen de natuurkunde van de echte wereld beheersen, maar ook alle mogelijke natuurkunde in een multiversum van simulaties.
We hebben ontdekt dat onze GR00T N1.5-architectuur, oorspronkelijk ontworpen voor robotica, gemakkelijk kan worden aangepast om veel games met totaal verschillende mechanics te spelen. Ons recept is eenvoudig en bitter les-gevuld: (1) een dataset van meer dan 40K uur, hoogwaardige openbare gameplay in het wild; (2) een zeer capabel foundation model voor continue motorische controle; (3) een Gym API die elke game-binary omhult om rollouts uit te voeren.
Onze datacuratie is erg leuk: het blijkt dat gamers graag hun vaardigheden tonen door real-time gamepadcontrole op een videostream te overlayen. Dus trainen we een segmentatiemodel om die gamepadweergaven te detecteren en te extraheren en ze om te zetten in expertacties. We maskeren vervolgens dat gebied om te voorkomen dat het model een shortcut benut. Tijdens de training leert een variant van GR00T N1.5 om van 40K uur pixels naar acties te mappen via diffusietransformatoren.
NitroGen is pas het begin, en er is nog een lange weg te gaan om de capaciteiten te verbeteren. We richten ons opzettelijk alleen op de System 1-kant: de "gamerinstinct" van snelle motorische controle. We open-source *alles* zodat je kunt experimenteren: voorgetrainde modelgewichten, de volledige actiedataset, code en een whitepaper met solide details.
Vandaag de dag is robotica een superset van moeilijke AI-problemen.
Morgen kan het een subset worden, een stip in de veel grotere latente ruimte van belichaamde AGI.
Dan vraag je gewoon om een robotcontroller.
Dat zou het eindspel kunnen zijn (woordspeling bedoeld).
NitroGen wordt mede geleid door onze briljante geesten: Loic Magne, Anas Awadalla, Guanzhi Wang. Het is een samenwerking tussen meerdere instellingen. Bekijk Guanzhi's technische diepgaande thread en repo-links hieronder!
435
Boven
Positie
Favorieten