Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Director de robotică NVIDIA și om de știință distins. Co-lider al laboratorului GEAR. Rezolvarea AGI fizică, un motor la un moment dat. Stanford Ph.D. Primul stagiar OpenAI.
Sunt într-o misiune unică de a rezolva Testul Turing fizic pentru robotică. Este următoarea, sau poate ULTIMA mare provocare a AI-ului. Super-inteligența în șiruri de text va câștiga un premiu Nobel înainte să avem inteligența cimpanzeului în agilitate și dexteritate. Paradoxul lui Moravel este un blestem de rupt, un zid de dărâmat. Nimic nu poate sta între omenire și productivitatea fizică exponențială pe această planetă, și poate într-o zi pe planetele dincolo de acestea.
Am început un mic laborator la NVIDIA și am crescut la 30 de membri foarte recent. Echipa lovește mult peste greutatea sa. Amprenta noastră de cercetare acoperă modele de bază, modele de lume, raționament întrupat, simulare, control al întregului corp și multe variante de RL – practic, întregul stack al învățării roboților.
Anul acesta, am lansat:
- Modele fundamentale GR00T VLA (viziune-limbaj-acțiune): N1 open-source în martie, N1.5 în iunie și N1.6 luna aceasta;
- GR00T Dreams: model de lume video pentru scalarea datelor sintetice;
- SONIC: model umanoid de bază pentru controlul întregului corp;
- Post-antrenament RL pentru VLA-uri și rețete RL pentru sim2real.
Acestea nu ar fi fost posibile fără numeroasele echipe colaboratoare de la NVIDIA, sprijinul puternic al conducerii și coautorii din laboratoarele universitare. Vă mulțumesc tuturor că ați crezut în această misiune.
Fir de discuție pe galeria reperelor:
128
Atari 2600 obișnuia să fie reperul de aur pentru agenții AI în timpul doctoratului meu. O singură rețea neuronală capabilă să ruleze 50+ jocuri Atari ar fi considerată uluitoare. Modelele s-au chinuit să mapeze ecranul pixelat în tonuri de gri 84x84 la câteva butoane.
Apoi OpenAI Five (Dota) și AlphaStar de la DeepMind au ridicat nivelul, depășind cei mai buni campioni mondiali la Esports. Totuși, se adaptează prea mult la un singur mediu virtual la un moment dat. Schimbarea oricărui lucru ar strica modelul instantaneu.
Oamenii sunt extraordinar de buni la adaptarea la fizică și reguli foarte diferite – ceva ce continuă să scape celor mai avansate LLM-uri la scară de trilioane. Gândește-te la cele 1000 de jocuri ca la 1000 de simulări. Cu cât un agent se poate adapta la mai multe lumi virtuale, cu atât dezvoltă mai bine raționamentul întrupat, percepția și coordonarea motorie. Toate piese esențiale în marele puzzle al roboticii.
Prin open-source-area modelului NitroGen și a API-ului Gym, servim același scop ca AlphaGo, AlphaStar, OpenAI Five și, recent, Google SIMA: nu să le luăm distracția acestor jocuri, ci să evidențiem limitările AI moderne, să oferim o bază solidă și să creăm un nou reperă – "Atari 2.0" – pentru a măsura progresul corespunzător.
20 dec., 01:15
Vă prezentăm NitroGen, un model de fundație open-source antrenat să joace 1000+ jocuri: RPG, platformer, battle royale, curse, 2D, 3D, orice vrei! Suntem în căutarea unor agenți întrupați cu scop general care să stăpânească nu doar fizica lumii reale, ci și toată fizica posibilă într-un multivers de simulări.
Am descoperit că arhitectura noastră GR00T N1.5, proiectată inițial pentru robotică, poate fi adaptată ușor pentru a juca multe jocuri cu mecanici complet diferite. Rețeta noastră este simplă și plină de lecții amare: (1) un set de date de 40K+ ore, de înaltă calitate, despre gameplay-ul public în sălbăticie; (2) un model de fundație foarte capabil pentru controlul motor continuu; (3) un API Gym care înfășoară orice binar al jocului pentru a rula rollout-uri.
Selectarea noastră de date este foarte distractivă: se pare că gamerii adoră să-și arate abilitățile suprapunând controlul în timp real al gamepad-ului pe un flux video. Așadar, antrenăm un model de segmentare pentru a detecta și extrage acele afișaje ale gamepad-ului și a le transforma în acțiuni de expert. Apoi mascăm acea regiune pentru a preveni exploatarea unei scurtături de către model. În timpul antrenamentului, o variantă a GR00T N1.5 învață să mapeze de la 40K ore de pixeli la acțiuni prin transformatoare de difuzie.
Azotul este doar începutul, iar această capacitate mai este mult de urcat pe dealuri. Ne concentrăm intenționat doar pe partea Sistemului 1: "instinctul gamerului" al controlului motor rapid. Oferim open source *tot* pentru tine: greutăți preantrenate ale modelelor, întregul set de date de acțiuni, cod și un whitepaper cu detalii solide.
Astăzi, robotica este un superset al problemelor dificile de inteligență artificială.
Mâine, ar putea deveni un subset, un punct în spațiul latent mult mai mare al AGI întrupată.
Apoi doar ceri și "cere" un controler robot.
Acesta ar putea fi scopul final (joc de cuvinte intenționat).
NitroGen este co-condus de mințile noastre strălucite: Loic Magne, Anas Awadalla, Guanzhi Wang. Este o colaborare multi-instituțională. Verifică mai jos thread-ul tehnic de analiză și linkurile pentru repo-uri de la Guanzhi!
486
Vă prezentăm NitroGen, un model de fundație open-source antrenat să joace 1000+ jocuri: RPG, platformer, battle royale, curse, 2D, 3D, orice vrei! Suntem în căutarea unor agenți întrupați cu scop general care să stăpânească nu doar fizica lumii reale, ci și toată fizica posibilă într-un multivers de simulări.
Am descoperit că arhitectura noastră GR00T N1.5, proiectată inițial pentru robotică, poate fi adaptată ușor pentru a juca multe jocuri cu mecanici complet diferite. Rețeta noastră este simplă și plină de lecții amare: (1) un set de date de 40K+ ore, de înaltă calitate, despre gameplay-ul public în sălbăticie; (2) un model de fundație foarte capabil pentru controlul motor continuu; (3) un API Gym care înfășoară orice binar al jocului pentru a rula rollout-uri.
Selectarea noastră de date este foarte distractivă: se pare că gamerii adoră să-și arate abilitățile suprapunând controlul în timp real al gamepad-ului pe un flux video. Așadar, antrenăm un model de segmentare pentru a detecta și extrage acele afișaje ale gamepad-ului și a le transforma în acțiuni de expert. Apoi mascăm acea regiune pentru a preveni exploatarea unei scurtături de către model. În timpul antrenamentului, o variantă a GR00T N1.5 învață să mapeze de la 40K ore de pixeli la acțiuni prin transformatoare de difuzie.
Azotul este doar începutul, iar această capacitate mai este mult de urcat pe dealuri. Ne concentrăm intenționat doar pe partea Sistemului 1: "instinctul gamerului" al controlului motor rapid. Oferim open source *tot* pentru tine: greutăți preantrenate ale modelelor, întregul set de date de acțiuni, cod și un whitepaper cu detalii solide.
Astăzi, robotica este un superset al problemelor dificile de inteligență artificială.
Mâine, ar putea deveni un subset, un punct în spațiul latent mult mai mare al AGI întrupată.
Apoi doar ceri și "cere" un controler robot.
Acesta ar putea fi scopul final (joc de cuvinte intenționat).
NitroGen este co-condus de mințile noastre strălucite: Loic Magne, Anas Awadalla, Guanzhi Wang. Este o colaborare multi-instituțională. Verifică mai jos thread-ul tehnic de analiză și linkurile pentru repo-uri de la Guanzhi!
443
Limită superioară
Clasament
Favorite