Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
NVIDIAs direktør for robotikk og fremtredende forsker. Medleder av GEAR-laboratoriet. Løse fysisk AGI, en motor om gangen. Stanford Ph.D. OpenAIs 1.
Jeg er på et enkelt oppdrag for å løse Physical Turing-testen for robotikk. Det er den neste, eller kanskje DEN siste store utfordringen for AI. Superintelligens i tekststrenger vil vinne en Nobelpris før vi har sjimpanseintelligens i smidighet og fingerferdighet. Moravecs paradoks er en forbannelse som skal brytes, en mur som skal rives ned. Ingenting kan stå mellom menneskeheten og eksponentiell fysisk produktivitet på denne planeten, og kanskje en dag på planeter utenfor.
Vi startet et lite laboratorium hos NVIDIA og vokste nylig til 30 ansatte. Laget slår langt over sin egen vektklasse. Vårt forskningsspor spenner over grunnleggende modeller, verdensmodeller, kroppslig resonnement, simulering, helkroppskontroll og mange varianter av RL – i bunn og grunn hele spekteret av robotlæring.
I år lanserte vi:
- GR00T VLA (vision-language-action) grunnmodeller: åpen kildekode N1 i mars, N1.5 i juni, og N1.6 denne måneden;
- GR00T Dreams: videoverdensmodell for skalering av syntetiske data;
- SONIC: humanoid helkroppskontrollgrunnlagsmodell;
- RL etter trening for VLAs og RL-oppskrifter for sim2real.
Dette ville ikke vært mulig uten de mange samarbeidende teamene hos NVIDIA, sterk ledelsesstøtte og medforfattere fra universitetslaboratorier. Takk til alle som tror på oppdraget.
Tråd om galleriet av milepæler:
122
Atari 2600 var den gyldne målestokken for AI-agenter under min doktorgradstid. Et enkelt nevralt nettverk som kan spille 50+ Atari-spill ville blitt sett på som sinnssykt. Modellene slet med å kartlegge 84x84 gråtoner pikselert skjerm til noen få knapper.
Deretter økte OpenAI Five (Dota) og DeepMinds AlphaStar nivået og slo verdens beste mestere på Esports. Likevel overpasser de til ett virtuelt miljø om gangen. Å endre noe ville ødelegge modellen umiddelbart.
Mennesker er usedvanlig flinke til å tilpasse seg svært forskjellige fysikk og regler – noe som fortsatt unndrar seg våre mest avanserte, billionskala LLM-er. Tenk på de 1000 spillene som 1000 simuleringer. Jo flere virtuelle verdener en agent kan tilpasse seg til, desto bedre utvikler den kroppslig resonnering, persepsjon og motorisk koordinasjon. Alle viktige brikker i det store puslespillet for robotikk.
Ved å åpne NitroGen-modellen og Gym API, tjener vi samme mål som AlphaGo, AlphaStar, OpenAI Five og nylig Google SIMA: ikke å ta bort moroa fra disse spillene, men å fremheve begrensningene ved moderne AI, gi et solid grunnlag og skape en ny benchmark – «Atari 2.0» – for å måle fremgangen deretter.
20. des., 01:15
Vi introduserer NitroGen, en åpen kildekode-grunnlagsmodell trent til å spille 1000+ spill: RPG, plattformspill, battle royale, racing, 2D, 3D, du nevner det! Vi er på jakt etter generelle legemliggjorte agenter som mestrer ikke bare fysikken i den virkelige verden, men også all mulig fysikk på tvers av et multivers av simuleringer.
Vi fant ut at vår GR00T N1.5-arkitektur, opprinnelig designet for robotikk, enkelt kan tilpasses for å spille mange spill med vidt forskjellige mekanikker. Vår oppskrift er enkel og bitter med leksjoner: (1) et 40 000+ timers høykvalitetsdatasett med offentlig spill i naturen; (2) en svært kapabel grunnmodell for kontinuerlig motorisk kontroll; (3) et Gym-API som pakker inn hvilken som helst spillbinær for å kjøre utrullinger.
Vår datakuratering er veldig morsom: det viser seg at spillere elsker å vise frem ferdighetene sine ved å legge sanntids gamepad-kontroll over en videostrøm. Derfor trener vi en segmenteringsmodell til å oppdage og hente ut disse gamepad-visningene og gjøre dem om til eksperthandlinger. Deretter maskerer vi det området for å hindre at modellen utnytter en snarvei. Under trening lærer en variant av GR00T N1.5 å kartlegge fra 40 000 timer med piksler til handlinger gjennom diffusjonstransformatorer.
NitroGen er bare begynnelsen, og det er en lang vei å bakkeklatre i mulighetene. Vi fokuserer bevisst kun på System 1-siden: «gamerinstinktet» med rask motorisk kontroll. Vi åpner *alt* for deg å fikle med: forhåndstrente modellvekter, hele handlingsdatasettet, kode og et whitepaper med solide detaljer.
I dag er robotikk et oversett av vanskelige AI-problemer.
I morgen kan det bli en delmengde, en prikk i det mye større latente rommet av legemliggjort AGI.
Så bare ber du om og "ber om" en robotkontroller.
Det kan være sluttmålet (ordspill ment).
NitroGen ledes i fellesskap av våre briljante hjerner: Loic Magne, Anas Awadalla, Guanzhi Wang. Det er et flerinstitusjonelt samarbeid. Sjekk ut Guanzhis tekniske dypdykktråd og repo-lenker nedenfor!
480
Vi introduserer NitroGen, en åpen kildekode-grunnlagsmodell trent til å spille 1000+ spill: RPG, plattformspill, battle royale, racing, 2D, 3D, du nevner det! Vi er på jakt etter generelle legemliggjorte agenter som mestrer ikke bare fysikken i den virkelige verden, men også all mulig fysikk på tvers av et multivers av simuleringer.
Vi fant ut at vår GR00T N1.5-arkitektur, opprinnelig designet for robotikk, enkelt kan tilpasses for å spille mange spill med vidt forskjellige mekanikker. Vår oppskrift er enkel og bitter med leksjoner: (1) et 40 000+ timers høykvalitetsdatasett med offentlig spill i naturen; (2) en svært kapabel grunnmodell for kontinuerlig motorisk kontroll; (3) et Gym-API som pakker inn hvilken som helst spillbinær for å kjøre utrullinger.
Vår datakuratering er veldig morsom: det viser seg at spillere elsker å vise frem ferdighetene sine ved å legge sanntids gamepad-kontroll over en videostrøm. Derfor trener vi en segmenteringsmodell til å oppdage og hente ut disse gamepad-visningene og gjøre dem om til eksperthandlinger. Deretter maskerer vi det området for å hindre at modellen utnytter en snarvei. Under trening lærer en variant av GR00T N1.5 å kartlegge fra 40 000 timer med piksler til handlinger gjennom diffusjonstransformatorer.
NitroGen er bare begynnelsen, og det er en lang vei å bakkeklatre i mulighetene. Vi fokuserer bevisst kun på System 1-siden: «gamerinstinktet» med rask motorisk kontroll. Vi åpner *alt* for deg å fikle med: forhåndstrente modellvekter, hele handlingsdatasettet, kode og et whitepaper med solide detaljer.
I dag er robotikk et oversett av vanskelige AI-problemer.
I morgen kan det bli en delmengde, en prikk i det mye større latente rommet av legemliggjort AGI.
Så bare ber du om og "ber om" en robotkontroller.
Det kan være sluttmålet (ordspill ment).
NitroGen ledes i fellesskap av våre briljante hjerner: Loic Magne, Anas Awadalla, Guanzhi Wang. Det er et flerinstitusjonelt samarbeid. Sjekk ut Guanzhis tekniske dypdykktråd og repo-lenker nedenfor!
437
Topp
Rangering
Favoritter