Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
NVIDIA:s chef för robotik och framstående forskare. Co-Lead för GEAR-labbet. Lösa fysikalisk AGI, en motor i taget. Stanford Ph.D. OpenAI:s 1:a praktikant.
Jag har ett enda uppdrag att lösa det fysiska Turingtestet för robotik. Det är nästa, eller kanske DEN sista stora utmaningen för AI. Superintelligens i textsträngar kommer att vinna ett Nobelpris innan vi har schimpansintelligens i smidighet och fingerfärdighet. Moravecs paradox är en förbannelse att bryta, en mur som ska rivas. Inget kan stå mellan mänskligheten och exponentiell fysisk produktivitet på denna planet, och kanske en dag på planeter bortom.
Vi startade ett litet laboratorium på NVIDIA och växte till 30 personer väldigt nyligen. Laget slår långt över sin viktklass. Vårt forskningsområde omfattar grundmodeller, världsmodeller, kroppslig resonemang, simulering, helkroppskontroll och många olika former av RL – i princip hela stapeln av robotinlärning.
I år lanserade vi:
- GR00T VLA (vision-language-action) grundmodeller: öppen källkod N1 i mar, N1.5 i juni och N1.6 denna månad;
- GR00T Dreams: videovärldsmodell för att skala syntetisk data;
- SONIC: humanoid helkroppskontrollgrundmodell;
- RL efter träning för VLA och RL-recept för sim2real.
Dessa hade inte varit möjliga utan de många samarbetsteamen på NVIDIA, starkt ledarskapsstöd och medförfattare från universitetslaboratorier. Tack alla för att ni tror på uppdraget.
Tråd om milstolpgalleriet:
118
Atari 2600 brukade vara den gyllene referenspunkten för AI-agenter under min doktorandtid. Ett enda neuralt nätverk som kan spela 50+ Atari-spel skulle anses vara häpnadsväckande. Modellerna hade svårt att mappa 84x84 gråskala pixelerad skärm till några knappar.
Sedan höjde OpenAI Five (Dota) och DeepMinds AlphaStar nivån och slog världens främsta mästare inom esport. Ändå överpassar de till en enda virtuell miljö åt gången. Att ändra något skulle förstöra modellen direkt.
Människor är oerhört bra på att anpassa sig till helt olika fysik och regler – något som fortfarande undgår våra mest avancerade, biljonskalliga LLM:er. Tänk på de 1000 spelen som 1000 simuleringar. Ju fler virtuella världar en agent kan anpassa sig till, desto bättre utvecklar den förkroppsligat resonemang, perception och motorisk koordination. Alla viktiga delar i det stora pusslet för robotik.
Genom att öppna NitroGen-modellen och Gym API för öppen källkod tjänar vi samma mål som AlphaGo, AlphaStar, OpenAI Five och nyligen Google SIMA: inte för att ta bort nöjet i dessa spel, utan för att lyfta fram begränsningarna i modern AI, ge en stabil baslinje och skapa ett nytt riktmärke – "Atari 2.0" – för att mäta framsteg därefter.
20 dec. 01:15
Vi presenterar NitroGen, en öppen källkodsmodell tränad för att spela 1000+ spel: RPG, plattformsspel, battle royale, racing, 2D, 3D, vad som helst! Vi är på jakt efter allmänna förkroppsligade agenter som behärskar inte bara den verkliga fysiken, utan också all möjlig fysik över ett multiversum av simuleringar.
Vi upptäckte att vår GR00T N1.5-arkitektur, ursprungligen designad för robotik, enkelt kan anpassas för att spela många spel med helt olika mekaniker. Vårt recept är enkelt och bittert med lektioner: (1) en 40 000+ timmars högkvalitativ datamängd av offentligt spel i det vilda; (2) en mycket kapabel grundmodell för kontinuerlig motorisk styrning; (3) ett Gym-API som omsluter vilken spelbinär som helst för att köra rollouts.
Vår datakuratering är väldigt rolig: det visar sig att spelare älskar att visa upp sina färdigheter genom att lägga realtidskontroll på en videoström. Så vi tränar en segmenteringsmodell för att upptäcka och extrahera dessa gamepad-displayer och omvandla dem till expertåtgärder. Vi maskerar sedan ut det området för att förhindra att modellen utnyttjar en genväg. Under träningen lär sig en variant av GR00T N1.5 att mappa från 40 000 timmar pixlar till åtgärder via diffusionstransformatorer.
NitroGen är bara början, och det är långt kvar att backa i backklättring när det gäller kapaciteten. Vi fokuserar medvetet bara på System 1-sidan: "gamerinstinkten" för snabb motorik. Vi öppnar *allt* för dig att experimentera med: förtränade modellvikter, hela handlingsdatasetet, kod och ett whitepaper med tydliga detaljer.
Idag är robotik en överlagring av svåra AI-problem.
Imorgon kan det bli en delmängd, en prick i det mycket större latenta utrymmet av förkroppsligad AGI.
Sedan promptar du bara och "ber om" en robotkontroll.
Det kan vara slutmålet (ordvits avsedd).
NitroGen leds gemensamt av våra briljanta hjärnor: Loic Magne, Anas Awadalla, Guanzhi Wang. Det är ett multiinstitutionellt samarbete. Kolla in Guanzhis tekniska djupdykningstråd och repo-länkar nedan!
476
Vi presenterar NitroGen, en öppen källkodsmodell tränad för att spela 1000+ spel: RPG, plattformsspel, battle royale, racing, 2D, 3D, vad som helst! Vi är på jakt efter allmänna förkroppsligade agenter som behärskar inte bara den verkliga fysiken, utan också all möjlig fysik över ett multiversum av simuleringar.
Vi upptäckte att vår GR00T N1.5-arkitektur, ursprungligen designad för robotik, enkelt kan anpassas för att spela många spel med helt olika mekaniker. Vårt recept är enkelt och bittert med lektioner: (1) en 40 000+ timmars högkvalitativ datamängd av offentligt spel i det vilda; (2) en mycket kapabel grundmodell för kontinuerlig motorisk styrning; (3) ett Gym-API som omsluter vilken spelbinär som helst för att köra rollouts.
Vår datakuratering är väldigt rolig: det visar sig att spelare älskar att visa upp sina färdigheter genom att lägga realtidskontroll på en videoström. Så vi tränar en segmenteringsmodell för att upptäcka och extrahera dessa gamepad-displayer och omvandla dem till expertåtgärder. Vi maskerar sedan ut det området för att förhindra att modellen utnyttjar en genväg. Under träningen lär sig en variant av GR00T N1.5 att mappa från 40 000 timmar pixlar till åtgärder via diffusionstransformatorer.
NitroGen är bara början, och det är långt kvar att backa i backklättring när det gäller kapaciteten. Vi fokuserar medvetet bara på System 1-sidan: "gamerinstinkten" för snabb motorik. Vi öppnar *allt* för dig att experimentera med: förtränade modellvikter, hela handlingsdatasetet, kod och ett whitepaper med tydliga detaljer.
Idag är robotik en överlagring av svåra AI-problem.
Imorgon kan det bli en delmängd, en prick i det mycket större latenta utrymmet av förkroppsligad AGI.
Sedan promptar du bara och "ber om" en robotkontroll.
Det kan vara slutmålet (ordvits avsedd).
NitroGen leds gemensamt av våra briljanta hjärnor: Loic Magne, Anas Awadalla, Guanzhi Wang. Det är ett multiinstitutionellt samarbete. Kolla in Guanzhis tekniska djupdykningstråd och repo-länkar nedan!
433
Topp
Rankning
Favoriter