Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Ředitel robotiky společnosti NVIDIA a významný vědec. Spoluvedoucí laboratoře GEAR. Řešení fyzikálního AGI, jeden motor po druhém. Stanford, Ph.D., 1. stážista OpenAI.
Mám jediný úkol vyřešit fyzikální Turingův test pro robotiku. Je to další, nebo možná POSLEDNÍ velká výzva AI. Superinteligence v textových řetězcích získá Nobelovu cenu dříve, než budeme mít šimpanzí inteligenci v obratnosti a obratnosti. Moravecův paradox je kletba, kterou je třeba zlomit, zeď, kterou je třeba zbořit. Nic nemůže stát mezi lidstvem a exponenciální fyzickou produktivitou na této planetě, a možná jednou i na planetách za ní.
Založili jsme malou laboratoř ve společnosti NVIDIA a nedávno jsme se rozrostli na 30 členů. Tým je nad svou váhu. Naše výzkumná oblast zahrnuje základní modely, modely světa, ztělesněné uvažování, simulace, kontrolu celého těla a mnoho druhů reálného života – v podstatě celý stack robotického učení.
Letos jsme spustili:
- GR00T VLA (vision-language-action) základní modely: open-source N1 v březnu, N1.5 v červnu a N1.6 tento měsíc;
- GR00T Dreams: model video světa pro škálování syntetických dat;
- SONIC: humanoidní model řízení celého těla;
- RL post-trénování pro VLA a RL recepty pro sim2real.
Tyto kroky by nebyly možné bez četných spolupracujících týmů ve NVIDIA, silné podpory vedení a spoluautorů z univerzitních laboratoří. Děkuji všem, že věříte v misi.
Vlákno o galerii milníků:
174
Atari 2600 bývalo zlatým měřítkem pro AI agenty během mého doktorátu. Jedna neuronová síť schopná hrát 50+ her Atari by byla považována za ohromující. Modely měly problém mapovat pixelovanou obrazovku v odstínech 84x84 na několik tlačítek.
Pak OpenAI Five (Dota) a AlphaStar od DeepMind posunuli hru na vyšší úroveň, když porazili nejlepší světové šampiony v esportu. Přesto se předimenzují na jedno virtuální prostředí najednou. Jakákoli změna modelu okamžitě zničila.
Lidé jsou mimořádně dobří v přizpůsobování se zcela odlišné fyzice a pravidlům – něco, co stále uniká našim nejpokročilejším, bilionovým LLM. Představte si těch 1000 her jako 1000 simulací. Čím více virtuálních světů se agent dokáže přizpůsobit, tím lépe rozvíjí ztělesněné uvažování, vnímání a motorickou koordinaci. Všechny klíčové dílky velké skládačky pro robotiku.
Otevřeným zdrojem modelu NitroGen a API posilovny plníme stejný cíl jako AlphaGo, AlphaStar, OpenAI Five a nedávno Google SIMA: ne odebírat zábavu těmto hrám, ale zdůrazňovat omezení moderní AI, poskytnout pevný základ a vytvářet nový benchmark – "Atari 2.0" – který podle toho měří pokrok.
20. 12. 01:15
Představujeme NitroGen, open-source základní model vycvičený pro hraní 1000+ her: RPG, plošinovky, battle royale, závody, 2D, 3D, cokoliv si vzpomenete! Jsme na cestě za univerzálními ztělesněnými agenty, kteří ovládnou nejen fyziku reálného světa, ale i veškerou možnou fyziku napříč multivesmírem simulací.
Zjistili jsme, že naše architektura GR00T N1.5, původně navržená pro robotiku, lze snadno přizpůsobit pro hraní mnoha her s naprosto odlišnými mechanikami. Náš recept je jednoduchý a hořký ponaučení: (1) 40 000+ hodin, vysoce kvalitní datová sada veřejné hry v přírodě; (2) vysoce schopný základní model pro kontinuální motorické řízení; (3) API v tělocvičně, které zabalí libovolný herní binární soubor pro provádění rolloutů.
Naše kurátorství dat je opravdu zábavné: ukazuje se, že hráči rádi předvádějí své dovednosti tím, že na video stream překryjí ovládání gamepadem v reálném čase. Proto trénujeme segmentační model, který tyto gamepadové displeje detekuje a extrahuje a přeměňuje je na expertní akce. Poté tuto oblast maskujeme, aby model nevyužil zkratku. Během tréninku se varianta GR00T N1.5 učí mapovat z 40 000 hodin pixelů na akce pomocí difuzních transformátorů.
NitroGen je teprve začátek a je před ním ještě dlouhá cesta k dosažení této schopnosti. Záměrně se zaměřujeme pouze na stránku Systému 1: "herní instinkt" rychlé motorické kontroly. Otevíráme *všechno*, co si můžete pohrát: předtrénované váhy modelů, celý dataset akcí, kód a whitepaper s pevnými detaily.
Dnes je robotika jen nadmnožinou obtížných AI problémů.
Zítra se může stát podmnožinou, tečkou v mnohem větším latentním prostoru ztělesněné AGI.
Pak jen vyzvete a "požádáte o" robotický ovladač.
To by mohl být konečný cíl (slovní hříčka zamýšlena).
NitroGen je spoluveden našimi brilantními mozky: Loic Magne, Anas Awadalla, Guanzhi Wang. Je to spolupráce více institucí. Podívejte se níže na Guanzhiho technické vlákno a odkazy na repozitáře!
495
Představujeme NitroGen, open-source základní model vycvičený pro hraní 1000+ her: RPG, plošinovky, battle royale, závody, 2D, 3D, cokoliv si vzpomenete! Jsme na cestě za univerzálními ztělesněnými agenty, kteří ovládnou nejen fyziku reálného světa, ale i veškerou možnou fyziku napříč multivesmírem simulací.
Zjistili jsme, že naše architektura GR00T N1.5, původně navržená pro robotiku, lze snadno přizpůsobit pro hraní mnoha her s naprosto odlišnými mechanikami. Náš recept je jednoduchý a hořký ponaučení: (1) 40 000+ hodin, vysoce kvalitní datová sada veřejné hry v přírodě; (2) vysoce schopný základní model pro kontinuální motorické řízení; (3) API v tělocvičně, které zabalí libovolný herní binární soubor pro provádění rolloutů.
Naše kurátorství dat je opravdu zábavné: ukazuje se, že hráči rádi předvádějí své dovednosti tím, že na video stream překryjí ovládání gamepadem v reálném čase. Proto trénujeme segmentační model, který tyto gamepadové displeje detekuje a extrahuje a přeměňuje je na expertní akce. Poté tuto oblast maskujeme, aby model nevyužil zkratku. Během tréninku se varianta GR00T N1.5 učí mapovat z 40 000 hodin pixelů na akce pomocí difuzních transformátorů.
NitroGen je teprve začátek a je před ním ještě dlouhá cesta k dosažení této schopnosti. Záměrně se zaměřujeme pouze na stránku Systému 1: "herní instinkt" rychlé motorické kontroly. Otevíráme *všechno*, co si můžete pohrát: předtrénované váhy modelů, celý dataset akcí, kód a whitepaper s pevnými detaily.
Dnes je robotika jen nadmnožinou obtížných AI problémů.
Zítra se může stát podmnožinou, tečkou v mnohem větším latentním prostoru ztělesněné AGI.
Pak jen vyzvete a "požádáte o" robotický ovladač.
To by mohl být konečný cíl (slovní hříčka zamýšlena).
NitroGen je spoluveden našimi brilantními mozky: Loic Magne, Anas Awadalla, Guanzhi Wang. Je to spolupráce více institucí. Podívejte se níže na Guanzhiho technické vlákno a odkazy na repozitáře!
451
Top
Hodnocení
Oblíbené