Przedstawiamy NitroGen, model bazowy open-source, przeszkolony do grania w ponad 1000 gier: RPG, platformówki, battle royale, wyścigi, 2D, 3D, co tylko chcesz! Jesteśmy w trakcie poszukiwań ogólnych agentów wcielonych, którzy opanowują nie tylko fizykę rzeczywistego świata, ale także wszelkie możliwe fizyki w multiversum symulacji. Odkryliśmy, że nasza architektura GR00T N1.5, pierwotnie zaprojektowana do robotyki, może być łatwo dostosowana do grania w wiele gier o skrajnie różnych mechanikach. Nasz przepis jest prosty i gorzki: (1) zestaw danych o wysokiej jakości z ponad 40K godzinami publicznej rozgrywki w terenie; (2) wysoce zdolny model bazowy do ciągłej kontroli motorycznej; (3) API Gym, które opakowuje dowolny plik gry, aby uruchomić symulacje. Nasza kuracja danych to dużo zabawy: okazuje się, że gracze uwielbiają chwalić się swoimi umiejętnościami, nakładając kontroler w czasie rzeczywistym na strumień wideo. Dlatego trenujemy model segmentacji, aby wykrywać i wyodrębniać te wyświetlacze kontrolera i przekształcać je w działania ekspertów. Następnie maskujemy ten obszar, aby zapobiec wykorzystaniu skrótu przez model. Podczas treningu, wariant GR00T N1.5 uczy się mapować z 40K godzin pikseli na działania za pomocą transformatorów dyfuzyjnych. NitroGen to dopiero początek, a przed nami długa droga do wspinaczki po zdolnościach. Skupiamy się tylko na stronie Systemu 1: "instynkt gracza" szybkiej kontroli motorycznej. Udostępniamy *wszystko*, abyś mógł eksperymentować: wagi modelu wstępnie wytrenowanego, cały zestaw danych akcji, kod oraz dokumentację z solidnymi szczegółami. Dziś robotyka jest nadzbiorem trudnych problemów AI. Jutro może stać się podzbiorem, punktem w znacznie większej przestrzeni latentnej wcielonej AGI. Wtedy wystarczy, że poprosisz i "zapytasz o" kontroler robota. To może być gra końcowa (gra słów zamierzona). NitroGen jest współkierowany przez nasze genialne umysły: Loic Magne, Anas Awadalla, Guanzhi Wang. To współpraca wielu instytucji. Sprawdź wątek techniczny Guanzhi oraz linki do repozytoriów poniżej!