Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Direktur Robotika & Ilmuwan Terkemuka NVIDIA. Co-Lead lab GEAR. Memecahkan AGI Fisik, satu motor pada satu waktu. Stanford Ph.D. Magang pertama OpenAI.
Saya sedang dalam misi tunggal untuk memecahkan Tes Turing Fisik untuk robotika. Ini adalah tantangan besar AI berikutnya, atau mungkin TERAKHIR. Kecerdasan super dalam string teks akan memenangkan hadiah Nobel sebelum kita memiliki kecerdasan simpanse dalam kelincahan & ketangkasan. Paradoks Moravec adalah kutukan yang harus dihancurkan, tembok yang harus dirobohkan. Tidak ada yang bisa berdiri di antara umat manusia dan produktivitas fisik eksponensial di planet ini, dan mungkin suatu hari nanti di planet-planet di luarnya.
Kami memulai laboratorium kecil di NVIDIA dan tumbuh menjadi 30 orang baru-baru ini. Tim meninju jauh di atas beratnya. Jejak penelitian kami mencakup model fondasi, model dunia, penalaran yang diwujudkan, simulasi, kontrol seluruh tubuh, dan banyak rasa RL - pada dasarnya tumpukan penuh pembelajaran robot.
Tahun ini, kami meluncurkan:
- Model fondasi GR00T VLA (visi-bahasa-tindakan): N1 sumber terbuka pada bulan Maret, N1.5 pada bulan Juni, dan N1.6 bulan ini;
- GR00T Dreams: model dunia video untuk menskalakan data sintetis;
- SONIC: model pondasi kontrol seluruh tubuh humanoid;
- Pasca-pelatihan RL untuk VLA dan resep RL untuk sim2real.
Ini tidak akan mungkin terjadi tanpa banyak tim kolaborasi di NVIDIA, dukungan kepemimpinan yang kuat, dan rekan penulis dari laboratorium universitas. Terima kasih semua telah mempercayai misi ini.
Utas di galeri pencapaian:
123
Atari 2600 dulunya menjadi tolok ukur emas untuk agen AI selama masa PhD saya. Jaring saraf tunggal yang mampu memainkan 50+ game Atari akan dianggap menakjubkan. Model-model berjuang untuk memetakan layar piksel skala abu-abu 84x84 ke beberapa tombol.
Kemudian OpenAI Five (Dota) dan AlphaStar dari DeepMind meningkatkan permainan, mengalahkan juara top dunia di Esports. Namun mereka terlalu cocok dengan satu lingkungan virtual pada satu waktu. Mengubah apa pun akan merusak model secara instan.
Manusia sangat pandai beradaptasi dengan fisika dan aturan yang sangat berbeda - sesuatu yang terus menghindari LLM skala triliunan kita yang paling canggih. Pikirkan 1000 game sebagai 1000 simulasi. Semakin banyak dunia virtual yang dapat diadaptasi oleh agen, semakin baik ia mengembangkan penalaran, persepsi, dan koordinasi motorik yang terwujud. Semua potongan penting dalam teka-teki besar untuk robotika.
Dengan membuka model NitroGen dan API Gym, kami melayani tujuan yang sama dengan AlphaGo, AlphaStar, OpenAI Five, dan baru-baru ini Google SIMA: bukan untuk menghilangkan kesenangan dari game-game tersebut, tetapi untuk menyoroti keterbatasan AI modern, memberikan dasar yang solid, dan membuat tolok ukur baru - "Atari 2.0" - untuk mengukur kemajuan yang sesuai.
20 Des, 01.15
Memperkenalkan NitroGen, model foundation open-source yang dilatih untuk memainkan 1000+ game: RPG, platformer, battle royale, balap, 2D, 3D, sebut saja! Kami sedang dalam pencarian agen berwujud tujuan umum yang menguasai tidak hanya fisika dunia nyata, tetapi juga semua fisika yang mungkin di multiverse simulasi.
Kami menemukan bahwa arsitektur GR00T N1.5 kami, yang awalnya dirancang untuk robotika, dapat disesuaikan dengan mudah untuk memainkan banyak game dengan mekanisme yang sangat berbeda. Resep kami sederhana dan pahit: (1) kumpulan data gameplay publik di alam liar selama 40K+ jam; (2) model pondasi yang sangat mumpuni untuk kontrol motor berkelanjutan; (3) API Gym yang membungkus biner game apa pun untuk menjalankan peluncuran.
Kurasi data kami sangat menyenangkan: ternyata gamer suka memamerkan keahlian mereka dengan melapisi kontrol gamepad real-time pada streaming video. Jadi kami melatih model segmentasi untuk mendeteksi dan mengekstrak tampilan gamepad tersebut dan mengubahnya menjadi tindakan ahli. Kami kemudian menutupi wilayah itu untuk mencegah model mengeksploitasi pintasan. Selama pelatihan, varian GR00T N1.5 belajar memetakan dari 40K jam piksel ke tindakan melalui transformator difusi.
Nitrogen hanyalah permulaan, dan ada jalan panjang untuk mendaki bukit pada kemampuannya. Kami sengaja hanya fokus pada sisi Sistem 1: "naluri gamer" dari kontrol motor cepat. Kami membuka sumber *semuanya* untuk Anda utak-atik: bobot model yang telah dilatih sebelumnya, seluruh kumpulan data tindakan, kode, dan whitepaper dengan detail yang solid.
Saat ini, robotika adalah superset dari masalah AI yang sulit.
Besok, itu mungkin menjadi subset, titik di ruang laten yang jauh lebih besar dari AGI yang diwujudkan.
Kemudian Anda cukup meminta dan "meminta" pengontrol robot.
Itu mungkin permainan akhir (permainan kata-kata).
Nitrogen dipimpin bersama oleh pemikiran brilian kami: Loic Magne, Anas Awadalla, Guanzhi Wang. Ini adalah kolaborasi multi-institusi. Lihat utas teknis Guanzhi dan tautan repo di bawah ini!
481
Memperkenalkan NitroGen, model foundation open-source yang dilatih untuk memainkan 1000+ game: RPG, platformer, battle royale, balap, 2D, 3D, sebut saja! Kami sedang dalam pencarian agen berwujud tujuan umum yang menguasai tidak hanya fisika dunia nyata, tetapi juga semua fisika yang mungkin di multiverse simulasi.
Kami menemukan bahwa arsitektur GR00T N1.5 kami, yang awalnya dirancang untuk robotika, dapat disesuaikan dengan mudah untuk memainkan banyak game dengan mekanisme yang sangat berbeda. Resep kami sederhana dan pahit: (1) kumpulan data gameplay publik di alam liar selama 40K+ jam; (2) model pondasi yang sangat mumpuni untuk kontrol motor berkelanjutan; (3) API Gym yang membungkus biner game apa pun untuk menjalankan peluncuran.
Kurasi data kami sangat menyenangkan: ternyata gamer suka memamerkan keahlian mereka dengan melapisi kontrol gamepad real-time pada streaming video. Jadi kami melatih model segmentasi untuk mendeteksi dan mengekstrak tampilan gamepad tersebut dan mengubahnya menjadi tindakan ahli. Kami kemudian menutupi wilayah itu untuk mencegah model mengeksploitasi pintasan. Selama pelatihan, varian GR00T N1.5 belajar memetakan dari 40K jam piksel ke tindakan melalui transformator difusi.
Nitrogen hanyalah permulaan, dan ada jalan panjang untuk mendaki bukit pada kemampuannya. Kami sengaja hanya fokus pada sisi Sistem 1: "naluri gamer" dari kontrol motor cepat. Kami membuka sumber *semuanya* untuk Anda utak-atik: bobot model yang telah dilatih sebelumnya, seluruh kumpulan data tindakan, kode, dan whitepaper dengan detail yang solid.
Saat ini, robotika adalah superset dari masalah AI yang sulit.
Besok, itu mungkin menjadi subset, titik di ruang laten yang jauh lebih besar dari AGI yang diwujudkan.
Kemudian Anda cukup meminta dan "meminta" pengontrol robot.
Itu mungkin permainan akhir (permainan kata-kata).
Nitrogen dipimpin bersama oleh pemikiran brilian kami: Loic Magne, Anas Awadalla, Guanzhi Wang. Ini adalah kolaborasi multi-institusi. Lihat utas teknis Guanzhi dan tautan repo di bawah ini!
438
Teratas
Peringkat
Favorit