Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
NVIDIA Robotik Direktörü ve Seçkin Bilim İnsanı. GEAR laboratuvarının Eş Lideri. Fiziksel AGI çözme, her seferinde bir motor. Stanford Ph.D. OpenAI'nin 1. stajyeri.
Robotik için Fiziksel Turing Testi'ni çözmek için tek bir görevdeyim. Bu, yapay zekanın bir sonraki ya da belki de son büyük meydan okuması. Metin dizilerindeki süper zeka, çeviklik ve beceri alanında şempanze-zekadan önce Nobel ödülü kazanacak. Moravec'in paradoksu kırılması gereken bir lanet, yıkılması gereken bir duvardır. Hiçbir şey insanlık ile bu gezegendeki üstel fiziksel üretkenliğin arasında, belki bir gün öteki gezegenlerde de duramaz.
NVIDIA'da küçük bir laboratuvar kurduk ve çok yakın zamanda 30 kişiye ulaştık. Takım ağırlıklarının çok üzerinde bir performans sergiliyor. Araştırma alanımız, temel modelleri, dünya modelleri, bedenli akıl yürütme, simülasyon, tüm vücut kontrolü ve RL'nin birçok türü - temelde robot öğreniminin tam yığını - kapsıyor.
Bu yıl başlattık:
- GR00T VLA (vizyon-dil-eylem) temel modelleri: Mart ayında açık kaynaklı N1, Haziran'da N1.5 ve bu ay N1.6;
- GR00T Dreams: sentetik veri ölçeklendirmek için video dünya modeli;
- SONIC: insansı tüm vücut kontrol temel modeli;
- VLA'lar için RL sonrası eğitim ve sim2real için gerçek tarifler.
Bunlar, NVIDIA'daki çok sayıda işbirlikçi ekip, güçlü liderlik desteği ve üniversite laboratuvarlarından ortak yazarlar olmadan mümkün olmazdı. Göreve inandığınız için hepinize teşekkür ederim.
Dönüm noktaları galerisinde bir başlık:
111
Atari 2600, doktora dönemimde yapay zeka ajanları için altın kıstaç oldu. 50+ Atari oyunu oynayabilen tek bir sinir ağı akıl almaz sayılır. Modeller, 84x84 gri tonlu pikselli ekranı birkaç düğmeye eşlemekte zorlandı.
Sonra OpenAI Five (Dota) ve DeepMind'ın AlphaStar'ı oyunu yükseltti, Esports'ta dünyanın en iyi şampiyonlarını geride bıraktı. Yine de aynı anda tek bir sanal ortama aşırı uyum sağlıyorlar. Herhangi bir şeyi değiştirmek modeli anında kırardı.
İnsanlar, çok farklı fizik ve kurallara uyum sağlamada olağanüstü iyidir - bu durum en gelişmiş, trilyon ölçekli LLM'lerimizin hâlâ kaçırdığı bir şey. 1000 oyunu 1000 simülasyon olarak düşünün. Bir ajan ne kadar çok sanal dünyaya uyum sağlayabilirse, bedensel akıl yürütme, algı ve motor koordinasyonunu o kadar iyi geliştirir. Robotik için büyük bulmacanın kritik parçaları hepsi.
NitroGen modelini ve Gym API'sini açık kaynak olarak kullanarak, AlphaGo, AlphaStar, OpenAI Five ve yakın zamanda Google SIMA ile aynı hedefe hizmet ediyoruz: bu oyunların eğlencesini azaltmak, modern yapay zekanın sınırlamalarını vurgulamak, sağlam bir temel oluşturmak ve ilerlemeyi buna göre ölçmek için yeni bir kıyaslama - "Atari 2.0" - oluşturmak.
20 Ara 01:15
NitroGen'i tanıtıyoruz, 1000+ oyun oynamak için eğitilmiş açık kaynaklı bir temel model: RPG, platform oyunu, battle royale, yarış, 2D, 3D, ne derseniz! Gerçek dünya fiziğini değil, aynı zamanda çoklu simülasyonlar evreninde tüm mümkün fiziği ustalaşan genel amaçlı bedenlenmiş ajanlar arayışındayız.
Robotik için orijinal olarak tasarlanmış GR00T N1.5 mimarimizin, çok farklı mekaniklere sahip birçok oyunu oynamak için kolayca uyarlanabildiğini gördük. Tarifimiz basit ve acı bir ders dolu: (1) 40K+ saatlik, yüksek kaliteli kamuya açık oyun veri seti; (2) sürekli motor kontrolü için son derece yetenekli bir temel model; (3) herhangi bir oyun ikili dosyasını wrap edip dağıtımları çalıştıran bir Gym API.
Veri düzenlememiz çok eğlenceli: oyuncuların gerçek zamanlı oyun kumandası kontrolünü video akışına bindirerek yeteneklerini göstermeyi sevdiği ortaya çıktı. Bu yüzden bu oyun kumdu ekranlarını tespit edip çıkaran ve bunları uzman eylemlere dönüştürmek için bir segmentasyon modeli eğitiyoruz. Sonra o bölgeyi maskeleyerek modelin bir kestirmeyi kullanmasını engelleriz. Eğitim sırasında, GR00T N1.5'in bir varyantı, 40K saatlik pikselden eylemlere difüzyon transformatörleri aracılığıyla eşlemeyi öğrenir.
NitroGen sadece başlangıç ve bu yetenek için yokuş tırmanışına uzun bir yol var. Kasıtlı olarak sadece System 1 tarafına odaklanıyoruz: hızlı motor kontrolün "oyuncu içgüdüsü". Sizin üzerinde çalışmanız için *her şeyi* açık kaynak sunuyoruz: önceden eğitilmiş model ağırlıkları, tüm eylem veri seti, kod ve sağlam detaylarla dolu bir beyaz kitap.
Bugün robotik, zorlu yapay zeka problemlerinin bir üst kümesi.
Yarın, bedenlenmiş AGI'nin çok daha büyük gizli uzayında bir alt küme, bir nokta olabilir.
Sonra sadece bir robot kontrolcüye sorup "sorarsınız".
Bu belki son oyun (kelime oyunu kasıtlı).
NitroGen, parlak zihinlerimiz tarafından ortak yönetiliyor: Loic Magne, Anas Awadalla, Guanzhi Wang. Çok kurumsal bir iş birliği. Aşağıda Guanzhi'nin teknik derinlemesine dalış başlığı ve depo bağlantılarına göz atın!
470
NitroGen'i tanıtıyoruz, 1000+ oyun oynamak için eğitilmiş açık kaynaklı bir temel model: RPG, platform oyunu, battle royale, yarış, 2D, 3D, ne derseniz! Gerçek dünya fiziğini değil, aynı zamanda çoklu simülasyonlar evreninde tüm mümkün fiziği ustalaşan genel amaçlı bedenlenmiş ajanlar arayışındayız.
Robotik için orijinal olarak tasarlanmış GR00T N1.5 mimarimizin, çok farklı mekaniklere sahip birçok oyunu oynamak için kolayca uyarlanabildiğini gördük. Tarifimiz basit ve acı bir ders dolu: (1) 40K+ saatlik, yüksek kaliteli kamuya açık oyun veri seti; (2) sürekli motor kontrolü için son derece yetenekli bir temel model; (3) herhangi bir oyun ikili dosyasını wrap edip dağıtımları çalıştıran bir Gym API.
Veri düzenlememiz çok eğlenceli: oyuncuların gerçek zamanlı oyun kumandası kontrolünü video akışına bindirerek yeteneklerini göstermeyi sevdiği ortaya çıktı. Bu yüzden bu oyun kumdu ekranlarını tespit edip çıkaran ve bunları uzman eylemlere dönüştürmek için bir segmentasyon modeli eğitiyoruz. Sonra o bölgeyi maskeleyerek modelin bir kestirmeyi kullanmasını engelleriz. Eğitim sırasında, GR00T N1.5'in bir varyantı, 40K saatlik pikselden eylemlere difüzyon transformatörleri aracılığıyla eşlemeyi öğrenir.
NitroGen sadece başlangıç ve bu yetenek için yokuş tırmanışına uzun bir yol var. Kasıtlı olarak sadece System 1 tarafına odaklanıyoruz: hızlı motor kontrolün "oyuncu içgüdüsü". Sizin üzerinde çalışmanız için *her şeyi* açık kaynak sunuyoruz: önceden eğitilmiş model ağırlıkları, tüm eylem veri seti, kod ve sağlam detaylarla dolu bir beyaz kitap.
Bugün robotik, zorlu yapay zeka problemlerinin bir üst kümesi.
Yarın, bedenlenmiş AGI'nin çok daha büyük gizli uzayında bir alt küme, bir nokta olabilir.
Sonra sadece bir robot kontrolcüye sorup "sorarsınız".
Bu belki son oyun (kelime oyunu kasıtlı).
NitroGen, parlak zihinlerimiz tarafından ortak yönetiliyor: Loic Magne, Anas Awadalla, Guanzhi Wang. Çok kurumsal bir iş birliği. Aşağıda Guanzhi'nin teknik derinlemesine dalış başlığı ve depo bağlantılarına göz atın!
427
En İyiler
Sıralama
Takip Listesi