Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Director de Robótica y Científico Distinguido de NVIDIA. Co-Líder del laboratorio GEAR. Resolviendo AGI físicos, un motor a la vez. Stanford Ph.D. 1er pasante de OpenAI.
Estoy en una misión única para resolver la prueba de Turing física para robótica. Es el siguiente, o quizás EL último gran desafío de la IA. La superinteligencia en cadenas de texto ganará un premio Nobel antes de que tengamos la inteligencia chimpancé en agilidad y destreza. La paradoja de Moravec es una maldición que hay que romper, un muro que hay que derribar. Nada puede interponerse entre la humanidad y la productividad física exponencial en este planeta, y quizás algún día en planetas más allá.
Empezamos un pequeño laboratorio en NVIDIA y crecimos hasta 30 muy recientemente. El equipo pega muy por encima de lo que puede. Nuestra huella de investigación abarca modelos fundamentales, modelos mundiales, razonamiento encarnado, simulación, control de cuerpo completo y muchas variantes de la vida real, básicamente todo el conjunto del aprendizaje robótico.
Este año, lanzamos:
- Modelos fundacionales GR00T VLA (visión-lenguaje-acción): N1 de código abierto en marzo, N1.5 en junio y N1.6 este mes;
- GR00T Dreams: modelo de mundo de vídeo para escalar datos sintéticos;
- SONIC: modelo de base de control humanoide de cuerpo completo;
- Post-entrenamiento RL para VLAs y recetas RL para sim2real.
Esto no habría sido posible sin los numerosos equipos colaboradores de NVIDIA, el fuerte apoyo de la dirección y los coautores de laboratorios universitarios. Gracias a todos por creer en la misión.
Hilo en la galería de hitos:
115
El Atari 2600 solía ser el referente de oro para agentes de IA durante mi etapa de doctorado. Una sola red neuronal capaz de reproducir 50+ juegos de Atari sería considerada alucinante. Los modelos tuvieron dificultades para asignar una pantalla pixelada en escala de grises 84x84 a unos pocos botones.
Después, OpenAI Five (Dota) y AlphaStar de DeepMind mejoraron el nivel, superando a los principales campeones mundiales de Esports. Sin embargo, se adaptan demasiado a un solo entorno virtual a la vez. Cambiar cualquier cosa rompería el modelo al instante.
Los humanos somos extraordinariamente buenos adaptándose a físicas y reglas muy diferentes, algo que sigue eludiendo nuestros LLMs más avanzados a escala de billones. Piensa en los 1000 juegos como 1000 simulaciones. Cuantos más mundos virtuales pueda adaptarse un agente, mejor desarrollará razonamiento corporal, percepción y coordinación motora. Todas piezas críticas en el gran rompecabezas de la robótica.
Al abrir el modelo NitroGen y la API de Gym, cumplimos el mismo objetivo que AlphaGo, AlphaStar, OpenAI Five y, recientemente, Google SIMA: no quitarles diversión a esos juegos, sino destacar las limitaciones de la IA moderna, proporcionar una base sólida y crear un nuevo punto de referencia —"Atari 2.0"— para medir el progreso en consecuencia.
20 dic, 01:15
Presentamos NitroGen, un modelo de base de código abierto entrenado para jugar a 1000+ juegos: RPG, plataformas, battle royale, carreras, 2D, 3D, ¡lo que sea! Estamos en una búsqueda de agentes corporados de propósito general que dominen no solo la física del mundo real, sino también toda la física posible a través de un multiverso de simulaciones.
Descubrimos que nuestra arquitectura GR00T N1.5, originalmente diseñada para robótica, puede adaptarse fácilmente para jugar a muchos juegos con mecánicas muy diferentes. Nuestra receta es sencilla y amarga y llena de leccións: (1) un conjunto de datos de 40.000 horas y alta calidad de juego público en la naturaleza; (2) un modelo de base altamente capaz para el control motor continuo; (3) una API de gimnasio que envuelve cualquier binario de juego para ejecutar despliegues.
Nuestra curación de datos es muy divertida: resulta que a los jugadores les encanta presumir de sus habilidades superponiendo controles en tiempo real con gamepad en una transmisión de vídeo. Así que entrenamos un modelo de segmentación para detectar y extraer esas pantallas de gamepad y convertirlas en acciones expertas. Luego enmascaramos esa región para evitar que el modelo explote un atajo. Durante el entrenamiento, una variante de GR00T N1.5 aprende a mapear desde 40.000 horas de píxeles hasta acciones mediante transformadores de difusión.
El nitrógeno es solo el principio, y queda mucho camino por subir en cuesta con esta capacidad. Nos centramos intencionadamente solo en el lado del Sistema 1: el "instinto gamer" de control motor rápido. Abrimos *todo* para que experimentes: pesos de modelos preentrenados, todo el conjunto de datos de acciones, código y un whitepaper con detalles sólidos.
Hoy en día, la robótica es un superconjunto de problemas difíciles de IA.
Mañana, podría convertirse en un subconjunto, un punto en el espacio latente mucho más amplio de la AGI incorporada.
Luego solo tienes que pedir y "pedir" un mando robot.
Eso podría ser el objetivo final (juego de palabras intencionado).
NitroGen está codirigido por nuestras mentes brillantes: Loic Magne, Anas Awadalla, Guanzhi Wang. Es una colaboración multiinstitucional. ¡Consulta el hilo de análisis técnico y los enlaces de repositorios de Guanzhi a continuación!
473
Presentamos NitroGen, un modelo de base de código abierto entrenado para jugar a 1000+ juegos: RPG, plataformas, battle royale, carreras, 2D, 3D, ¡lo que sea! Estamos en una búsqueda de agentes corporados de propósito general que dominen no solo la física del mundo real, sino también toda la física posible a través de un multiverso de simulaciones.
Descubrimos que nuestra arquitectura GR00T N1.5, originalmente diseñada para robótica, puede adaptarse fácilmente para jugar a muchos juegos con mecánicas muy diferentes. Nuestra receta es sencilla y amarga y llena de leccións: (1) un conjunto de datos de 40.000 horas y alta calidad de juego público en la naturaleza; (2) un modelo de base altamente capaz para el control motor continuo; (3) una API de gimnasio que envuelve cualquier binario de juego para ejecutar despliegues.
Nuestra curación de datos es muy divertida: resulta que a los jugadores les encanta presumir de sus habilidades superponiendo controles en tiempo real con gamepad en una transmisión de vídeo. Así que entrenamos un modelo de segmentación para detectar y extraer esas pantallas de gamepad y convertirlas en acciones expertas. Luego enmascaramos esa región para evitar que el modelo explote un atajo. Durante el entrenamiento, una variante de GR00T N1.5 aprende a mapear desde 40.000 horas de píxeles hasta acciones mediante transformadores de difusión.
El nitrógeno es solo el principio, y queda mucho camino por subir en cuesta con esta capacidad. Nos centramos intencionadamente solo en el lado del Sistema 1: el "instinto gamer" de control motor rápido. Abrimos *todo* para que experimentes: pesos de modelos preentrenados, todo el conjunto de datos de acciones, código y un whitepaper con detalles sólidos.
Hoy en día, la robótica es un superconjunto de problemas difíciles de IA.
Mañana, podría convertirse en un subconjunto, un punto en el espacio latente mucho más amplio de la AGI incorporada.
Luego solo tienes que pedir y "pedir" un mando robot.
Eso podría ser el objetivo final (juego de palabras intencionado).
NitroGen está codirigido por nuestras mentes brillantes: Loic Magne, Anas Awadalla, Guanzhi Wang. Es una colaboración multiinstitucional. ¡Consulta el hilo de análisis técnico y los enlaces de repositorios de Guanzhi a continuación!
430
Populares
Ranking
Favoritas