Tendencias del momento
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Director de Robótica y Científico Distinguido de NVIDIA. Co-Líder del laboratorio GEAR. Resolviendo AGI físico, un motor a la vez. Stanford Ph.D. 1er pasante de OpenAI.
Estoy en una misión singular para resolver la Prueba de Turing Física para la robótica. Es el próximo, o quizás EL último gran desafío de la IA. La superinteligencia en cadenas de texto ganará un premio Nobel antes de que tengamos inteligencia de chimpancé en agilidad y destreza. La paradoja de Moravec es una maldición que debe romperse, un muro que debe derribarse. Nada puede interponerse entre la humanidad y la productividad física exponencial en este planeta, y quizás algún día en planetas más allá.
Iniciamos un pequeño laboratorio en NVIDIA y recientemente crecimos a 30 personas. El equipo rinde mucho más de lo que se espera. Nuestra huella de investigación abarca modelos fundamentales, modelos del mundo, razonamiento incorporado, simulación, control de cuerpo completo y muchas variantes de RL, básicamente toda la pila del aprendizaje robótico.
Este año, lanzamos:
- Modelos fundamentales GR00T VLA (visión-lenguaje-acción): código abierto N1 en marzo, N1.5 en junio y N1.6 este mes;
- GR00T Dreams: modelo del mundo en video para escalar datos sintéticos;
- SONIC: modelo fundamental de control de cuerpo completo humanoide;
- Entrenamiento posterior de RL para VLAs y recetas de RL para sim2real.
Estos no habrían sido posibles sin los numerosos equipos colaboradores en NVIDIA, el fuerte apoyo del liderazgo y los coautores de laboratorios universitarios. Gracias a todos por creer en la misión.
Hilo sobre la galería de hitos:
157
El Atari 2600 solía ser el estándar dorado para los agentes de IA durante mi tiempo de doctorado. Una sola red neuronal capaz de jugar más de 50 juegos de Atari sería considerada asombrosa. Los modelos luchaban por mapear una pantalla pixelada en escala de grises de 84x84 a unos pocos botones.
Luego, OpenAI Five (Dota) y AlphaStar de DeepMind elevaron el nivel, superando a los mejores campeones del mundo en Esports. Sin embargo, se sobreajustaron a un solo entorno virtual a la vez. Cambiar cualquier cosa rompería el modelo al instante.
Los humanos son extraordinariamente buenos adaptándose a físicas y reglas muy diferentes, algo que sigue eludiendo a nuestros LLMs más avanzados, a escala de billones. Piensa en los 1000 juegos como 1000 simulaciones. Cuantos más mundos virtuales pueda adaptar un agente, mejor desarrollará el razonamiento encarnado, la percepción y la coordinación motora. Todas piezas críticas en el gran rompecabezas de la robótica.
Al hacer de código abierto el modelo NitroGen y la API de Gym, servimos al mismo objetivo que AlphaGo, AlphaStar, OpenAI Five y recientemente Google SIMA: no quitar la diversión de esos juegos, sino resaltar las limitaciones de la IA moderna, proporcionar una base sólida y crear un nuevo estándar - "Atari 2.0" - para medir el progreso en consecuencia.
20 dic, 01:15
Presentamos NitroGen, un modelo de fundación de código abierto entrenado para jugar más de 1000 juegos: RPG, plataformas, battle royale, carreras, 2D, 3D, ¡tú lo nombras! Estamos en una búsqueda de agentes embebidos de propósito general que dominen no solo la física del mundo real, sino también todas las posibles físicas a través de un multiverso de simulaciones.
Descubrimos que nuestra arquitectura GR00T N1.5, originalmente diseñada para robótica, se puede adaptar fácilmente para jugar muchos juegos con mecánicas muy diferentes. Nuestra receta es simple y amarga: (1) un conjunto de datos de alta calidad de más de 40K horas de juego público en el mundo real; (2) un modelo de fundación altamente capaz para el control motor continuo; (3) una API de Gym que envuelve cualquier binario de juego para ejecutar rollouts.
Nuestra curación de datos es muy divertida: resulta que a los jugadores les encanta mostrar sus habilidades superponiendo el control del gamepad en tiempo real sobre una transmisión de video. Así que entrenamos un modelo de segmentación para detectar y extraer esas pantallas de gamepad y convertirlas en acciones de experto. Luego enmascaramos esa región para evitar que el modelo explote un atajo. Durante el entrenamiento, una variante de GR00T N1.5 aprende a mapear de 40K horas de píxeles a acciones a través de transformadores de difusión.
NitroGen es solo el comienzo, y hay un largo camino por recorrer en la capacidad. Nos enfocamos intencionalmente solo en el lado del Sistema 1: el "instinto de jugador" del control motor rápido. Abrimos *todo* para que puedas experimentar: pesos de modelo preentrenados, todo el conjunto de datos de acciones, código y un documento técnico con detalles sólidos.
Hoy, la robótica es un superconjunto de problemas difíciles de IA.
Mañana, podría convertirse en un subconjunto, un punto en el espacio latente mucho más grande de AGI embebido.
Entonces solo tienes que solicitar y "pedir" un controlador de robot.
Ese podría ser el juego final (juego de palabras intencionado).
NitroGen es co-liderado por nuestras brillantes mentes: Loic Magne, Anas Awadalla, Guanzhi Wang. Es una colaboración multi-institucional. ¡Consulta el hilo de análisis técnico de Guanzhi y los enlaces del repositorio a continuación!
489
Presentamos NitroGen, un modelo de fundación de código abierto entrenado para jugar más de 1000 juegos: RPG, plataformas, battle royale, carreras, 2D, 3D, ¡tú lo nombras! Estamos en una búsqueda de agentes embebidos de propósito general que dominen no solo la física del mundo real, sino también todas las posibles físicas a través de un multiverso de simulaciones.
Descubrimos que nuestra arquitectura GR00T N1.5, originalmente diseñada para robótica, se puede adaptar fácilmente para jugar muchos juegos con mecánicas muy diferentes. Nuestra receta es simple y amarga: (1) un conjunto de datos de alta calidad de más de 40K horas de juego público en el mundo real; (2) un modelo de fundación altamente capaz para el control motor continuo; (3) una API de Gym que envuelve cualquier binario de juego para ejecutar rollouts.
Nuestra curación de datos es muy divertida: resulta que a los jugadores les encanta mostrar sus habilidades superponiendo el control del gamepad en tiempo real sobre una transmisión de video. Así que entrenamos un modelo de segmentación para detectar y extraer esas pantallas de gamepad y convertirlas en acciones de experto. Luego enmascaramos esa región para evitar que el modelo explote un atajo. Durante el entrenamiento, una variante de GR00T N1.5 aprende a mapear de 40K horas de píxeles a acciones a través de transformadores de difusión.
NitroGen es solo el comienzo, y hay un largo camino por recorrer en la capacidad. Nos enfocamos intencionalmente solo en el lado del Sistema 1: el "instinto de jugador" del control motor rápido. Abrimos *todo* para que puedas experimentar: pesos de modelo preentrenados, todo el conjunto de datos de acciones, código y un documento técnico con detalles sólidos.
Hoy, la robótica es un superconjunto de problemas difíciles de IA.
Mañana, podría convertirse en un subconjunto, un punto en el espacio latente mucho más grande de AGI embebido.
Entonces solo tienes que solicitar y "pedir" un controlador de robot.
Ese podría ser el juego final (juego de palabras intencionado).
NitroGen es co-liderado por nuestras brillantes mentes: Loic Magne, Anas Awadalla, Guanzhi Wang. Es una colaboración multi-institucional. ¡Consulta el hilo de análisis técnico de Guanzhi y los enlaces del repositorio a continuación!
446
Parte superior
Clasificación
Favoritos