Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Diretor de Robótica da NVIDIA & Cientista Distinto. Colíder do laboratório GEAR. Resolução de IAG Física, um motor de cada vez. Stanford Ph.D. 1º estagiário da OpenAI.
Estou numa missão singular para resolver o Teste de Turing Físico para robótica. É o próximo, ou talvez O último grande desafio da IA. A superinteligência em cadeias de texto ganhará um prêmio Nobel antes de termos inteligência de chimpanzé em agilidade e destreza. O paradoxo de Moravec é uma maldição a ser quebrada, uma parede a ser derrubada. Nada pode ficar entre a humanidade e a produtividade física exponencial neste planeta, e talvez algum dia em planetas além.
Começámos um pequeno laboratório na NVIDIA e crescemos para 30 pessoas muito recentemente. A equipe atua muito além do seu peso. Nossa pegada de pesquisa abrange modelos fundamentais, modelos de mundo, raciocínio incorporado, simulação, controle de corpo inteiro e muitas variantes de RL - basicamente toda a pilha de aprendizado de robôs.
Este ano, lançámos:
- GR00T VLA (modelos fundamentais de visão-linguagem-ação): código aberto N1 em março, N1.5 em junho e N1.6 este mês;
- GR00T Dreams: modelo de mundo em vídeo para escalonamento de dados sintéticos;
- SONIC: modelo fundamental de controle de corpo inteiro humanoide;
- Pós-treinamento de RL para VLAs e receitas de RL para sim2real.
Isto não teria sido possível sem as numerosas equipes colaboradoras na NVIDIA, forte apoio da liderança e coautores de laboratórios universitários. Obrigado a todos por acreditarem na missão.
Thread sobre a galeria de marcos:
126
O Atari 2600 costumava ser o padrão de ouro para agentes de IA durante o meu doutorado. Uma única rede neural capaz de jogar mais de 50 jogos do Atari seria considerada impressionante. Os modelos lutavam para mapear uma tela pixelizada em escala de cinza de 84x84 para alguns botões.
Então, o OpenAI Five (Dota) e o AlphaStar da DeepMind elevaram o nível, superando os melhores campeões do mundo em Esports. No entanto, eles se ajustavam excessivamente a um único ambiente virtual de cada vez. Mudar qualquer coisa quebraria o modelo instantaneamente.
Os humanos são extraordinariamente bons em se adaptar a físicas e regras muito diferentes - algo que continua a escapar aos nossos LLMs mais avançados, em escala de trilhões. Pense nos 1000 jogos como 1000 simulações. Quanto mais mundos virtuais um agente puder se adaptar, melhor ele desenvolve raciocínio incorporado, percepção e coordenação motora. Todas peças críticas no grande quebra-cabeça da robótica.
Ao abrir o código-fonte do modelo NitroGen e da API Gym, servimos ao mesmo objetivo que o AlphaGo, AlphaStar, OpenAI Five e, recentemente, o Google SIMA: não tirar a diversão desses jogos, mas destacar as limitações da IA moderna, fornecer uma base sólida e criar um novo padrão - "Atari 2.0" - para medir o progresso de acordo.
20/12, 01:15
Apresentando o NitroGen, um modelo de fundação de código aberto treinado para jogar mais de 1000 jogos: RPG, plataforma, battle royale, corrida, 2D, 3D, você nomeia! Estamos em uma busca por agentes corporais de propósito geral que dominem não apenas a física do mundo real, mas também todas as possíveis físicas em um multiverso de simulações.
Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas extremamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de mais de 40K horas de jogabilidade pública; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API Gym que envolve qualquer binário de jogo para executar rollouts.
Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle do gamepad em tempo real a um stream de vídeo. Então, treinamos um modelo de segmentação para detectar e extrair essas exibições de gamepad e transformá-las em ações de especialista. Em seguida, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40K horas de pixels para ações através de transformadores de difusão.
NitroGen é apenas o começo, e há um longo caminho a percorrer em termos de capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto do jogador" de controle motor rápido. Abrimos *tudo* para você experimentar: pesos de modelo pré-treinados, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos.
Hoje, a robótica é um superconjunto de problemas difíceis de IA.
Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada.
Então você apenas solicita e "pede" um controlador robótico.
Isso pode ser o jogo final (trocadilho intencional).
NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira o thread técnico aprofundado de Guanzhi e os links do repositório abaixo!
484
Apresentando o NitroGen, um modelo de fundação de código aberto treinado para jogar mais de 1000 jogos: RPG, plataforma, battle royale, corrida, 2D, 3D, você nomeia! Estamos em uma busca por agentes corporais de propósito geral que dominem não apenas a física do mundo real, mas também todas as possíveis físicas em um multiverso de simulações.
Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas extremamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de mais de 40K horas de jogabilidade pública; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API Gym que envolve qualquer binário de jogo para executar rollouts.
Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle do gamepad em tempo real a um stream de vídeo. Então, treinamos um modelo de segmentação para detectar e extrair essas exibições de gamepad e transformá-las em ações de especialista. Em seguida, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40K horas de pixels para ações através de transformadores de difusão.
NitroGen é apenas o começo, e há um longo caminho a percorrer em termos de capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto do jogador" de controle motor rápido. Abrimos *tudo* para você experimentar: pesos de modelo pré-treinados, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos.
Hoje, a robótica é um superconjunto de problemas difíceis de IA.
Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada.
Então você apenas solicita e "pede" um controlador robótico.
Isso pode ser o jogo final (trocadilho intencional).
NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira o thread técnico aprofundado de Guanzhi e os links do repositório abaixo!
441
Top
Classificação
Favoritos