Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Diretor de Robótica e Cientista Distinto da NVIDIA. Co-líder do laboratório GEAR. Resolvendo AGI Física, um motor de cada vez. Stanford Ph.D. 1º estagiário da OpenAI.
Estou em uma missão singular para resolver o Teste de Turing Físico para robótica. É o próximo, ou talvez O último grande desafio da IA. Superinteligência em sequências de texto ganhará um prêmio Nobel antes de termos a inteligência de chimpanzé em agilidade e destreza. O paradoxo de Moravec é uma maldição a ser quebrada, um muro a ser derrubado. Nada pode interpor entre a humanidade e a produtividade física exponencial neste planeta, e talvez algum dia em planetas além.
Começamos um pequeno laboratório na NVIDIA e crescemos para 30 pessoas muito recentemente. A equipe soca muito acima do seu potencial. Nossa área de pesquisa abrange modelos de fundação, modelos mundiais, raciocínio incorporado, simulação, controle de corpo inteiro e muitos tipos de RL – basicamente toda a pilha do aprendizado robótico.
Este ano, lançamos:
- Modelos fundamentais GR00T VLA (visão-linguagem-ação): N1 open-source em março, N1.5 em junho e N1.6 neste mês;
- GR00T Dreams: modelo de mundo de vídeo para escalar dados sintéticos;
- SONIC: modelo de fundação humanoide de controle de corpo inteiro;
- Pós-treinamento de RL para VLAs e receitas de RL para sim2real.
Isso não teria sido possível sem as inúmeras equipes colaboradoras da NVIDIA, forte apoio da liderança e coautores de laboratórios universitários. Obrigado a todos por acreditarem na missão.
Tópico na galeria de marcos:
116
Atari 2600 costumava ser o padrão de referência para agentes de IA durante meu doutorado. Uma única rede neural capaz de rodar 50+ jogos da Atari seria considerada impressionante. Os modelos tiveram dificuldade para mapear a tela pixelada em tons de cinza 84x84 para alguns botões.
Depois, OpenAI Five (Dota) e AlphaStar da DeepMind elevaram o nível, superando os maiores campeões mundiais de Esports. Ainda assim, eles se adaptam demais a um único ambiente virtual de cada vez. Mudar qualquer coisa quebraria o modelo instantaneamente.
Os humanos são extraordinariamente bons em se adaptar a físicas e regras muito diferentes – algo que continua escapando aos nossos LLMs mais avançados, em escala de trilhões. Pense nos 1000 jogos como 1000 simulações. Quanto mais mundos virtuais um agente conseguir se adaptar, melhor ele desenvolve raciocínio incorporado, percepção e coordenação motora. Todas peças críticas do grande quebra-cabeça da robótica.
Ao abrir o código do modelo NitroGen e da API da Gym, atendemos ao mesmo objetivo que AlphaGo, AlphaStar, OpenAI Five e, recentemente, Google SIMA: não tirar a diversão desses jogos, mas destacar as limitações da IA moderna, fornecer uma base sólida e criar um novo parâmetro – "Atari 2.0" – para medir o progresso de acordo.
20 de dez., 01:15
Apresentando o NitroGen, um modelo de fundação open-source treinado para jogar 1000+ jogos: RPG, plataforma, battle royale, corridas, 2D, 3D, você imaginar! Estamos em busca de agentes corporados de uso geral que dominem não apenas a física do mundo real, mas também toda a física possível em um multiverso de simulações.
Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas completamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de 40K+ horas de gameplay público na natureza; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API de Gym que envolve qualquer binário do jogo para executar lançamentos.
Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle em tempo real do controle do gamepad em uma transmissão de vídeo. Então treinamos um modelo de segmentação para detectar e extrair essas telas de controle e transformá-las em ações de especialistas. Depois, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40 mil horas de pixels para ações por meio de transformadores de difusão.
Nitrogênio é só o começo, e ainda há um longo caminho para subir morros nessa capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto gamer" de controle motor rápido. Disponibilizamos *tudo* para você experimentar: pesos pré-treinados dos modelos, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos.
Hoje, robótica é um superconjunto de problemas difíceis de IA.
Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada.
Aí você só solicita e "pede" um controle robô.
Esse pode ser o objetivo final (trocadilho intencional).
NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira abaixo o tópico de análise técnica e os links do repositório da Guanzhi!
474
Apresentando o NitroGen, um modelo de fundação open-source treinado para jogar 1000+ jogos: RPG, plataforma, battle royale, corridas, 2D, 3D, você imaginar! Estamos em busca de agentes corporados de uso geral que dominem não apenas a física do mundo real, mas também toda a física possível em um multiverso de simulações.
Descobrimos que nossa arquitetura GR00T N1.5, originalmente projetada para robótica, pode ser facilmente adaptada para jogar muitos jogos com mecânicas completamente diferentes. Nossa receita é simples e amarga: (1) um conjunto de dados de alta qualidade de 40K+ horas de gameplay público na natureza; (2) um modelo de fundação altamente capaz para controle motor contínuo; (3) uma API de Gym que envolve qualquer binário do jogo para executar lançamentos.
Nossa curadoria de dados é muito divertida: acontece que os jogadores adoram mostrar suas habilidades sobrepondo o controle em tempo real do controle do gamepad em uma transmissão de vídeo. Então treinamos um modelo de segmentação para detectar e extrair essas telas de controle e transformá-las em ações de especialistas. Depois, mascaramos essa região para evitar que o modelo explore um atalho. Durante o treinamento, uma variante do GR00T N1.5 aprende a mapear de 40 mil horas de pixels para ações por meio de transformadores de difusão.
Nitrogênio é só o começo, e ainda há um longo caminho para subir morros nessa capacidade. Focamos intencionalmente apenas no lado do Sistema 1: o "instinto gamer" de controle motor rápido. Disponibilizamos *tudo* para você experimentar: pesos pré-treinados dos modelos, todo o conjunto de dados de ações, código e um whitepaper com detalhes sólidos.
Hoje, robótica é um superconjunto de problemas difíceis de IA.
Amanhã, pode se tornar um subconjunto, um ponto no espaço latente muito maior da AGI incorporada.
Aí você só solicita e "pede" um controle robô.
Esse pode ser o objetivo final (trocadilho intencional).
NitroGen é co-liderado por nossas mentes brilhantes: Loic Magne, Anas Awadalla, Guanzhi Wang. É uma colaboração multi-institucional. Confira abaixo o tópico de análise técnica e os links do repositório da Guanzhi!
431
Melhores
Classificação
Favoritos