熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Jim Fan
NVIDIA 機器人總監和傑出科學家。GEAR 實驗室聯合負責人。解決物理 AGI，一次一個電機。斯坦福大學博士 OpenAI 的第 1 名實習生。
我正在進行一項獨特的任務，旨在解決機器人的物理圖靈測試。這是人工智慧的下一個，或者說是最後一個偉大挑戰。文本字符串中的超智能將在我們擁有猩猩在靈活性和靈巧性方面的智能之前贏得諾貝爾獎。莫拉維克悖論是一個需要打破的詛咒，一堵需要拆除的牆。沒有什麼能阻擋人類在這個星球上，甚至未來在其他星球上實現指數級的物理生產力。
我們在NVIDIA成立了一個小實驗室，最近擴展到30人。這個團隊的實力超乎想像。我們的研究範疇涵蓋基礎模型、世界模型、具身推理、模擬、全身控制以及多種強化學習的變體——基本上是機器人學習的完整堆疊。
今年，我們推出了：
- GR00T VLA（視覺-語言-行動）基礎模型：在3月開源了N1，6月推出了N1.5，本月推出了N1.6；
- GR00T Dreams：用於擴展合成數據的視頻世界模型；
- SONIC：人形全身控制基礎模型；
- 強化學習後訓練用於VLA和sim2real的強化學習配方。
這些成就的實現離不開NVIDIA眾多合作團隊的支持、強有力的領導支持以及來自大學實驗室的共同作者。感謝大家對這項使命的信任。
里程碑畫廊的主題：
113
Atari 2600 曾經是我博士期間 AI 代理的黃金基準。一個能夠玩 50 多款 Atari 遊戲的單一神經網絡會被認為是驚人的。這些模型在將 84x84 灰階像素化螢幕映射到幾個按鈕上時遇到了困難。
然後 OpenAI Five（Dota）和 DeepMind 的 AlphaStar 提升了遊戲水平，擊敗了世界頂尖的電子競技冠軍。然而，它們在一次只能適應一個虛擬環境上過度擬合。改變任何東西都會立即破壞模型。
人類在適應截然不同的物理和規則方面非常出色——這是我們最先進的、萬億規模的 LLM 仍然無法做到的。把 1000 款遊戲想像成 1000 個模擬。代理能夠適應的虛擬世界越多，它在具身推理、感知和運動協調方面的發展就越好。這些都是機器人學大拼圖中的關鍵部分。
通過開源 NitroGen 模型和 Gym API，我們的目標與 AlphaGo、AlphaStar、OpenAI Five 以及最近的 Google SIMA 相同：不是要奪走這些遊戲的樂趣，而是要突顯現代 AI 的局限性，提供一個穩固的基準，並創造一個新的基準——"Atari 2.0"——以相應地衡量進展。
12月20日 01:15
介紹 NitroGen，一個開源的基礎模型，訓練來玩 1000 多款遊戲：角色扮演遊戲、平台遊戲、大逃殺、賽車、2D、3D，應有盡有！我們正在尋找通用的具身代理，這些代理不僅能掌握現實世界的物理，還能掌握多元宇宙中所有可能的物理。
我們發現我們的 GR00T N1.5 架構，最初設計用於機器人技術，可以輕鬆適應玩許多機械截然不同的遊戲。我們的配方簡單且苦澀的教訓是： (1) 一個 40K+ 小時的高品質公共遊玩數據集； (2) 一個高效能的基礎模型，用於持續的運動控制； (3) 一個 Gym API，可以包裝任何遊戲二進位檔以運行回合。
我們的數據策展非常有趣：事實證明，玩家喜歡通過在視頻流上疊加實時遊戲手柄控制來展示他們的技能。因此，我們訓練一個分割模型來檢測和提取這些遊戲手柄顯示，並將其轉化為專家行動。然後，我們遮蔽該區域，以防止模型利用捷徑。在訓練過程中，GR00T N1.5 的一個變體學會通過擴散變壓器將 40K 小時的像素映射到行動。
NitroGen 只是個開始，還有很長的路要走以提升能力。我們故意只專注於系統 1 的部分：快速運動控制的 "玩家直覺"。我們開源 *所有* 內容供你進行實驗：預訓練模型權重、整個行動數據集、代碼，以及一份詳細的白皮書。
今天，機器人技術是困難 AI 問題的超集。
明天，它可能成為一個子集，成為具身 AGI 更大潛在空間中的一個點。
然後你只需提示並 "請求" 一個機器人控制器。
這可能就是終局（雙關語）。
NitroGen 由我們的傑出團隊共同領導：Loic Magne、Anas Awadalla、Guanzhi Wang。這是一個多機構的合作。查看 Guanzhi 的技術深入討論串和下面的 repo 連結！
471
介紹 NitroGen，一個開源的基礎模型，訓練來玩 1000 多款遊戲：角色扮演遊戲、平台遊戲、大逃殺、賽車、2D、3D，應有盡有！我們正在尋找通用的具身代理，這些代理不僅能掌握現實世界的物理，還能掌握多元宇宙中所有可能的物理。
我們發現我們的 GR00T N1.5 架構，最初設計用於機器人技術，可以輕鬆適應玩許多機械截然不同的遊戲。我們的配方簡單且苦澀的教訓是： (1) 一個 40K+ 小時的高品質公共遊玩數據集； (2) 一個高效能的基礎模型，用於持續的運動控制； (3) 一個 Gym API，可以包裝任何遊戲二進位檔以運行回合。
我們的數據策展非常有趣：事實證明，玩家喜歡通過在視頻流上疊加實時遊戲手柄控制來展示他們的技能。因此，我們訓練一個分割模型來檢測和提取這些遊戲手柄顯示，並將其轉化為專家行動。然後，我們遮蔽該區域，以防止模型利用捷徑。在訓練過程中，GR00T N1.5 的一個變體學會通過擴散變壓器將 40K 小時的像素映射到行動。
NitroGen 只是個開始，還有很長的路要走以提升能力。我們故意只專注於系統 1 的部分：快速運動控制的 "玩家直覺"。我們開源 *所有* 內容供你進行實驗：預訓練模型權重、整個行動數據集、代碼，以及一份詳細的白皮書。
今天，機器人技術是困難 AI 問題的超集。
明天，它可能成為一個子集，成為具身 AGI 更大潛在空間中的一個點。
然後你只需提示並 "請求" 一個機器人控制器。
這可能就是終局（雙關語）。
NitroGen 由我們的傑出團隊共同領導：Loic Magne、Anas Awadalla、Guanzhi Wang。這是一個多機構的合作。查看 Guanzhi 的技術深入討論串和下面的 repo 連結！
428
熱門
排行
收藏