Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Jim Fan
Giám đốc Robot và Nhà khoa học xuất sắc của NVIDIA. Đồng trưởng phòng thí nghiệm GEAR. Giải quyết AGI vật lý, từng động cơ một. Stanford Ph.D. Thực tập sinh đầu tiên của OpenAI.
Tôi đang trong một sứ mệnh duy nhất để giải quyết Bài kiểm tra Turing vật lý cho robot. Đây là thử thách lớn tiếp theo, hoặc có thể là THỬ THÁCH CUỐI CÙNG của AI. Siêu trí tuệ trong các chuỗi văn bản sẽ giành giải Nobel trước khi chúng ta có trí tuệ của tinh tinh trong sự nhanh nhẹn và khéo léo. Nghịch lý Moravec là một lời nguyền cần phải phá vỡ, một bức tường cần phải bị phá bỏ. Không gì có thể đứng giữa nhân loại và năng suất vật lý gia tăng trên hành tinh này, và có thể một ngày nào đó trên các hành tinh khác.
Chúng tôi đã bắt đầu một phòng thí nghiệm nhỏ tại NVIDIA và gần đây đã phát triển lên 30 người. Đội ngũ của chúng tôi làm việc vượt xa khả năng của mình. Dấu chân nghiên cứu của chúng tôi trải dài qua các mô hình nền tảng, mô hình thế giới, lý luận thể hiện, mô phỏng, điều khiển toàn thân, và nhiều loại RL - về cơ bản là toàn bộ chuỗi học tập của robot.
Năm nay, chúng tôi đã ra mắt:
- Mô hình nền tảng GR00T VLA (mô hình thị giác-ngôn ngữ-hành động): mã nguồn mở N1 vào tháng 3, N1.5 vào tháng 6, và N1.6 trong tháng này;
- GR00T Dreams: mô hình thế giới video để mở rộng dữ liệu tổng hợp;
- SONIC: mô hình nền tảng điều khiển toàn thân người máy;
- Đào tạo sau RL cho VLAs và công thức RL cho sim2real.
Những điều này sẽ không thể xảy ra nếu không có sự hợp tác của nhiều đội ngũ tại NVIDIA, sự hỗ trợ lãnh đạo mạnh mẽ, và các đồng tác giả từ các phòng thí nghiệm đại học. Cảm ơn tất cả các bạn đã tin tưởng vào sứ mệnh.
93
Atari 2600 từng là tiêu chuẩn vàng cho các tác nhân AI trong thời gian tôi làm tiến sĩ. Một mạng nơ-ron đơn lẻ có khả năng chơi hơn 50 trò chơi Atari sẽ được coi là điều đáng kinh ngạc. Các mô hình gặp khó khăn trong việc ánh xạ màn hình pixel hóa 84x84 màu xám sang một vài nút bấm.
Sau đó, OpenAI Five (Dota) và AlphaStar của DeepMind đã nâng cao trò chơi, đánh bại các nhà vô địch hàng đầu thế giới trong Esports. Tuy nhiên, chúng đã quá khớp với một môi trường ảo duy nhất tại một thời điểm. Thay đổi bất cứ điều gì sẽ ngay lập tức làm hỏng mô hình.
Con người cực kỳ giỏi trong việc thích nghi với các quy tắc và vật lý khác nhau - điều mà vẫn tiếp tục làm khó khăn cho các LLM quy mô triệu đô tiên tiến nhất của chúng ta. Hãy nghĩ về 1000 trò chơi như 1000 mô phỏng. Càng nhiều thế giới ảo mà một tác nhân có thể thích nghi, nó càng phát triển khả năng lý luận, nhận thức và phối hợp vận động. Tất cả đều là những mảnh ghép quan trọng trong bức tranh lớn về robot.
Bằng cách mã nguồn mở mô hình NitroGen và API Gym, chúng tôi phục vụ cùng một mục tiêu như AlphaGo, AlphaStar, OpenAI Five, và gần đây là Google SIMA: không phải để lấy đi niềm vui từ những trò chơi đó, mà để làm nổi bật những hạn chế của AI hiện đại, cung cấp một cơ sở vững chắc, và tạo ra một tiêu chuẩn mới - "Atari 2.0" - để đo lường sự tiến bộ tương ứng.
01:15 20 thg 12
Giới thiệu NitroGen, một mô hình nền mã nguồn mở được đào tạo để chơi hơn 1000 trò chơi: RPG, platformer, battle royale, đua xe, 2D, 3D, bạn có thể đặt tên! Chúng tôi đang trên hành trình tìm kiếm các tác nhân thể hiện đa năng có khả năng làm chủ không chỉ vật lý thế giới thực, mà còn tất cả các loại vật lý có thể có trong một vũ trụ đa chiều của các mô phỏng.
Chúng tôi phát hiện rằng kiến trúc GR00T N1.5 của chúng tôi, ban đầu được thiết kế cho robot, có thể dễ dàng được điều chỉnh để chơi nhiều trò chơi với cơ chế hoàn toàn khác nhau. Công thức của chúng tôi rất đơn giản và là một bài học đắng: (1) một tập dữ liệu chất lượng cao hơn 40K giờ về gameplay công khai; (2) một mô hình nền có khả năng cao cho điều khiển động cơ liên tục; (3) một Gym API bao bọc bất kỳ tệp nhị phân trò chơi nào để thực hiện các lần chạy thử.
Việc biên soạn dữ liệu của chúng tôi rất thú vị: hóa ra game thủ thích thể hiện kỹ năng của họ bằng cách chồng lên điều khiển gamepad thời gian thực trên một luồng video. Vì vậy, chúng tôi đào tạo một mô hình phân đoạn để phát hiện và trích xuất những hiển thị gamepad đó và biến chúng thành các hành động chuyên gia. Sau đó, chúng tôi che khu vực đó để ngăn mô hình khai thác một lối tắt. Trong quá trình đào tạo, một biến thể của GR00T N1.5 học cách ánh xạ từ 40K giờ pixel sang hành động thông qua các biến thể khuếch tán.
NitroGen chỉ là khởi đầu, và còn một chặng đường dài để leo lên khả năng. Chúng tôi cố tình chỉ tập trung vào phía Hệ thống 1: "bản năng game thủ" của việc điều khiển động cơ nhanh. Chúng tôi mã nguồn mở *mọi thứ* để bạn có thể thử nghiệm: trọng số mô hình đã được đào tạo trước, toàn bộ tập dữ liệu hành động, mã nguồn và một tài liệu trắng với các chi tiết vững chắc.
Ngày nay, robotics là một tập hợp con của các vấn đề AI khó khăn.
Ngày mai, nó có thể trở thành một tập con, một điểm trong không gian tiềm ẩn lớn hơn của AGI thể hiện.
Sau đó, bạn chỉ cần yêu cầu và "hỏi" một bộ điều khiển robot.
Đó có thể là trò chơi cuối cùng (chơi chữ có ý nghĩa).
NitroGen được đồng lãnh đạo bởi những bộ óc xuất sắc của chúng tôi: Loic Magne, Anas Awadalla, Guanzhi Wang. Đây là một sự hợp tác đa tổ chức. Hãy xem bài thảo luận sâu kỹ thuật của Guanzhi và các liên kết repo bên dưới!
469
Giới thiệu NitroGen, một mô hình nền mã nguồn mở được đào tạo để chơi hơn 1000 trò chơi: RPG, platformer, battle royale, đua xe, 2D, 3D, bạn có thể đặt tên! Chúng tôi đang trên hành trình tìm kiếm các tác nhân thể hiện đa năng có khả năng làm chủ không chỉ vật lý thế giới thực, mà còn tất cả các loại vật lý có thể có trong một vũ trụ đa chiều của các mô phỏng.
Chúng tôi phát hiện rằng kiến trúc GR00T N1.5 của chúng tôi, ban đầu được thiết kế cho robot, có thể dễ dàng được điều chỉnh để chơi nhiều trò chơi với cơ chế hoàn toàn khác nhau. Công thức của chúng tôi rất đơn giản và là một bài học đắng: (1) một tập dữ liệu chất lượng cao hơn 40K giờ về gameplay công khai; (2) một mô hình nền có khả năng cao cho điều khiển động cơ liên tục; (3) một Gym API bao bọc bất kỳ tệp nhị phân trò chơi nào để thực hiện các lần chạy thử.
Việc biên soạn dữ liệu của chúng tôi rất thú vị: hóa ra game thủ thích thể hiện kỹ năng của họ bằng cách chồng lên điều khiển gamepad thời gian thực trên một luồng video. Vì vậy, chúng tôi đào tạo một mô hình phân đoạn để phát hiện và trích xuất những hiển thị gamepad đó và biến chúng thành các hành động chuyên gia. Sau đó, chúng tôi che khu vực đó để ngăn mô hình khai thác một lối tắt. Trong quá trình đào tạo, một biến thể của GR00T N1.5 học cách ánh xạ từ 40K giờ pixel sang hành động thông qua các biến thể khuếch tán.
NitroGen chỉ là khởi đầu, và còn một chặng đường dài để leo lên khả năng. Chúng tôi cố tình chỉ tập trung vào phía Hệ thống 1: "bản năng game thủ" của việc điều khiển động cơ nhanh. Chúng tôi mã nguồn mở *mọi thứ* để bạn có thể thử nghiệm: trọng số mô hình đã được đào tạo trước, toàn bộ tập dữ liệu hành động, mã nguồn và một tài liệu trắng với các chi tiết vững chắc.
Ngày nay, robotics là một tập hợp con của các vấn đề AI khó khăn.
Ngày mai, nó có thể trở thành một tập con, một điểm trong không gian tiềm ẩn lớn hơn của AGI thể hiện.
Sau đó, bạn chỉ cần yêu cầu và "hỏi" một bộ điều khiển robot.
Đó có thể là trò chơi cuối cùng (chơi chữ có ý nghĩa).
NitroGen được đồng lãnh đạo bởi những bộ óc xuất sắc của chúng tôi: Loic Magne, Anas Awadalla, Guanzhi Wang. Đây là một sự hợp tác đa tổ chức. Hãy xem bài thảo luận sâu kỹ thuật của Guanzhi và các liên kết repo bên dưới!
426
Hàng đầu
Thứ hạng
Yêu thích