人们很少看到为了创造出真正伟大的东西而付出的所有辛勤努力和无数次执着的迭代。期待阅读

生活更新：我决定离开1X。 能够帮助公司成长是一种荣幸。我在2022年加入Halodi Robotics（公司的前身），成为唯一一名位于加利福尼亚的员工。当时，我们大约有40名员工在挪威，2名在德克萨斯州。我和我的第一位员工在我的车库里工作了几个月以节省开支。今天，1X已经有数百名员工，硬件、设计、软件、AI、制造和产品都迁移到了旧金山湾区，全面运转，致力于让NEO准备好进入家庭。非常感谢我曾合作过的所有同事。 离开是一个艰难的决定。在一个快速成长的令人兴奋的初创公司工作，总是有很多事情要做，从来没有一个完美的时机去离开。我们有几个正在进行的项目非常令人兴奋，因为它们大大推动了我们部署方法的通用自主性和可扩展性，并真正展示了产品运作的现实路径。最近的世界模型自主更新就是一个例子，还有更多即将到来。1X工厂令人振奋。事情正在以我几年前会感到惊讶的速度加速。 在2022年，大多数技术专家、研究人员和风险投资家对类人机器人和大规模模仿学习持怀疑态度。“为什么要有腿？”“端到端学习怎么可能足够好？”“为什么要面向家庭而不是工厂？”“我们怎么能收集到足够的数据？” 自那时以来，通用机器人领域的Overton窗口发生了很大变化。尽管我们在使命上仍处于早期阶段，但我仍然相信，很快，家用机器人将像空调、汽车和ChatGPT一样普遍。只需与机器人对话，它就会安静地完成任务。整个经济最终将围绕这项技术重新组织。人们现在明白了。 接下来是什么？ 我相信，应用深度学习的进展通常依赖于“利用魔法”的几个神奇对象。这些神奇对象具有比人们通常预期的更强的泛化能力。仅仅要求LLM理解你想要的东西就是魔法。视频生成模型是魔法。推理是魔法。你不会每天都遇到一个神奇的对象，但当你遇到时，你会确保抓住它并利用它来在机器人中创造一些有用的东西。 我对机器人未来的早期信念很大程度上源于2018-2021年间对BC-Z的工作。我当时押注的“神奇对象”是监督学习的惊人数据吸收能力和“只需请求泛化”。这为我们今天在VLA中看到的许多标准成分奠定了基础： - 对未见语言命令的泛化 - 人工引导的DAgger用于策略改进 - 开环辅助预测 + 后退视界控制，即动作分块 - 操作关键点以改善伺服控制 - 在多模态输入上进行FiLM条件的简单ResNet18 我们在1X押注的下一个“神奇对象”是视频模型，因为它们显然是学习数据分布的神奇对象，这与机器人需要学习的内容并不太不同。它们的泛化能力令人惊讶。 我再次感到，现在有更多的神奇对象在发挥作用，这为机器人及其他领域开辟了许多新可能性。我将花几个月的时间来清空我的先入之见，获得新的视角。当我在2022年离开谷歌时，我花了大约两周的时间来决定下一步该做什么。这次，我想花更多的时间来了解AI + 机器人领域发生的事情。 我一直在重新实现一些深度学习论文。我正在为我的博客制作一个大型教程。我正在学习所有Claude的高级用户技巧。我在阅读Thinking Machines的博客文章，以了解前沿实验室正在进行的实验。我在阅读Ben Katz关于Mini-cheetah执行器的2016年论文。我将在三月前往中国，拜访中国机器人生态系统中的一些令人难以置信的公司。现在，正是人类和机器学习的最佳时机。我生活序列中的下一个代币将是一个重要的时刻。 感谢那些在1X早期就对我们下注的同事和投资者，即使在我们成为家喻户晓的名字之前 - 我从心底里感谢你们。我不会忘记这一点♥️