转瞬之间，AI 存储的容量爆炸性增长了 12,300%（见下面的数学计算）。本周，NVIDIA 推出了 GPU 效率的重大解锁：一种新的专用 AI 存储架构，扩展了在 HBM 中处理的上下文/令牌，并且现在可以将上下文溢出到共享的 NVMe 存储中。通过在 KV 缓存中保存上下文，推理系统避免了上下文重新计算的成本（对于大上下文推理），将首次令牌的时间缩短了 20 倍或更多。 人们没有意识到的是，这实际上是一个全新的数据生成器——市场不仅需要一种新的存储速度和效率的方法，而且许多（受监管的）AI 实验室仍然需要企业数据管理能力，而这不能为了原始速度而牺牲。 NVIDIA 将其称为推理上下文内存存储（ICMS）平台。我们与他们合作了几周，开创了一种新的配置 VAST 系统的方法，通过将 VAST 系统的核心逻辑直接嵌入到 GPU 机器的 BlueField DPU 中，从而提供终极效率。 **12 倍可不是开玩笑。我今天做了数学计算** - 一个标准的 VAST 系统，最小配置为 NCP（NVIDIA 云合作伙伴），在 GB200 级集群中每个 GPU 大约有 1.3TB 的数据。 - 当我们为上下文内存扩展添加额外基础设施时，GPU 将需要额外的 16TB，因为我们步入 Vera Rubin 时代。12.3 倍。 你可能会问，为什么是 @VAST_Data？ 1. 我们的并行 DASE 架构允许我们将 VAST 服务器直接嵌入到每个 BlueField 服务器中。这不仅减少了与传统配置相比的基础设施需求，在传统配置中，单独的 x86 服务器由 GPU 客户共享，它还改变了基本的客户端：服务器范式……这是第一次，每个 GPU 客户机现在都有自己的专用服务器。VAST 的并行解耦、共享一切架构使得在每个客户端中嵌入服务器成为可能，而不会引入跨 VAST 服务器的串扰，这在任何其他存储技术中都是不可能的。 每个服务器然后直接连接到集群的所有 SSD，只需一次零拷贝跳转即可访问所有共享上下文——因此任何机器都可以实时检索上下文。这种架构的效率和规模是前所未有的。 2. 虽然我们可以通过简化在 BlueField 上运行的数据服务来获得出色的性能，但我们那种令人尴尬的并行架构允许我们在同一网络上挂载额外的服务器，以提供可选的后台企业数据管理……为集群带来数据保护、审计、加密和高达 2:1 的 KVCache 数据减少等功能，集群与 GPU 之间的数据路径超流线化。 有了 VAST，AI 实验室不必选择…… 他们可以获得性能和强大的全球数据管理功能。 这个领域正在迅速发展……有很多空间可以进行创新。 私信我，与我们共同开发加速推理系统的未来。