En un clin d'œil, le stockage AI explose en capacité de 12 300 % (voir les calculs ci-dessous). Cette semaine, NVIDIA a introduit un déblocage massif de l'efficacité des GPU : une nouvelle architecture de stockage AI spécialisée qui prolonge le contexte/les tokens traités dans la HBM - et peut désormais déverser le contexte dans le stockage NVMe partagé. En sauvegardant le contexte dans un cache KV, les systèmes d'inférence évitent le coût de la recomputation du contexte (pour l'inférence de grand contexte), réduisant le temps jusqu'au premier token de 20x ou plus. Ce que les gens ne réalisent pas, c'est qu'il s'agit d'un tout nouveau générateur de données - et non seulement le marché a besoin d'une nouvelle approche de la vitesse et de l'efficacité du stockage, mais de nombreux laboratoires AI (réglementés) auront toujours besoin de capacités de gestion des données d'entreprise qui ne peuvent pas être sacrifiées pour une vitesse brute. NVIDIA appelle cela la plateforme Inference Context Memory Storage (ICMS). Nous travaillons avec eux depuis des semaines pour innover une nouvelle façon de configurer les systèmes VAST qui offre une efficacité ultime, en intégrant la logique de base des systèmes VAST directement dans un DPU BlueField de machines GPU. **Le 12x n'est pas une blague. J'ai fait les calculs aujourd'hui ** - Un système VAST standard, configuré au minimum pour un NCP (NVIDIA Cloud Partner), a environ 1,3 To de données par GPU dans un cluster de classe GB200. - Lorsque nous ajoutons une infrastructure supplémentaire pour l'extension de la mémoire de contexte, les GPU nécessiteront 16 To supplémentaires alors que nous entrons dans l'ère Vera Rubin. 12,3x. Pourquoi @VAST_Data, pourriez-vous demander ? 1. notre architecture DASE parallèle nous permet d'intégrer des serveurs VAST directement dans chaque serveur BlueField. Cela réduit non seulement les exigences d'infrastructure par rapport aux configurations conventionnelles où des serveurs x86 séparés étaient partagés par des clients GPU, mais cela change également le paradigme fondamental client:serveur... où pour la première fois, chaque machine cliente GPU a désormais son propre serveur dédié. L'architecture parallèle Disaggregated, Shared-Everything de VAST rend possible l'intégration de serveurs dans chaque client sans introduire de crosstalk entre les serveurs VAST, comme ce serait le cas pour toute autre technologie de stockage. Chaque serveur se connecte ensuite directement à tous les SSD du cluster, nécessitant un seul saut sans copie pour accéder à tout le contexte partagé - donc n'importe quelle machine peut récupérer le contexte en temps réel. L'efficacité et l'échelle de cette architecture sont sans précédent. 2. Bien que nous puissions obtenir d'excellentes performances en réduisant les services de données qui fonctionnent dans BlueField, notre architecture embarrassante-parallèle nous permet d'ajouter des serveurs supplémentaires sur le même tissu pour fournir une gestion des données d'entreprise en arrière-plan optionnelle... apportant des capacités telles que la protection des données, l'audit, le chiffrement et jusqu'à 2:1 de réduction des données KVCache à un cluster qui a un chemin de données ultra-optimisé vers le GPU. Avec VAST, les laboratoires AI n'ont pas à choisir... Ils peuvent obtenir des performances et des fonctionnalités de gestion des données globales exceptionnelles. Cet espace évolue en ce moment... beaucoup de place pour innover. DM moi pour co-développer l'avenir des systèmes d'inférence accélérés avec nous.

Tous les outils/bibliothèques/API logiciels à partir de maintenant auront plus d'utilisateurs d'IA que d'utilisateurs humains.