Миттєво обсяг зберігання ШІ вибухає на 12 300% (див. математику нижче). Цього тижня NVIDIA представила величезне оновлення для ефективності GPU: нову спеціалізовану архітектуру зберігання ШІ, яка розширює контекст/токени, що обробляються в HBM — і тепер може передавати контекст у спільне NVMe сховище. Зберігаючи контекст у кеші KV, системи виведення уникають витрат на повторне обчислення контексту (для великого контекстного виведення), зменшуючи час до першого токена у 20 разів або більше. Люди не усвідомлюють, що це абсолютно новий генератор даних — і ринку потрібен новий підхід до швидкості та ефективності зберігання, а й багатьом (регульованим) лабораторіям ШІ все одно потрібні можливості управління корпоративними даними, які не можна жертвувати заради швидкості. NVIDIA називає цю платформу Inference Context Memory Storage (ICMS). Ми працюємо з ними вже кілька тижнів, щоб впровадити новий спосіб налаштування систем VAST, який забезпечує максимальну ефективність, вбудовуючи основну логіку систем VAST безпосередньо в GPU BlueField DPU. **12x — це не жарти. Я сьогодні зробив підрахунки ** - Стандартна система VOST, мінімально налаштована для NCP (NVIDIA Cloud Partner), має приблизно 1,3 ТБ даних на кожен GPU у кластері класу GB200. - Коли ми додаємо додаткову інфраструктуру для розширення контекстної пам'яті, GPU вимагатимуть додаткових 16 ТБ, коли ми вступимо в епоху Вери Рубін. 12,3 раза. Чому @VAST_Data, запитаєте ви? 1. наша паралельна архітектура DASE дозволяє інтегрувати VAST сервери безпосередньо в кожен сервер BlueField. Це не лише зменшує вимоги до інфраструктури порівняно зі звичайними конфігураціями, де окремі x86-сервери спільно використовувалися GPU-клієнтами, а й змінює фундаментальну парадигму клієнт:сервер... де вперше кожна клієнтська машина з GPU має власний виділений сервер. Паралельна архітектура VAST з розділеним розподілом, спільним доступом дозволяє вбудовувати сервери в кожен клієнт без впровадження перехресного спілкування між серверами VOST, як це було б у будь-якої іншої технології зберігання. Кожен сервер потім підключається безпосередньо до всіх SSD кластера, що вимагає одного переходу з нульовим копуванням, щоб отримати доступ до всього спільного контексту — щоб будь-яка машина могла отримати контекст у реальному часі. Ефективність і масштаб цієї архітектури є безпрецедентними. 2. Хоча ми можемо отримати чудову продуктивність, спрощуючи сервіси даних, що працюють у BlueField, наша соромно паралельна архітектура дозволяє підключати додаткові сервери до тієї ж тканини для додаткового управління фоновими корпоративними даними... що забезпечує такі можливості, як захист даних, аудит, шифрування та до 2:1 KVCache зменшення даних, у кластер із надзвичайно оптимізованим шляхом передачі даних до GPU. З VAST лабораторії штучного інтелекту не повинні обирати... Вони можуть отримати потужні функції управління продуктивністю та глобальним управлінням даними. Цей простір зараз розвивається... Багато простору для винаходів. Напишіть мені в особисті повідомлення, щоб разом із нами розробити майбутнє систем прискорених висновків.

Відтепер усі програмні інструменти/бібліотеки/API матимуть більше користувачів ШІ, ніж людей.