في لمح البصر، ينفجر سعة تخزين الذكاء الاصطناعي بنسبة 12,300٪ (انظر الرياضيات أدناه). هذا الأسبوع، قدمت NVIDIA فتحا ضخما لكفاءة وحدات معالجة الرسومات: بنية تخزين متخصصة جديدة في الذكاء الاصطناعي توسع السياق/الرموز التي تتم معالجتها في HBM - ويمكنها الآن تدخيل السياق إلى تخزين NVMe المشترك. من خلال حفظ السياق في ذاكرة تخزين مؤقت KV، تتجنب أنظمة الاستدلال تكلفة إعادة حساب السياق (للاستدلال الكبير في السياق)، مما يقلل من الوقت للوصول إلى الرمز الأول بمقدار 20 ضعف أو أكثر. ما لا يدركه الناس هو أن هذا مولد بيانات جديد تماما - وليس فقط أن السوق يحتاج إلى نهج جديد لسرعة التخزين والكفاءة، بل إن العديد من مختبرات الذكاء الاصطناعي (المنظمة) ستحتاج إلى قدرات إدارة بيانات مؤسسية لا يمكن التضحية بها مقابل السرعة الخام. تسمي NVIDIA هذا المنصة منصة تخزين ذاكرة السياق الاستدلالي (ICMS). لقد عملنا معهم لأسابيع لابتكار طريقة جديدة لتكوين أنظمة VAST توفر أقصى كفاءة، من خلال تضمين المنطق الأساسي لأنظمة VAST مباشرة في وحدة معالجة الرسومات BlueField DPU. **ال 12x ليس مزحة. حسبت اليوم ** - نظام VAST القياسي، المهيأ بشكل أدنى ليكون NCP (شريك سحابة NVIDIA)، يحتوي على حوالي 1.3 تيرابايت من البيانات لكل وحدة معالجة رسومات في عنقود من فئة GB200. - عندما نضيف بنية تحتية إضافية لتمديد ذاكرة السياق، ستحتاج وحدات معالجة الرسومات إلى 16 تيرابايت إضافية مع دخولنا عصر فيرا روبين. 12.3x. لماذا @VAST_Data، قد تتساءل؟ 1. تسمح لنا بنية DASE المتوازية بتضمين خوادم VAST مباشرة في كل خادم BlueField. هذا لا يقلل فقط من متطلبات البنية التحتية مقارنة بالتكوينات التقليدية حيث كانت خوادم x86 منفصلة مشتركة بين عملاء GPU، بل يغير أيضا النموذج الأساسي للعميل:الخادم... حيث أصبح لكل جهاز عميل GPU الآن خادمه المخصص لأول مرة. تجعل بنية VAST المتوازية المنفصلة والمشتركة من VAST إمكانية تضمين الخوادم في كل عميل دون إدخال الحديث المتقاطع عبر خوادم VAST كما هو الحال مع أي تقنية تخزين أخرى. ثم يتصل كل خادم مباشرة بجميع أقراص SSD الخاصة بالمجموعة، مما يتطلب قفزة واحدة بدون نسخ للوصول إلى كل السياق المشترك - بحيث يمكن لأي جهاز استرجاع السياق في الوقت الحقيقي. كفاءة وحجم هذه العمارة غير مسبوقة. 2. بينما يمكننا تحقيق أداء رائع من خلال تقليص خدمات البيانات التي تعمل في BlueField، فإن معمارية الموازي المحرج لدينا تسمح لنا بتعليق خوادم إضافية على نفس النسيج لتوفير إدارة بيانات مؤسسية اختيارية في الخلفية... مما يجلب قدرات مثل حماية البيانات، والتدقيق، والتشفير، وتقليل بيانات KVCache بنسبة 2:1 إلى عنقود يحتوي على مسار بيانات شديد الانسيابية إلى وحدة معالجة الرسوميات. مع VAST، لا تضطر مختبرات الذكاء الاصطناعي للاختيار... يمكنهم الحصول على ميزات أداء وإدارة بيانات شاملة مذهلة. هذا الفضاء يتطور الآن... هناك مجال كبير للاختراع. راسلني لتطوير مستقبل أنظمة الاستدلال المعجل معنا.