Silmänräpäyksessä tekoälyn tallennuskapasiteetissa kasvaa 12 300 % (katso matematiikka alla). Tällä viikolla NVIDIA esitteli valtavan avauksen GPU:n tehokkuuteen: uuden erikoistuneen tekoälytallennusarkkitehtuurin, joka laajentaa HBM:ssä käsiteltyjä konteksteja/tokeneita – ja voi nyt siirtää kontekstin jaettuun NVMe-tallennukseen. Tallentamalla kontekstin KV-välimuistiin päättelyjärjestelmät välttävät kontekstin uudelleenlaskennan kustannukset (laajassa kontekstipäättelyssä), mikä lyhentää ensimmäisen tokenin aikaa 20-kertaiseksi tai enemmän. Mitä ihmiset eivät ymmärrä, on se, että kyseessä on täysin uusi datan generaattori – ja markkinat tarvitsevat uuden lähestymistavan tallennusnopeuteen ja tehokkuuteen, ja monet (säännellyt) tekoälylaboratoriot tarvitsevat edelleen yritysten datanhallintakykyä, jota ei voi uhrata raakanopeuden vuoksi. NVIDIA kutsuu tätä nimellä Inference Context Memory Storage (ICMS) Platform. Olemme työskennelleet heidän kanssaan viikkoja kehittääksemme uuden tavan konfiguroida VAST-järjestelmiä, jotka tarjoavat huipputehokkuutta upottamalla VAST-järjestelmien ydinlogiikan suoraan GPU-koneen BlueField DPU:hun. **12x ei ole leikin asia. Laskin tänään ** - Tavallinen VAST-järjestelmä, joka on minimaalisesti konfiguroitu NCP:lle (NVIDIA Cloud Partner), sisältää noin 1,3TB dataa jokaista GPU:ta kohden GB200-luokan klusterissa. - Kun lisäämme infrastruktuuria kontekstimuistin laajennukseen, GPU:t tarvitsevat 16TB:n lisää, kun siirrymme Vera Rubinin aikakauteen. 12,3x. Miksi @VAST_Data, saatat kysyä? 1. rinnakkainen DASE-arkkitehtuurimme mahdollistaa VASTI-palvelimien upottamisen suoraan jokaiseen BlueField-palvelimeen. Tämä ei ainoastaan vähennä infrastruktuurivaatimuksia verrattuna perinteisiin kokoonpanoihin, joissa erilliset x86-palvelimet jaettiin GPU-asiakkaiden kesken, vaan se myös muuttaa perustavanlaatuista asiakas:palvelin-paradigmaa... jossa ensimmäistä kertaa jokaisella GPU-asiakaskoneella on oma dedikoitu palvelin. VASTin rinnakkainen Disaggregated, Shared-Everything -arkkitehtuuri mahdollistaa palvelimien upottamisen jokaiseen asiakkaaseen ilman ristiinviestintää VAST-palvelimille, kuten muissakin tallennusteknologioissa. Jokainen palvelin yhdistyy suoraan kaikkiin klusterin SSD-levyihin, mikä vaatii yhden nollakopiohypyn päästäkseen kaikkiin jaettuun kontekstiin – joten mikä tahansa kone voi hakea kontekstin reaaliajassa. Tämän arkkitehtuurin tehokkuus ja mittakaava ovat ennennäkemättömiä. 2. Vaikka voimme saada erinomaista suorituskykyä karsimalla BlueFieldissä toimivat datapalvelut, nolostuttavan rinnakkainen arkkitehtuurimme mahdollistaa lisäpalvelimien ripustamisen samalle kankaalle, jotta voimme tarjota valinnaista taustalla toimivaa yritysdatan hallintaa... tuoden ominaisuuksia kuten tietosuoja, auditointi, salaus ja jopa 2:1 KVCache-datanvähennys klusteriin, jolla on erittäin virtaviivainen datareitti GPU:lle. VASTin avulla tekoälylaboratorioiden ei tarvitse valita... He voivat saada suorituskykyä ja huippuluokan globaaleja datanhallintaominaisuuksia. Tämä tila kehittyy juuri nyt... Paljon tilaa keksiä. Laita minulle yksityisviesti, jotta kehittäisin kanssamme nopeutetun päättelyjärjestelmän tulevaisuuden.

Kaikissa ohjelmistotyökaluissa/kirjastoissa/API:issa tästä eteenpäin on enemmän tekoälykäyttäjiä kuin ihmiskäyttäjiä.