Vad är den verkliga skalan på en TPU-superpod? Den verkliga skalan på en superdator definieras inte av hur många processorer du kan få plats med i ett rum; Det definieras av hur många processorer som effektivt kan tänka som en. Denna distinktion är drivkraften bakom Ironwood, vår sjunde generationens Tensor Processing Unit (TPU), och arkitekturen bakom TPU:s superpod. På pappret är skalan på en Ironwood-superpod imponerande: den kan skalas upp till 9 216 chip i ett enda sammankopplat domän. Men den verkliga skalan ligger i tyget som binder dem. I en Ironwood-superpod använder vi en banbrytande Inter-Chip Interconnect (ICI) nätverksteknologi som körs i 9,6 terabit per sekund. Detta gör att dessa 9 216 chip kan kommunicera med nästan omedelbar latens och få tillgång till hela 1,77 petabyte delat High Bandwidth Memory (HBM). Så, hur kopplar man ihop nästan 10 000 chip utan att skapa en kablarmardröm? Svaret ligger i den optiska kretsbrytaren (OCS). ◾ Järnträkluster byggs av byggblock kallade "kuber" (64 fliser vardera). ◾ För att skala bortom en enda kub kopplas flera kuber ihop med hjälp av ett Optical Circuit Switch (OCS)-nätverk. Detta är ett dynamiskt, omkonfigurerbart optiskt nätverk som kopplar ihop hela kuber, vilket gör att systemet kan skalas från en liten "pod" (t.ex. en 256-chip Ironwood-pod med fyra kuber) till en massiv "superpod" (t.ex. ett 9 216-chip-system med 144 kuber). ◾ Denna OCS-baserade topologi är nyckeln till feltolerans. Om en kub eller länk fallerar, instruerar OCS-fabrikshanteraren OCS:en att optiskt kringgå den enheten och etablera nya, kompletta optiska kretsar som byter in en utsedd reserv. → Hårdvara är bara halva ekvationen. Den verkliga skalan på en TPU-superpod låses upp av en samdesignad mjukvarustack för snabbare och mer effektiva resultat. Tack vare djupa integrationer över hela stacken – från hårdvaruoptimeringar i hela datacentret till öppen mjukvara och hanterade tjänster – är Ironwood TPU:er våra mest kraftfulla och energieffektiva TPU:er hittills.