Quy mô thực sự của một TPU superpod là gì? Quy mô thực sự của một siêu máy tính không được xác định bởi số lượng bộ xử lý bạn có thể nhét vào một căn phòng; nó được xác định bởi số lượng bộ xử lý có thể suy nghĩ hiệu quả như một thể thống nhất. Sự phân biệt này là động lực chính đằng sau Ironwood, bộ xử lý Tensor thế hệ thứ bảy (TPU) của chúng tôi, và kiến trúc của TPU superpod. Trên giấy tờ, quy mô của một Ironwood superpod rất ấn tượng: nó có thể mở rộng lên đến 9.216 chip trong một miền liên kết duy nhất. Nhưng quy mô thực sự nằm ở cấu trúc kết nối chúng lại với nhau. Trong một Ironwood superpod, chúng tôi sử dụng công nghệ mạng Inter-Chip Interconnect (ICI) đột phá chạy ở tốc độ 9,6 terabit mỗi giây. Điều này cho phép 9.216 chip đó giao tiếp với độ trễ gần như ngay lập tức, truy cập vào 1,77 Petabyte bộ nhớ băng thông cao (HBM) chia sẻ. Vậy, làm thế nào để bạn kết nối gần 10.000 chip mà không tạo ra một cơn ác mộng về cáp? Câu trả lời nằm ở công tắc quang học (OCS). ◾ Các cụm Ironwood được xây dựng từ các khối xây dựng gọi là "hình khối" (mỗi hình khối có 64 chip). ◾ Để mở rộng vượt ra ngoài một hình khối duy nhất, nhiều hình khối được kết nối bằng mạng công tắc quang học (OCS). Đây là một mạng quang động, có thể cấu hình lại kết nối toàn bộ hình khối, cho phép hệ thống mở rộng từ một "pod" nhỏ (ví dụ: một pod Ironwood 256 chip với bốn hình khối) đến một "superpod" khổng lồ (ví dụ: một hệ thống 9.216 chip với 144 hình khối). ◾ Kiến trúc dựa trên OCS này là chìa khóa cho khả năng chịu lỗi. Nếu một hình khối hoặc liên kết gặp sự cố, quản lý cấu trúc OCS sẽ chỉ đạo OCS bỏ qua đơn vị đó một cách quang học và thiết lập các mạch quang hoàn chỉnh mới, thay thế bằng một linh kiện dự phòng được chỉ định. → Phần cứng chỉ là một nửa của phương trình. Quy mô thực sự của một TPU superpod được mở khóa bởi một ngăn xếp phần mềm được thiết kế đồng thời để đạt được kết quả nhanh hơn, hiệu quả hơn. Nhờ vào sự tích hợp sâu sắc trên toàn bộ ngăn xếp—từ tối ưu hóa phần cứng trên toàn trung tâm dữ liệu đến phần mềm mở và dịch vụ quản lý—TPU Ironwood là những TPU mạnh mẽ và tiết kiệm năng lượng nhất của chúng tôi cho đến nay.