NVIDIA GB300 “phá đảo” thị trường AI: 4 GPU GB300 bằng 16 GPU H100, hiệu suất tăng gấp 6 lần

GPU GB300 dựa trên kiến trúc Blackwell mới nhất của NVIDIA đang bắt đầu chứng minh khả năng của mình, với kết quả ban đầu cho thấy hiệu suất tăng vọt so với thế hệ trước. Trong một thử nghiệm của CoreWeave, chỉ bốn GPU GB300 đã đạt hiệu năng tương đương 16 GPU H100.

Con số này tương đương với hiệu suất trên mỗi card cao hơn khoảng sáu lần, một bước nhảy vọt lớn trong điện toán AI.

Hiệu suất AI của GB300 đã được cải thiện đáng kể khi xử lý các khối lượng công việc nặng nhất hiện nay. Nền tảng GB300 NVL72 có thể mở rộng lên đến 37TB bộ nhớ với băng thông lên tới 130TB/giây, cho phép xử lý các mô hình AI cực lớn mà không gặp phải tình trạng tắc nghẽn.

Nền tảng này sử dụng cơ chế song song tensor 4 chiều (TP4), trong khi H100 yêu cầu chia tách 16 chiều (TP16) để đạt được quy mô tương tự. Việc ít chia tách hơn đồng nghĩa với việc giảm thiểu chi phí giao tiếp, và các kết nối NVLink và NVSwitch thế hệ thứ năm của NVIDIA giúp duy trì độ trễ ở mức thấp, mang lại hiệu quả vượt trội.

Đối với các doanh nghiệp vận hành dịch vụ AI quy mô lớn, điều này đồng nghĩa với việc tạo mã thông báo nhanh hơn, chi phí cho mỗi lần suy luận thấp hơn và lộ trình mở rộng quy mô dễ dàng hơn.

Tất nhiên, phần cứng này không hề rẻ. Các hệ thống được xây dựng trên GB300 NVL72 dự kiến có giá khởi điểm khoảng 300.000 USD (khoảng 7,6 tỷ VNĐ). Tuy nhiên, đối với các công ty đã đầu tư mạnh vào cơ sở hạ tầng AI, bước nhảy vọt về hiệu năng này có thể biện minh cho chi phí bỏ ra.

Nếu những con số ban đầu này vẫn đúng khi triển khai mở rộng, GB300 có thể đánh dấu một trong những bước nhảy vọt lớn nhất mà NVIDIA từng thực hiện cho đến nay và là chuẩn mực mới cho điện toán AI cao cấp.