cpu-data.info

- Pada November 2023 lalu, Nvidia mengumumkan chip pengolah grafis (GPU) khusus pemrosesan kecerdasan buatan (AI) dari arsitektur Hopper, yaitu H200.

Kini, Nvidia resmi mengumumkan H200 NVL, sebuah konfigurasi GPU AI yang terdiri dari empat buah GPU AI H200 saling terhubung dalam satu modul PCI Express (PCIe). 

Karena tergabung dalam satu modul berjenis PCIe, Nvidia mengeklaim H200 NVL dapat digunakan dengan mudah di berbagai server atau data center AI yang dimiliki oleh perusahaan.

Secara teknis, satu chip GPU AI H200 memiliki memori berjenis HBM3e dengan kapasitas 141 GB, sehingga jika empat GPU digabungkan, maka total kapasitas memori di H200 NVL menjadi 564 GB.

Keempat GPU AI H200 ini, yang dihubungkan via standar komunikasi NVLink, masing-masing memiliki bandwidth 4,8 TB/s, performa 34 TFLOPs untuk komputasi AI FP64 atau 67 TFLOPs untuk FP32, dan konsumsi daya mencapai 600 watt.

Baca juga: AMD Umumkan Chip AI Instinct MI325X, Lebih Tangguh dari Nvidia H200

Jika dibandingkan dengan generasi sebelumnya, yaitu H100 NVL, H200 NVL disebut memiliki peningkatan memori mencapai 1,5 kali lipat, bandwidth hingga 1,2 kali lipat, serta memiliki performa 1,7 kali lipat untuk kinerja AI di segmen inference.

Untuk kinerja komputasi tinggi (high-performance computing/HPC), Nvidia H200 NVL diklaim memiliki performa 1,3 kali lebih cepat dari H100 NVL, serta memiliki peningkatan 2,5 kali lipat dari GPU AI berarsitektur Ampere.

Supaya bisa beroperasi dengan optimal tanpa kepanasan (overheat) dan tetap hemat daya, GPU AI H200 NVL juga dapat dikonfigurasikan dengan sistem pendingin berbasis udara (air). 

Nvidia GB200 NVL4

Nvidia Nvidia GB200 NVL4.

Selain H200 NVL, Nvidia juga mengumumkan "Superchip" GB200 NVL4.

Sama seperti H200 NVL, GB200 NVL4 merupakan solusi yang menggabungkan empat GPU AI, namun dengan arsitektur Grace Blackwell (GB) GB200 yang diperkenalkan sekitar Maret lalu.

Bedanya lagi, empat GPU AI dengan arsitektur Blackwell ini digabungkan ke dalam satu papan (board) bersamaan dengan dua prosesor (CPU) "Grace" bikinan Nvidia yang memiliki memori LPDDR5X dengan total kapasitas 960 GB.

Baca juga: Gandeng Broadcom, OpenAI Dikabarkan Bikin Chip AI Sendiri

Nah, berbagai komponen ini sendrii dihubungkan memakai teknologi NVLink, dan berkat teknologi ini, Nvidia mengeklaim GB200 NVL4 dapat memberikan kapasitas memori HBM3 mencapai 768 GB dengan bandwidth mencapai 32 TB/s. 

Dibandingkan generasi sebelumnya GH200 NVL4, Nvidia mengeklaim GB200 NVL4 memiliki performa 2,2 kali lebih cepat dan mampu menghasilkan proses latihan (training) atau mendukung inference AI 1,8 kali lebih efisien.

Sebagaimana dirangkum KompasTekno dari Nvidia, Rabu (20/11/2024), GPU AI H200 NVL sudah tersedia mulai pekan ini, sedangkan ketersediaan GB200 NVL4 akan menyusul pada pertengahan 2025 mendatang.