cpu-data.info

- Chatbot AI populer seperti ChatGPT dan Microsoft Copilot ditopang oleh model bahasa besar (large language model/LLM) bernama "GPT-4".

GPT-4 ini lebih cerdas dan canggih dibandingkan GPT-3.5 karena sudah memiliki 1,7 triliun parameter pembelajaran mesin, input multimodal (teks, gambar), pemahaman bahasa lebih baik, respons lebih ekspresif.

Di balik kecanggihannya, GPT-4 ini ternyata membutuhkan konsumsi listrik yang besar. Menurut laporan Towards Data Science, untuk melatih (training) model AI GPT-4 selama 90-100 hari, dibutuhkan listrik hingga sekitar 62.000 MWh. Ini setara dengan konsumsi energi dari 1.000 rumah tangga AS pada umumnya selama 5 hingga 6 tahun.

Pada bulan Januari, konsumsi listri per bulan ChatGPT dilaporkan kira-kira sebanyak 26.000 rumah tangga AS untuk inferensi (proses input dan output).

Baca juga: Chatbot AI ChatGPT Ditanamkan ke Otak lewat Sebuah Chip

Rincian konsumsi listri GPT-4

Kecanggihan GPT-4 dimungkinkan karena model AI ini dilatih menggunakan sekitar 25.000 GPU Nvidia A100 selama 90-100 hari. Biayanya training model ini dilaporkan mencapai 100 juta dollar AS.

Mari kita lihat rincian hitung-hitungan estimasi konsumsi listrik yang dibutuhan untuk melatih GPT-4 berdasarkan laporan Towards Data Science.

Misal, kita asumsikan GPU dipasang di server Nvidia HGX yang masing-masing dapat menampung 8 GPU. Berarti, GPT-4 membutuhkan 25.000/8 = 3.125 server.

Salah satu cara untuk memperkirakan konsumsi listrik dari informasi ini adalah dengan mempertimbangkan daya desain termal (TDP) server Nvidia HGX.

TDP, yang dilambangkan dalam watt, menyatakan konsumsi daya perangkat keras di bawah beban teoritis maksimum. Konsumsi daya aktual mungkin berbeda.

Nvidia tidak mengungkapkan informasi ini, jadi mari kita gunakan TDP dari server Nvidia DGX yang serupa, yaitu 6,5 kW. Jadi, jika server Nvidia DGX berjalan dengan daya penuh selama 1 jam, server tersebut akan mengonsumsi 6,5 KWh, berdasarkan perhitungan TDP.

Seperti disebut sebelumnya, model AI GPT-4 disebut membutuhkan diperlukan waktu 90–100 hari untuk melatih GPT-4. Itu berarti 90 x 24 jam= 2.160 jam per server atau 100 x 24 jam = 2.400 jam per server.

Jika kita berasumsi server beroperasi dengan daya penuh secara konstan, kita dapat mengalikan jumlah jam dengan 6,5 KWh. Dari situ, kita memperoleh bahwa selama pelatihan, setiap server mungkin telah mengonsumsi listrik sebesar 14.040 KWh hingga 15.600 KWh.

Karena butuh 3.125 server, maka 3.125 x 14.040 KWh = 43.875.000 KWh atau 3.125 x 15.600 = 48.750.000 KWh.

Saat menghitung konsumsi energi perangkat keras komputer, biasanya konsumsi energi perangkat keras dikalikan dengan apa yang disebut efektivitas penggunaan daya (PUE) pusat data tempat perangkat keras tersebut beroperasi.

Baca juga: Gandeng Broadcom, OpenAI Dikabarkan Bikin Chip AI Sendiri

PUE adalah rasio yang menggambarkan seberapa efisien pusat data komputer menggunakan energi.