Gandeng Peneliti IST Austria, NeuralMagic, dan KAUST, Yandex Kembangkan Metode Kompresi LLM Inovatif
![Sistem AQLM memanfaatkan pendekatan kuantisasi aditif atau pendekatan dalam memetakan himpunan besar menjadi himpunan kecil untuk melakukan kompresi LLM. Secara konvensional, pendekatan ini biasa digunakan untuk pengambilan informasi.](https://asset.kompas.com/crops/E2Mv1Lr4u4oQd0t1UAA72Cu02kA=/0x0:780x520/750x500/data/photo/2024/07/26/66a34c1ea8f4c.jpg)
- Tim Riset Yandex bekerja sama dengan peneliti Institute of Science and Technology (IST) Austria, NeuralMagic, dan King Abdullah University of Science and Technology (KAUST). Kolaborasi ini berhasil mengembangkan dua metode kompresi inovatif untuk large language model (LLM), yakni Additive Quantization of Language Models (AQLM) dan PV-Tuning.
Dalam keterangan tertulis yang diterima , Selasa (23/7/2024), pengembangan kedua metode tersebut diklaim memungkinkan pengurangan ukuran model hingga 8 kali lipat sekaligus mempertahankan kualitas respons hingga 95 persen.
Adapun metode-metode tersebut dikembangkan untuk mengoptimalkan sumber daya dan meningkatkan efisiensi dalam menjalankan model bahasa yang besar.
Artikel penelitian yang merinci pendekatan tersebut telah dipaparkan dalam gelaran International Conference on Machine Learning (ICML) di Wina, Austria.
Baca juga: Yandex Sudah Terdaftar PSE Kominfo, Ingin Beri Manfaat Komunitas Digital Indonesia
Sistem AQLM memanfaatkan pendekatan kuantisasi aditif atau pendekatan dalam memetakan himpunan besar menjadi himpunan kecil untuk melakukan kompresi LLM. Secara konvensional, pendekatan ini biasa digunakan untuk pengambilan informasi.
Metode yang dihasilkan pun mampu mempertahankan dan bahkan meningkatkan akurasi model di bawah kompresi ekstrem sehingga memungkinkan pemanfaatan LLM pada perangkat sehari-hari, seperti komputer di rumah dan smartphone. Bahkan, penggunaan memori bisa berkurang secara signifikan.
Sementara, PV-Tuning mampu mengatasi kesalahan yang mungkin timbul selama proses kompresi model.
Apabila digabungkan, AQLM dan PV-Tuning memberikan hasil yang optimal sehingga model mampu memberikan respons berkualitas tinggi, bahkan pada sumber daya penyimpanan yang terbatas.
Baca juga: Perusahaan Search Engine Yandex Bahas AI di UPI dan Unpad
Evaluasi dan pengenalan metode
Penilaian atau asesmen atas efektivitas metode tersebut dilakukan secara ketat menggunakan model-model sumber terbuka yang populer, seperti Llama 2, Llama 3, dan Mistral.
Para peneliti melakukan kompresi atas LLM serta mengevaluasi kualitas jawaban yang dihasilkan berdasarkan tolok ukur bahasa Inggris, yakni WikiText2 dan C4.
Hasil evaluasi menunjukkan bahwa metode tersebut mampu mempertahankan kualitas jawaban 95 persen secara mengesankan karena model-model tersebut dikompresi sebanyak 8 kali.
Lantas, siapa yang bisa mengambil manfaat dari AQLM dan PV-Tuning?
Baca juga: Polisi Telusuri SItus Web Yandex yang Menginspirasi Remaja di Makassar Bunuh Bocah 11 Tahun
Metode baru tersebut menawarkan penghematan sumber daya yang substansial bagi perusahaan yang terlibat dalam pengembangan dan penggunaan model bahasa berpemilik ataupun LLM sumber terbuka.
Sebagai contoh, model Llama 2 dengan 13 miliar parameter. Setelah dikompresi, model ini dapat berjalan hanya dengan 1 GPU, tak memerlukan hingga 4 GPU. Dengan demikian, biaya perangkat keras bisa dikurangi hingga 8 kali lipat.
Itu berarti, perusahaan rintisan, peneliti perorangan, dan penggemar LLM dapat menjalankan LLM tingkat lanjut seperti Llama di komputer mereka sehari-hari.
Terkini Lainnya
- Pengertian Stack dan Queue serta Contoh Penerapannya dalam Pemograman
- Cara Mengaktifkan dan Mematikan Laptop dengan Benar biar Tidak Mudah Rusak
- 162 Game Baru September 2024, Ada "Zelda" dan "EA Sports FC 25"
- Apa Arti Sinyal E di HP dan Kenapa Lemot? Ini Dia Penjelasan dan Cara Mengatasinya
- Cara Hapus Foto-foto Screenshot Tidak Penting di HP Android dengan Mudah
- 10 Tips Hemat Baterai iPhone biar Tidak Sering Ngecas
- 3 Cara Upload Foto ke Google Drive dengan Mudah dan Cepat
- Cara Mengganti Nomor WhatsApp Tanpa Keluar Grup dengan Mudah dan Praktis
- Pasaran PonseI Indonesia Catat Pertumbuhan di Paruh Pertama 2024
- Acer Perkenalkan Monitor Gaming Nitro dengan Refresh Rate 600 Hz
- Acer Swift Go 14 AI Resmi dengan Snapdragon X Plus 8-Core, Harga Lebih Murah
- Lenovo Pamer Laptop yang Layarnya Bisa Berputar Mengikuti Pengguna
- Xiaomi Juga Bikin Smartphone Layar Lipat Tiga seperti Huawei dan Oppo?
- Cara Memperbaiki Error “Akun yang Dinonaktifkan Tidak Dapat Dihubungi” di Instagram
- Daftar Game Gratis PS Plus September 2024, Ada "Harry Potter: Quidditch Champions"
- Cara Mengaktifkan dan Mematikan Laptop dengan Benar biar Tidak Mudah Rusak
- Pengertian Stack dan Queue serta Contoh Penerapannya dalam Pemograman
- EU CRA: UU Baru Uni Eropa Menghadapi Peretasan Siber Global
- Kode Redeem "Free Fire" Hari ini, Dapat Pramuka Token untuk Klaim Bundle GYC
- Moto Edge 50 Meluncur, HP Tipis dengan Standar Militer
- Induk ChatGPT Umumkan SearchGPT, Mesin Pencari Berbasis AI Penantang Google
- Google Doodle Hari Ini Rayakan Dimulainya Pesta Olahraga Olimpiade Paris 2024