Meta Rilis Model AI Llama Versi Ringan, Bisa Dipakai di Smartphone

- Meta merilis model bahasa besar (Large Language Model/LLM) Llama 3.2 1B dan 3B versi ringan atau "quantized" (terkuantisasi).
Llama 3.2 1B dan 3B sebelumnya sudah diumumkan dalam acara Meta Connect yang digelar September 2024 lalu. Model kecerdasan buatan (AI) ini merupakan LLM paling kecil di antara LLM bikinan Meta lainnya, karena ditujukan agar bisa berjalan di perangkat berdaya rendah seperti perangkat seluler macam smartphone.
Llama 3.2 1B dan 3B terkuantitasi yang rilis kali ini merupakan versi ringan dari dari LLM tersebut. Untuk diketahui, kuantisasi merupakan teknik yang bisa diterapkan untuk mengurangi ukuran model AI dengan memodifikasi bobot presisi (indikator seberapa bagus model memprediksi sesuatu) model.
Menurut Meta, Llama 3.2 1B dan 3B terkuantitasi, menggunakan memori yang lebih rendah saat menjalankan program dan inferensi yang cepat. Meski lebih rendah, akurasinya tetap sama seperti Llama 3.2 1B dan 3B biasa karena Meta menggunakan dua metode kuantisasi, yaitu QLoRA dan SpinQuant.
Baca juga: Meta Rilis Fitur Keamanan untuk Lindungi Remaja dari Pemerasan Seksual
Hasil pengujian internal yang dilakukan Meta menunjukkan bahwa ukuran Llama 3.2 1B dan 3B terkuantitasi, kurang lebih 56 persen lebih ringan dibanding model aslinya. Pemrosesan inferensinya (pengambilan kesimpulan) juga 2-4 kali lipat lebih cepat.
Induk Facebook itu juga menguji model AI terkuantisasi ini pada smartphone Android OnePlus 12, dan menemukan bahwa penggunaan sumber daya memori berkurang sebesar 41 persen. Padahal kinerjanya hampir setara dengan model AI versi asli.
Agar lebih optimal lagi di perangkat mobile, Meta mengembangkan model AI versi ringan ini bersama perusahaan semikonduktor Qualcomm serta MediaTek. Meta juga memakai kernel AI Kleidi guna memaksimalkan model AI versi ringannya di CPU mobile.
Dengan memungkinkan model Llama bisa berjalan di CPU mobile, pengembang nantinya dapat menciptakan pengalaman AI yang lebih unik disertai privasi yang lebih baik. Dan yang paling penting, semua prosesnya berlangsung di perangkat, dihimpun KompasTekno dari SiliconAngle, Sabtu (26/10/2024).
Llama 3.2 1B dan 3B terkuantitasi sudah tersedia dapat diunduh dari situs Llama serta Huging Face, atau bisa diakses melalui tautan berikut ini.
Jadi pesaing GPT-4o Mini
Model AI Llama 3.2 dirilis Meta dalam acara Meta Connect, Rabu (25/9/2024). Model AI ini ini hadir sebagai pesaing GPT-4o Mini milik OpenAI yang baru dirilis Juli lalu.
Menurut CEO Meta Mark Zuckerberg, model AI ini sejauh ini telah mencapai pertumbuhan 10 kali lipat sejak 2023, bahkan kini diklaim menyamai GPT-4o Mini dalam pengenalan gambar dan tugas pemahaman visual lainnya.
Baca juga: Meta Umumkan Movie Gen, AI untuk Bikin Video dan Audio dari Teks
Sementara itu, Llama 3.2 diklaim mengungguli model AI open-source milik Google (Gemma) dan Microsoft (Phi 3.5-mini) dalam bidang-bidang seperti mengikuti instruksi, meringkas, penggunaan alat, dan penulisan ulang perintah.
“Llama terus meningkat dengan cepat, Ini memungkinkan semakin banyak kemampuan,” kata Zuckerberg.
“Llama 3.2 adalah model multimodal sumber terbuka pertama kami. Model ini akan memungkinkan banyak aplikasi yang memerlukan pemahaman visual,” kata CEO Meta Mark Zuckerberg dalam pidato pembukaannya di acara Meta Connect, Rabu.
Seperti Llama 3.1, Llama 3.2 juga diposisikan sebagai model bahasa besar bersumber terbuka alias open-source. Jadi, pengembang bisa menggunakan model AI ini dengan bebas dan gratis.
Terkini Lainnya
- 150 Ucapan Idul Fitri 2025 dan Gambar Selamat Lebaran 1446 H buat Dikirim ke Medsos
- 150 Twibbon Idul Fitri 2025 dan Poster Selamat Lebaran 1446 H, Simpel dan Keren
- Pendiri Studio Ghibli Pernah Kritik Keras soal AI
- 5 Game Seru untuk "Mabar" dengan Keluarga dan Saudara saat Lebaran
- 50 Link Download Poster Idul Fitri 2025 Keren untuk Merayakan Lebaran
- ZTE Nubia Neo 3 5G dan Neo 3 GT 5G Resmi Masuk Asia Tenggara, Ini Harganya
- SurpriseDeal Telkomsel Hadir Lagi, Kuota Internet 80 GB Cuma RP 100.000
- Fitur Baru Google Maps dan Search Bantu Rencanakan Liburan
- Apple Watch Berikutnya Bakal Punya Kamera AI?
- Link dan Cara Cek Curah Hujan Selama Mudik Lebaran 2025
- Keyboard Unik di Dunia Punya 1.020 Tombol, Tidak Pakai Simbol Huruf
- HP Gaming Realme 14 5G Meluncur dengan Snapdragon 6 Gen 4
- Beli Paket Telkomsel Roaming Malaysia Bonus Diskon Tiket Legoland
- Cara Membuat Poster Idul Fitri 2025 via ChatGPT dengan Mudah dan Praktis
- 100 Link Twibbon Idul Fitri 2025 untuk Sambut Lebaran via Media Sosial
- Indonesia Pengguna TikTok Terbesar di Dunia, Kalahkan AS
- Game "Call of Duty: Black Ops 6" Resmi Meluncur di PC dan Konsol, Ini Harganya di Indonesia
- Samsung Rilis Exynos 1580, Chip Kelas Menengah dengan Peningkatan CPU dan GPU
- Qualcomm Terancam, HP Android Batal Pakai Snapdragon 8 Elite?
- Jadwal MPL ID S14 Hari Ini, RRQ dan Team Liquid Rebutan Tiket ke Grand Final