Nvidia Rilis Chatbot AI "Chat with RTX", Bekerja Lokal di PC

- Pabrikan hardware Nvidia merilis aplikasi chatbot berbasis kecerdasan buatan (artificial intelligence/AI) untuk komputer (PC) yang diberi nama "Chat with RTX".
Aplikasi ini sejatinya merupakan asisten pribadi digital yang bekerja secara lokal di komputer/PC, bukan di cloud.
Beberapa kegunaan Chat with RTX antara lain pengguna bisa mengunggah dokumen di PC dengan format file .txt, .pdf, .doc/.docx, dan .xml, kemudian meminta Chat with RTX untuk merangkumnya.
Sebagai contoh, pengguna dapat meng-upload file meeting kemudian menanyakan pertanyaan spesifik, seperti "Apa nama tempat yang direkomendasikan rekan kerja saya?".
Nantinya, chatbot akan mencari jawaban pertanyaan itu langsung dari dokumen yang diberikan, sehingga pengguna tidak usah mencari jawaban tersebut secara manual.
Baca juga: Nvidia Rilis GPU RTX 2000 ADA, Kartu Grafis Entry Level untuk Workstation
Selain merangkum file, Chat with RTX juga bisa merangkum video YouTube yang diberikan dalam bentuk tautan (link).
Misalnya, pengguna bisa menanyakan "Apa saja GPU yang diumumkan Nvidia di Consumer Electronics Show (CES) 2024?", sehingga tidak usah menonton video pengumuman resminya yang berdurasi hingga 30 menit.

Melihat kegunaannya, bisa dibilang bahwa Chat with RTX memiliki kemiripan dengan chatbot Gemini milik Google atau ChatGPT bikinan OpenAI.
Pakai Nvidia RTX 30 atau 40 series
Adapun Chat with RTX menggunakan retrieval augmented generation (RAG) dan software Nvidia TensorRT-LLM, yang didukung oleh unit pengolah grafis (GPU) Nvidia RTX 30 atau 40 series dan diakselerasi oleh inti Tensor built-in.
Baca juga: Asus Perkenalkan Kartu Grafis GeForce RTX 4090 Tanpa Kabel Daya
Chat with RTX mengandalkan GPU dengan VRAM 8 GB, RAM 16 GB, sistem operasi (OS) Windows 10 atau 11, serta driver GPU Nvidia teranyar (versi 535.11 atau lebih baru). Pengguna juga memerlukan media penyimpanan seluas 35 GB.
File lokal di komputer pengguna nantinya dihubungkan (upload) ke model bahasa besar (large language model/LLM) open-source seperti Mistral atau Llama 2, yang disebut bisa memberikan jawaban yang cepat dan relevan secara kontekstual.
Nah, tugas retrieval augmented generation adalah meningkatkan akurasi dan reliabilitas model AI generatif, sedangkan Nvidia TensorRT-LLM mengoptimalkan kinerja inferensi model bahasa besar terbaru dalam platform Nvidia AI.
Sebagaimana dikutip KompasTekno dari blog resmi Nvidia, Rabu (14/2/2024), Chat with RTX dijalankan langsung di PC dan workstation Nvidia RTX, sehingga data pengguna hanya akan disimpan di perangkat saja.
Chat with RTX tidak mengandalkan LLM berbasis cloud, sehingga pengguna bisa memproses data sensitif di PC tanpa harus membagikannya ke pihak ketiga. Pengguna juga tidak perlu koneksi internet saat menggunakan Chat with RTX.
Bisa diunduh gratis

Proses instalasinya membutuhkan kesabaran, dan aplikasinya disebut boros daya. Menurut hands-on dari media teknologi The Verge, atribusi sumber Chat with RTX tidak selalu akurat, dan aplikasi akan tertutup (crash) jika disuruh mengindeks sebanyak 25.000 dokumen.
Selain itu, Chat with RTX tidak mengingat konteks pembicaraan, sehingga pengguna tidak bisa menanyakan pertanyaan lanjutan dari pertanyaan yang sudah diajukan.
Di luar itu, The Verge mengatakan bahwa demo teknologi ini baik, dan menunjukkan potensi chatbot AI yang berjalan secara lokal di komputer pengguna. Pengguna tak usah berlangganan Microsoft Copilot Pro atau ChatGPT Plus jika ingin menganalisis file pribadi.
Terkini Lainnya
- Fitur Baru WA di Indonesia, Bisa Bikin Paket Stiker Sendiri
- Daftar Kode Negara iPhone dan Cara Mengeceknya
- 35 Daftar HP Mendukung E-SIM Tri dan Cara Belinya
- Kenapa Tidak Bisa Menerima Kode OTP SMS? Begini Penyebabnya
- Apa Itu Italian Brainrot atau Meme Anomali yang Lagi Viral di TikTok?
- 4 Tips Dapat Penghasilan Tambahan lewat Instagram
- Samsung Galaxy M56 Bawa Desain Kamera Baru, Bodi Tipis, dan Android 6 Generasi
- Moto Book 60 Resmi, Laptop Pertama Buatan Motorola
- Hands-on Samsung Galaxy A26 5G, HP Rp 3 Jutaan dengan Desain Elegan
- Huawei Luncurkan Ascend 920, Chip AI "Pelawan" Aturan Amerika
- Bill Gates Pamer Kode Pertama Microsoft, Ada 150 Halaman
- Apple Siapkan iPhone Lipat Pertama, Harganya Rp 39 Juta?
- Nvidia Rilis Zorah, Demo Game "GeForce RTX 50" yang Terlalu Nyata
- Celah Keamanan Internet yang Eksis 23 Tahun Akhirnya Ditutup
- 21 Robot Manusia Ikut Half Marathon, Finish dalam 2 Jam 40 Menit
- Instagram Stories Khusus Pemilu Hadir, Pakai Stiker Vote 2024
- Alasan KawalPemilu Masih Berbasis Web, Bukan Aplikasi
- Jaga Pemilu, JagaSuara, dan Kawal Pemilu Bersatu untuk Kawal Pemilu 2024
- Biznet Mulai Terapkan Kebijakan FUP Internet
- Bocoran Xiaomi 14 Ultra, Ada Versi Titanium dan Harga mulai Rp 15 Juta?