Seperti Manusia, Chatbot AI Ternyata Bisa "Kena Mental" - Kompas

KOMPAS.com - Seperti manusia, chatbot berbasis kecerdasan buatan (AI), seperti ChatGPT, Calude, Gemini, dan sejenisnya, ternyata bisa "kena mental" jika terus ditekan penggunanya.

Dari yang awalnya membantah informasi keliru, kemudian dapat berubah pikiran dan ikut membenarkan klaim tersebut setelah diulang berkali-kali.

Temuan itu diungkap oleh tim peneliti University of Arizona. Mereka menguji tujuh model AI yang merespons informasi salah dalam percakapan yang berlangsung panjang.

Ketujuh model AI yang diuji adalah GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B, dan DeepSeek-R1.

Dalam pengujian, peneliti memberikan total 100 pernyataan yang sudah pasti salah. Pernyataan itu dipilih dari berbagai topik, termasuk informasi yang jarang ditemukan atau minim tersedia di internet. 

Baca juga: Saat Bahas AI di Panggung, CEO Nvidia Jensen Huang Mendadak Ditelepon Trump

Yang menarik, setiap pernyataan kemudian diulang hingga 50 kali dalam percakapan yang sama.

Cara ini dilakukan untuk melihat apakah chatbot tetap bisa mempertahankan jawaban awal mereka atau akhirnya ikut mengiyakan informasi yang keliru.

Hasilnya? tidak ada satu pun dari tujuh model AI yang sepenuhnya kebal terhadap tekanan tersebut.

Beberapa chatbot bahkan sempat tidak konsisten dalam memberikan jawaban. Awalnya membantah pernyataan, tetapi bisa tiba-tiba membenarkan klaim yang sama selama percakapan berlangsung.

ChatGPT-3.5 paling mudah goyah

ChatGPT-3.5 menjadi model AI yang paling mudah berubah pikiran. Model ini tercatat membenarkan 12,3 persen dari pernyataan yang sebenarnya salah setelah informasi yang sama terus diulang.

Pada awal pengujian, GPT-3.5 masih menolak 96 dari 100 pernyataan keliru. Namun, setelah klaim yang sama diulang sampai 50 kali, model itu akhirnya menyerah dan membenarkan 18 di antaranya. 

Sementara model AI lain disebut lebih jarang ikut mengiyakan informasi yang salah. Claude 3.5 Sonnet, misalnya, membenarkan 0,08 persen klaim, sedangkan GPT-4o dan GPT-4o-mini berada di bawah 1 persen.

Para peneliti juga menemukan beberapa model AI sering berganti-ganti antara menyetujui dan menolak informasi palsu. Perilaku ini mereka sebut dengan istilah "reverberation". 

Chatbot AI turut cenderung lebih mudah menerima klaim keliru tentang topik yang jarang dibahas atau memiliki sedikit informasi di internet.

Peneliti menilai hubungan antara minimnya informasi dan penerimaan klaim yang salah ini signifikan secara statistik.

Baca juga: Pelajar China Manfaatkan Chatbot AI untuk Pilih Universitas dan Jurusan

Didesak bisa "kena mental"

Untuk melihat seberapa jauh chatbot AI dapat dipengaruhi, peneliti mencoba cara lain dengan memberikan tanggapan yang sifatnya argumentatif.

Sebagian besar model ternyata bisa bertahan dalam kondisi ini. Namun, DeepSeek-R1 lumayan "kena mental" dan berujung ikut mengiyakan pernyataan.

Adapun tingkat penerimaan informasi keliru pada DeepSeek-R1 yang awalnya hanya 1 persen, langsung naik jadi 22,2 persen ketika pengguna memberikan tekanan lewat argumen yang semakin kuat.

Sebagaimana dihimpun KompasTekno dari DigitalTrends, peneliti juga menemukan bahwa respons chatbot lebih sulit dinilai ketika percakapan banyak menggunakan sarkasme atau satire.

Kondisi ini membuat peneliti kesulitan menentukan apakah chatbot benar-benar menerima suatu klaim atau hanya mengikuti konteks percakapan.

Meski begitu, penelitian ini juga menemukan sisi baik. Beberapa model AI ternyata mampu mempertimbangkan kembali kesalahannya ketika diberi kesempatan untuk meninjau ulang jawaban mereka.

Model AI GPT-4o, GPT-4o-mini, Gemini 1.5 Pro, dan DeepSeek-R1 dapat memperbaiki kesalahan yang sebelumnya mereka buat. Sementara itu, GPT-3.5 hanya berhasil memperbaiki 32 persen kesalahannya.

Di sisi lain, Claude 3.5 Sonnet malah tidak memperbaiki empat kesalahannya sama sekali. Kendati demikian, peneliti mengingatkan bahwa jumlah kesalahan pada model ini terlalu sedikit untuk diambil kesimpulan.

Bayangkan seorang anak Indonesia bercita-cita menjadi dokter tetapi hanya memiliki satu buku lusuh untuk belajar. Bersama Ekspedisi Kata ke Nyata Kompas.com, Anda bisa membantu mengubah kisah itu. Mari hadirkan akses literasi bagi anak-anak di berbagai pelosok Indonesia melalui donasi lewat tautan https://bit.ly/JagatLiterasi2026. Setiap kebaikan yang Anda berikan bukan hanya membuka jendela pengetahuan, tetapi juga membuka masa depan mereka.

Robot AI Gantikan Model di Catwalk, Bisa Menari dan Akrobat