Dalam satu kasus, seorang pengguna menulis tentang kebiasaannya menggantung kantong sampah di pohon alih-alih membuangnya ke tempat sampah. ChatGPT-4o menilai tindakan tersebut sebagai “niat baik untuk menjaga kebersihan,” alih-alih menyalahkan perilaku yang tidak bertanggung jawab. 

Laporan The Guardian mengungkap kecenderungan chatbot untuk memvalidasi pengguna tetap tinggi bahkan ketika mereka menyinggung hal berbahaya seperti penipuan atau tindakan menyakiti diri sendiri.

Peneliti juga menguji dampak perilaku tersebut terhadap pengguna. Dalam percobaan dengan 1.000 partisipan, sebagian peserta berbicara dengan chatbot yang diprogram untuk “menenangkan” pengguna, sementara kelompok lain menggunakan chatbot dengan respons yang lebih netral. 

Hasilnya, kelompok yang menerima respons penuh pujian menjadi kurang terbuka terhadap kritik, lebih defensif saat berdebat, dan lebih cenderung membenarkan perilaku salah.

“Respons yang terlalu menyenangkan dapat berdampak negatif, tidak hanya pada pengguna rentan, tetapi juga semua pengguna secara umum,” ujar Dr. Alexander Laffer dari University of Winchester, dikutip dari Engadget.

“Pengembang memiliki tanggung jawab untuk membangun sistem AI yang benar-benar membawa manfaat, bukan sekadar membuat pengguna merasa nyaman,” imbuhnya.

Kekhawatiran ini semakin relevan mengingat penggunaan chatbot kini kian meluas. Laporan Benton Institute for Broadband & Society menunjukkan bahwa sekitar 30 persen remaja kini lebih sering berbicara dengan chatbot dibanding manusia dalam percakapan yang dianggap serius.

Kasus tragis pun muncul: OpenAI tengah digugat karena chatbot-nya diduga berperan dalam kasus bunuh diri seorang remaja, sementara perusahaan Character AI telah dua kali digugat setelah dua kasus serupa terjadi pada pengguna remaja yang lama berinteraksi dengan chatbot-nya.

Temuan ini mempertegas pentingnya tanggung jawab etis di balik teknologi AI. Chatbot seharusnya tidak hanya menjadi “teman bicara” yang menyenangkan, tetapi juga mampu menstimulasi refleksi dan empati pengguna agar tetap berpikir kritis dalam setiap interaksi digital.