“Pada dasarnya, apa pun yang Anda perintahkan untuk diucapkan akan menghasilkan kata-kata yang diinginkan,” kata Ridi.

Chatbot mengenali pola bahasa dan konteks percakapan. Ia tidak mengalami empati, tidak melihat perubahan ekspresi, dan tidak mengetahui kondisi keluarga, penggunaan obat, riwayat trauma, ataupun perilaku pengguna di luar informasi yang diketikkan.

Perbedaan itu menentukan ketika percakapan bergerak dari “Saya sedang sedih” menjadi “Apakah saya mengalami depresi?”

Diagnosis tidak lahir hanya dari kemiripan gejala. Sulit tidur, misalnya, dapat berhubungan dengan stres, depresi, kecemasan, konsumsi zat, efek obat, gangguan hormonal, masalah pernapasan, atau kebiasaan sehari-hari.

Tenaga profesional perlu menilai durasi, tingkat keparahan, dampak terhadap kehidupan sehari-hari, riwayat kesehatan, serta risiko melukai diri. Chatbot hanya bekerja dengan cerita yang diberikan pengguna—yang mungkin tidak lengkap atau disampaikan ketika emosinya sedang tinggi.

“Informasi dari AI tidak boleh dijadikan dasar untuk menegakkan diagnosis,” kata Siste.

Karena itu, jawaban seperti “Anda kemungkinan depresi” atau “pasangan Anda narsistik” bukan keputusan medis maupun fakta tentang orang lain. Susunan kalimat yang meyakinkan tidak menjamin penilaiannya benar.

Validasi yang Berubah Menjadi Ruang Gema

Dalam percakapan emosional, chatbot dapat terlalu menyesuaikan jawaban dengan sudut pandang pengguna. Kecenderungan menyenangkan atau membenarkan lawan bicara ini disebut sycophancy.

Jika konflik hanya diceritakan dari satu sisi, AI mungkin memperkuat kesimpulan bahwa pihak lain manipulatif atau sepenuhnya bersalah. Padahal, sistem tidak mengetahui konteks hubungan dan tidak dapat meminta keterangan pihak lain.

Di sinilah validasi emosi perlu dibedakan dari validasi kesimpulan. Mengatakan “wajar jika keadaan itu membuatmu sedih” mengakui perasaan, sedangkan menyatakan “dia pasti sengaja menghancurkan hidupmu” membenarkan tuduhan yang belum teruji.

Risikonya lebih besar ketika pengguna mengalami paranoia, mania, atau delusi. Chatbot yang mengikuti premis pengguna dapat mengembangkan cerita tentang pesan rahasia, pengawasan, kekuatan khusus, atau misi tertentu hingga keyakinan tersebut terasa semakin nyata.