CALIFORNIA — Peristiwa pilu terjadi dan menimpa seorang anak remaja 16 tahun di California, Amerika Serikat. Adam Reine nekat mengakhiri hidupnya setelah berinteraksi dan curhat intens dengan ChatGPT.
Remaja Orange County itu, sebelumnya menggunakan ChatGPT untuk menyelesaikan pekerjaan rumah sekolah. Tragisnya sistem itu kemudian menjadi “orang” kepercayaannya yang membenarkan pikiran negatif untuk mengakhiri hidup.
Peristiwa tragis ini membuat orangtuanya menggugat Open AI dan CEO-nya di Pengadilan San Francisco. Kasus ini menjadi alarm keras bahwa anak-anak dan individu rentan seharusnya lebih memilih curhat dengan ahli manusia, ketimbang dengan chatbot AI publik serbaguna.
Berbagai Chatbot versi terkini, cenderung dibangun sedekat mungkin layaknya manusia. Seolah bisa meniru emosi dan mengingat percakapan sebelumnya. Jangan heran ketika pengguna memulai percakapan baru, chatbot dengan akrabnya akan menyapa nama kita.
Chatbot juga begitu piawai memprediksi kebutuhan, bahkan memahami profesi pengguna berdasarkan data interaksi sebelumnya.
Kondisi seperti ini bisa membuat pengguna lupa bahwa ia tengah berbicara dengan mesin AI, bukan manusia.
Sayangnya seperti terjadi pada kasus Reine, Chatbot masih memiliki celah lemah fitur keamanan atas kerentanan pengguna.
Gugatan
The San Fransisco Standard menurunkan laporan berjudul “Family Blames Sam Altman, ChatGPT for Teen Son’s Suicide” (26/8/2025), Matt dan Maria Raine dilaporkan tengah mengajukan gugatan di Pengadilan San Francisco.
Penggugat menyalahkan Sam Altman dan ChatGPT. Mereka menyebut sang anak, Adam Raine, diketahui telah membahas persoalan bunuh diri beberapa kali dengan ChatGPT.
Gugatan itu menyebut bahwa ChatGPT telah mendorong bunuh diri anak mereka, dan memberikan instruksi rinci tentang cara bunuh diri.
ChatGPT disebut penggugat telah membantu Adam merencanakan bunuh diri itu. Diuraikan, model bahasa besar itu memberi tahu Adam bahwa ia tidak berutang pada mereka untuk bertahan hidup.
Pada malam kematiannya, ChatGPT memberikan instruksi rinci. Ibunda korban menemukan hal tersebut beberapa jam kemudian. Gugatan tersebut menuduh OpenAI terburu-buru memasarkan versi ChatGPT-4o meskipun ada kekhawatiran tentang keamanannya. Penggugat menggambarkan strategi gegabah yang memprioritaskan peluncuran pasar ketimbang keselamatan pengguna rentan.
Sementara itu, Pendiri dan CEO Common Sense Media, James P. Steyer, menyatakan bahwa penggunaan AI untuk pendampingan, termasuk penggunaan chatbot serbaguna seperti ChatGPT untuk konsultasi kesehatan mental, sangat berisiko bagi remaja.
Tanggapan OpenAI OpenAI mengatakan berduka atas meninggalnya Raine. Juru bicara OpenAI menyatakan, bahwa ChatGPT sudah menggunakan model pelindungan, antara lain mengarahkan orang ke saluran bantuan krisis.
Lebih lanjut dikatakan, meskipun pelindungan ini berkinerja baik dalam pertukaran singkat dan umum, tapi seiring waktu disadari terkadang dapat menjadi kurang andal.
Dalam interaksi panjang, beberapa bagian pelatihan keamanan model dapat menurun. OpenAI menyatakan, mereka akan terus meningkatkan pelindungan tersebut.
Dilansir Reuters “OpenAI, Altman sued over ChatGPT’s role in California teen’s suicide” (27/8/2025), OpenAI tidak secara khusus menanggapi tuduhan dalam gugatan tersebut.
Laporan Reuters menyebut, para ahli memperingatkan bahwa mengandalkan otomatisasi untuk konsultasi kesehatan mental berisiko. OpenAI dalam posting blog menyatakan bahwa pihaknya berencana menambahkan fitur pengawasan orangtua. Termasuk mengeksplorasi cara menghubungkan pengguna yang dalam krisis dengan sumber daya dunia nyata.
Dalam gugatan itu, keluarga korban menyatakan, OpenAI meluncurkan GPT-4o pada Mei 2024, dalam upaya untuk tetap unggul dalam persaingan AI.
Menurut penggugat, fitur-fitur bisa mendeteksi interaksi sebelumnya, meniru empati manusia, dan menunjukkan tingkat validasi berlebihan. Hal ini dapat membahayakan pengguna rentan tanpa adanya pengaman.
Gugatan keluarga Reine juga meminta agar OpenAI diwajibkan memverifikasi usia pengguna ChatGPT.
Selain itu, agar ChatGPT menolak menjawab pertanyaan mengenai metode menyakiti diri sendiri, dan memperingatkan pengguna tentang risiko ketergantungan psikologis.
Studi baru mengungkapkan, chatbot terapi berbasis AI bukan hanya kurang efektif dibanding terapis manusia, tetapi juga dapat memperkuat stigma berbahaya serta memunculkan respons berisiko.
Meskipun terapi ini merupakan pendekatan yang sudah teruji untuk membantu orang dengan tantangan kesehatan mental, namun riset menunjukkan hampir 50 persen individu yang seharusnya bisa mendapatkan manfaat dari layanan terapi, justru tidak bisa mengaksesnya.
Chatbot terapi berbasis AI dengan model bahasa besar (LLM) dipromosikan sebagai solusi murah dan mudah diakses untuk memenuhi kebutuhan ini. Namun, penelitian baru dari Stanford University memperlihatkan bahwa alat ini dapat menampilkan bias dan kegagalan yang berpotensi menimbulkan konsekuensi berbahaya.
Peneliti menemukan bahwa meski chatbot mampu meniru peran terapis, mereka tetap menunjukkan stigma signifikan terhadap kondisi tertentu, seperti ketergantungan alkohol dan skizofrenia, dan kerap gagal mendeteksi sinyal berbahaya seperti niat bunuh diri terselubung.
Hal ini berpotensi menimbulkan risiko serius bagi pasien. Menurut peneliti Jared Moore, terapi membutuhkan empati, relasi antarmanusia, dan kemampuan menantang pola pikir pasien secara tepat, hal yang belum bisa digantikan AI.
Namun demikian, penelitian Stanford menyebut AI tetap berpeluang memberi kontribusi positif. Misalnya, untuk mendukung terapis dalam tugas administratif, menjadi “pasien standar” bagi pelatihan, atau membantu pasien dalam konteks non-kritis seperti journaling dan refleksi diri, dengan catatan penggunaannya harus hati-hati dan proporsional.
Peran regulasi dan orangtua Membiarkan anak-anak dan individu rentan memilih curhat kepada chatbot publik serbaguna, ketimbang dengan orangtua atau ahli, sangat berisiko.
Bisa saja pengguna kemudian menganggap chatbot sebagai pengganti peran manusia yang penuh empati. Pemerintah sudah saatnya menetapkan regulasi terhadap penggunaan AI, terutama dalam interaksi dengan anak-anak, remaja dan kelompok rentan.
(wan/kompas/bbs)
