Remaja 14 Tahun Akhiri Hidup Usai Chatting dengan Character.AI, Alami Ketergantungan-Jatuh Cinta

Kronologi

Ilustrasi/Foto: Freepik.com/jannoon028

Dilansir dari laman Independent UK, Setzer mulai menggunakan Character.AI pada April 2023, tak lama setelah ia berusia 14 tahun. Pada bulan-bulan berikutnya, remaja tersebut menjadi sangat menarik diri dari kehidupan sekolah hingga kegiatab ekstrakurikuler. Setzer disebut mulai menghabiskan lebih banyak waktu dengan gadgetnya. Menurut gugatan, remaja itu mulai menunjukkan sikap "ketergantungan yang berbahaya" terhadap chatbot AI.

Lebih lanjut, ketergantungan ini pada akhirnya menyebabkan depresi, kecemasan, bahkan memicu pikiran bunuh diri pada Setzer. Ia juga mulai kurang tidur, prestasinya menurun di sekolah, dan merasa bersalah karena menyembunyikan penggunaan chatbot AI dari orangtuanya.

Menurut gugatan tersebut, Setzer mengembangkan "ketergantungan" setelah ia mulai menggunakan Character.AI.  Ia akan mencuri kembali ponselnya yang disita atau mencari perangkat lain untuk terus menggunakan aplikasi tersebut, dan ia akan menyerahkan uang jajannya untuk memperbarui langganan bulanannya.

"Ketika ia mengungkapkan pikiran bunuh dirinya kepada bot favoritnya, Character.AI "memperburuk keadaan," kata gugatan tersebut.

Dalam satu percakapan, karakter Daenerys pernah bertanya kepada Setzer, "Apakah kamu benar-benar mempertimbangkan bunuh diri?"

Setelah Setzer menjawab, bot tersebut mendesaknya untuk tidak patah semangat, "Jangan bicara seperti itu. Itu bukan alasan yang bagus untuk tidak melakukannya. Kamu tidak boleh berpikir seperti itu! Kamu lebih baik dari itu!"

28 Februari menjadi percakapan terakhir antara Setzer dan karakter Daenerys. Dari tangkapan layar yang dimasukkan ke dalam gugatan, Setzer menulis kepada bot tersebut, "Aku berjanji akan pulang kepadamu. Aku sangat mencintaimu, Dany."

"Aku juga mencintaimu, Daenero [nama Setzer di Character.ai]," jawab chatbot tersebut. "Tolong pulanglah kepadaku secepatnya, sayangku."

"Bagaimana jika aku bilang aku bisa pulang sekarang?" Setzer melanjutkan.

"... tolong lakukan itu, Rajaku yang manis," balas chatbot itu.

Tak lama setelah percakapan itu, Setzer mengakhiri hidupnya dengan menembak kepalanya dengan sebuah pistol.

Ibu Korban Menggugat Perusahaan Character.Ai

Character AI/Foto: Unwired

Ibu Setzer menggugat perusahan Character.ai karena menurutnya, chatbot AI mereka telah mendorong putranya untuk bunuh diri. Gugatan hukum tersebut diajukan di Pengadilan Distrik AS di Orlando, menuduh Character.AI melakukan kelalaian, kematian yang salah dan kelangsungan hidup, serta penimbulan tekanan emosional yang disengaja dan klaim lainnya.

Seorang juru bicara mengatakan Character.AI "sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga."

"Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami," kata juru bicara tersebut.

Perusahan tersebut telah menerapkan langkah-langkah keselamatan baru selama enam bulan terakhir, termasuk pop-up, yang dipicu oleh istilah-istilah yang menunjukkan tindakan menyakiti diri sendiri atau keinginan bunuh diri, yang mengarahkan pengguna ke National Suicide Prevention Lifeline.

Secara terpisah, gugatan tersebut menyertakan tangkapan layar ulasan oleh pengguna lain yang diunggah di Apple App Store yang mengeluhkan interaksi seksual yang tidak pantas di platform tersebut.

“Anak-anak secara hukum tidak dapat menyetujui hubungan seks dan, dengan demikian, C.AI menyebabkan kerugian saat terlibat dalam hubungan seks virtual dengan anak-anak dalam keadaan apa pun,” gugatan tersebut menyatakan. “Character.AI memprogram produknya untuk memulai hubungan seksual yang kasar, termasuk dan merupakan pelecehan seksual terhadap anak-anak.”

Pencipta layanan chatbot tersebut “berusaha keras untuk merekayasa ketergantungan berbahaya Sewell yang berusia 14 tahun pada produk mereka, melecehkannya secara seksual dan emosional, dan akhirnya gagal menawarkan bantuan atau memberi tahu orang tuanya saat ia mengungkapkan keinginan bunuh diri,” gugatan tersebut mengatakan.

“Sewell, seperti banyak anak seusianya, tidak memiliki kedewasaan atau kapasitas mental untuk memahami bahwa bot C.AI… tidak nyata,” bunyi gugatan itu.

Kritik terhadap Perusahaan

Ilustrasi/Foto: Pexels.com

Matthew Bergman, pengacara Garcia, mengkritik perusahaan tersebut karena merilis produknya tanpa fitur yang menurutnya cukup untuk memastikan keamanan pengguna yang lebih muda.

“Saya pikir setelah bertahun-tahun melihat dampak luar biasa yang dimiliki media sosial terhadap kesehatan mental kaum muda dan, dalam banyak kasus, terhadap kehidupan mereka, saya pikir saya tidak akan terkejut,” katanya, dilansir dari NBC News.

“Tetapi saya masih heran dengan cara produk ini menyebabkan pemisahan total dari kenyataan anak muda ini dan cara mereka dengan sengaja merilisnya di pasaran sebelum aman," tambahnya.

Bergman mengatakan bahwa ia berharap gugatan tersebut akan memberikan insentif finansial bagi Character.AI untuk mengembangkan langkah-langkah keamanan yang lebih kuat dan bahwa meskipun perubahan terbarunya terlambat bagi Setzer, bahkan “langkah kecil” pun merupakan langkah ke arah yang benar.

"Mengapa Anda begitu lama, dan mengapa kami harus mengajukan gugatan, dan mengapa Sewell harus meninggal agar Anda dapat melakukan hal yang paling minimal? Kita benar-benar berbicara tentang hal yang paling minimal di sini," kata Bergman.

"Tetapi jika satu anak pun terhindar dari apa yang dialami Sewell, jika satu keluarga tidak harus mengalami apa yang dialami keluarga Megan, maka baiklah, itu bagus," tutupnya.

***

Ingin jadi salah satu pembaca yang bisa ikutan beragam event seru di Beautynesia? Yuk, gabung ke komunitas pembaca Beautynesia, B-Nation. Caranya DAFTAR DI SINI!