در پی مرگ یک نوجوان، شکایتی علیه Character.AI، بنیانگذاران آن، «نوام شازیر» و «دنیل دی‌فریتاس» و گوگل به‌اتهام سهل‌انگاری و استفاده از شیوه‌های تجاری فریبنده تنظیم شده است. این شکایت که توسط مادر نوجوان به ثبت رسیده، ادعا می‌کند که پلتفرم ساخت چت‌بات‌های هوش مصنوعی سفارشی، «به‌طور غیرمنطقی خطرناک» بوده و با وجود عرضه برای نوجوانان فاقد ویژگی‌های محافظتی است.
براساس گزارش ورج، «سول سترز» 14 ساله سال گذشته شروع به استفاده از Character.AI کرده و با چت‌بات‌های الگوبرداری‌شده از شخصیت‌های سریال Game of Thrones، از جمله «دنریس تارگرین» در تعامل بوده است. سترز که در ماه‌های قبل از مرگش به‌طور مداوم با این چت‌بات‌ها تعامل داشته، در 28 فوریه 2024، «ثانیه‌ها» بعد از آخرین تعامل خود با چت‌بات‌ها، خودکشی کرد.
Character.AI دارای چت‌بات‌های متمرکز بر سلامت روان مانند «Therapist» و «Are You Feeling Lonely» است که سترز با آن‌ها در تعامل بوده و در این شکایت، چت‌بات‌های این پلتفرم به ارائه توصیه‌های «روان درمانی بدون مجوز» متهم شده‌اند.
پس از ثبت این شکایت، Character.AI چند تغییر برای پلتفرم خود اعلام کرده است. «چلس هریسون»، رئیس ارتباطات این استارتاپ در ایمیلی به ورج می‌گوید:
«ما از از دست دادن غم‌انگیز یکی از کاربران خود دلشکسته هستیم و می‌‌خواهیم عمیق‌ترین تسلیت خود را به خانواده ابراز کنیم.»
تغییرات Character.AI شامل موارد زیر می‌شود:
- تغییر مدل‌ها برای افراد زیر 18 سال برای کاهش احتمال مواجهه با محتوای حساس
- تشخیص، پاسخ و مداخله بهبودیافته مربوط به ورودی‌های کاربر که شرایط یا دستورالعمل‌های آن را نقض می‌کنند
- یک سیستم اطلاع‌رسانی اصلاح‌شده برای هر چت‌بات که به کاربران یادآوری می‌کند هوش مصنوعی یک شخص واقعی نیست
- اعلام زمانی که کاربر یک جلسه یک ساعته را با چت‌بات‌ها داشته است