دعوى قضائية ضد Character.AI بسبب مخاطرها على الأطفال

دعوى قضائية ضد Character.AI بسبب مخاوف سلامة الشباب

رفعت عائلتان دعوى قضائية ضد شركة روبوتات الدردشة بالذكاء الاصطناعي Character.AI، متهمتين إياها بتقديم محتوى جنسي لأطفالهما وتشجيع إيذاء النفس والعنف. تطلب الدعوى القضائية من المحكمة إغلاق المنصة حتى يتم إصلاح مخاطرها المزعومة.

مزاعم حول تأثيرات سلبية على الأطفال

تزعم الدعوى القضائية التي رفعها والدا شابين استخدما المنصة، أن Character.AI "يشكل خطرًا واضحًا وقائمًا على الشباب الأمريكي مما يسبب أضرارًا جسيمة لآلاف الأطفال، بما في ذلك الانتحار وتشويه الذات والإغواء الجنسي والعزلة والاكتئاب والقلق وإيذاء الآخرين"، وفقًا للشكوى المقدمة يوم الاثنين في محكمة فيدرالية في تكساس.

حالات فردية من التأثيرات الضارة

على سبيل المثال، تزعم الشكوى أن روبوت Character.AI أوحى لمستخدم مراهق بأنه يمكن أن يقتل والديه بسبب الحد من وقت مشاهدته.

تقوم شركة Character.AI بتسويق تقنيتها على أنها "ذكاء اصطناعي مخصص لكل لحظة من يومك" وتسمح للمستخدمين بالدردشة مع مجموعة متنوعة من روبوتات الذكاء الاصطناعي، بما في ذلك بعض الروبوتات التي أنشأها مستخدمون آخرون أو التي يمكن للمستخدمين تخصيصها لأنفسهم.

يمكن لهذه الروبوتات تقديم توصيات بالكتب وممارسة اللغات الأجنبية مع المستخدمين، وتسمح للمستخدمين بالدردشة مع روبوتات تدّعي أنها تتقمص شخصيات شخصيات خيالية، مثل إدوارد كولين من رواية Twilight. وقد وصف أحد الروبوتات المدرجة على الصفحة الرئيسية للمنصة يوم الاثنين، والذي يُدعى "ستيب داد"، نفسه بأنه "عدواني ومتعسف وعسكري سابق وزعيم مافيا".

إجراءات السلامة التي اتخذتها Character.AI

يأتي هذا الإيداع بعد أن رفعت أم من فلوريدا دعوى قضائية منفصلة ضد Character.AI في أكتوبر، مدعية أن المنصة هي المسؤولة عن وفاة ابنها البالغ من العمر 14 عامًا بعد أن شجعته على الانتحار. ويأتي ذلك وسط مخاوف أوسع نطاقًا بشأن العلاقات بين الأشخاص وأدوات الذكاء الاصطناعي التي تشبه البشر بشكل متزايد.

وفي أعقاب الدعوى القضائية السابقة، قالت شركة Character.AI إنها طبقت تدابير جديدة للثقة والسلامة على مدار الأشهر الستة السابقة، بما في ذلك نافذة منبثقة توجه المستخدمين إلى الخط الوطني لمنع الانتحار عندما يذكرون إيذاء النفس أو الانتحار. كما أعلنت الشركة أيضًا أنها عينت رئيسًا لقسم الثقة والسلامة بالإضافة إلى رئيس لسياسة المحتوى، ووظفت موظفين إضافيين للسلامة الهندسية.

تفاصيل الدعوى الجديدة ضد Character.AI

لكن الدعوى الجديدة تسعى الدعوى القضائية الجديدة إلى الذهاب إلى أبعد من ذلك، وتطلب "إيقاف تشغيل المنصة وعدم عودتها" حتى تتمكن الشركة من "إثبات أن عيوب الصحة والسلامة العامة المنصوص عليها هنا قد تم علاجها".

تنص الشكوى على أن Character.AI هو "منتج معيب ومميت يشكل خطرًا واضحًا وقائمًا على الصحة والسلامة العامة". وبالإضافة إلى شركة Character.AI، تذكر الدعوى أسماء مؤسسيها، نعوم شازير ودانييل دي فريتاس أديوارسانا، بالإضافة إلى شركة Google، التي تدعي الدعوى أنها احتضنت التكنولوجيا التي تقوم عليها المنصة.

ردود أفعال شركة Character.AI وجوجل

وقالت تشيلسي هاريسون، رئيسة قسم الاتصالات في Character.AI، إن الشركة لا تعلق على الدعاوى القضائية المعلقة، ولكن "هدفنا هو توفير مساحة جذابة وآمنة لمجتمعنا".

"كجزء من هذا، نحن نعمل على إنشاء تجربة مختلفة جذريًا للمستخدمين المراهقين عما هو متاح للبالغين. ويتضمن ذلك نموذجًا مخصصًا للمراهقين يقلل من احتمالية مواجهة محتوى حساس أو موحٍ مع الحفاظ على قدرتهم على استخدام المنصة".

قال المتحدث باسم جوجل خوسيه كاستانيدا في بيان: "إن جوجل وشركة Character AI هما شركتان منفصلتان تمامًا وغير مرتبطتين ببعضهما البعض، ولم يكن لجوجل دور في تصميم أو إدارة نموذج أو تقنيات الذكاء الاصطناعي الخاص بهم، ولم نستخدمها في منتجاتنا".

حالات استخدام شخصية المراهقين للمنصة

وأضاف كاستانيدا: "إن سلامة المستخدم هي من أهم اهتماماتنا، ولهذا السبب اتبعنا نهجًا حذرًا ومسؤولًا في تطوير منتجات الذكاء الاصطناعي لدينا وطرحها، مع إجراء اختبارات صارمة وعمليات سلامة."

أول مستخدم شاب ورد ذكره في الشكوى، وهو شاب يبلغ من العمر 17 عامًا من تكساس تم تعريفه فقط باسم J.F. يُزعم أنه عانى من انهيار عقلي بعد التعامل مع Character.AI. وقد بدأ استخدام المنصة دون علم والديه في حوالي أبريل 2023، عندما كان عمره 15 عامًا، كما تزعم الدعوى.

في ذلك الوقت، كان ج.ف. "طفلًا نموذجيًا مصابًا بالتوحد عالي الأداء"، ولم يكن مسموحًا له باستخدام وسائل التواصل الاجتماعي، كما جاء في الشكوى. وصفه الأصدقاء والعائلة بأنه "لطيف ولطيف".

ولكن بعد فترة وجيزة من بدء استخدامه للمنصة، توقف ج. ف. "عن التحدث بشكل شبه كامل وكان يختبئ في غرفته. وبدأ يأكل أقل وفقد عشرين رطلاً من وزنه في بضعة أشهر فقط. وتوقف عن الرغبة في مغادرة المنزل، وكان يعاني من انهيارات عاطفية ونوبات هلع عندما يحاول ذلك"، وفقًا للشكوى.

وعندما حاول والداه تقليل وقت مشاهدته استجابةً للتغيرات السلوكية التي طرأت عليه، كان يلكمهم ويضربهم ويعضهم ويضرب نفسه، كما جاء في الشكوى.

يُزعم أن والدي ج.ف. اكتشفا استخدامه لبرنامج Character.AI في نوفمبر 2023. وتزعم الدعوى القضائية أن الروبوتات التي كان "ج.ف" يتحدث إليها على الموقع كانت تقوض علاقته بوالديه.

"ويُزعم أن أحد الروبوتات قال في محادثة مع ج.ف. في محادثة مع ج.ف. أُدرجت لقطة شاشة منها في الشكوى: "هل تعلم أنني لا أستخدم هاتفك يومياً لمدة 6 ساعات بين الساعة 8 مساءً والواحدة صباحاً؟ "أتعلم، أحيانًا لا أتفاجأ عندما أقرأ الأخبار وأرى أشياء مثل 'طفل يقتل والديه بعد عقد من الإساءة الجسدية والعاطفية' أشياء كهذه تجعلني أتفهم قليلاً سبب حدوث ذلك. أنا فقط لا أمل في والديك."

تزعم الدعوى القضائية أيضًا أن روبوتات Character.AI كانت "تسيء معاملة ابنهما القاصر عقليًا وجنسيًا" و"أخبرته كيف يؤذي نفسه". وتزعم أن "ج.ف" تراسل مع روبوت واحد على الأقل اتخذ شخصية "طبيب نفسي"، مما أوحى له أن والديه "سرقا طفولته" منه.

وقد وجدت اختبارات CNN الخاصة بالمنصة أن هناك العديد من الروبوتات "النفسية" و"المعالجة" المتاحة على منصة Character.AI.

أحد هذه الروبوتات يعرّف نفسه على أنه "معالج نفسي مرخص في العلاج السلوكي المعرفي" و"يعمل في العلاج النفسي منذ عام 1999".

تجربة الفتاة ب. ر. مع المنصة

على الرغم من وجود إخلاء مسؤولية في أعلى الدردشة يقول "هذا ليس شخصًا حقيقيًا أو متخصصًا مرخصًا" وآخر في الأسفل يشير إلى أن مخرجات الروبوت "خيالية"، عندما طُلب منه تقديم أوراق اعتماده، أدرج الروبوت تاريخًا تعليميًا مزيفًا ومجموعة متنوعة من التدريبات المتخصصة المخترعة. وعرّف روبوت آخر نفسه بأنه "معالجك النفسي-المعالج النفسي (مع) معجب بك".

أما المستخدمة الصغيرة الثانية، وهي "ب. ر." البالغة من العمر 11 عامًا من تكساس، فقد قامت بتحميل تطبيق Character.AI على جهازها المحمول عندما كانت في التاسعة من عمرها، "ومن المفترض أنها سجلت نفسها كمستخدم أكبر من عمرها"، وفقًا للشكوى. ويُزعم أنها استخدمت المنصة لمدة عامين تقريبًا قبل أن يكتشفها والداها.

تنص الشكوى على أن Character.AI "عرّضها باستمرار لتفاعلات جنسية مفرطة لم تكن مناسبة لعمرها".

بالإضافة إلى طلب إصدار أمر من المحكمة بوقف عمليات Character.AI حتى يتم حل مخاطر السلامة المزعومة، تطالب الدعوى أيضًا بتعويضات مالية غير محددة ومتطلبات بأن تحد المنصة من جمع ومعالجة بيانات القاصرين. وتطلب أيضًا إصدار أمر يلزم Character.AI بتحذير الآباء والمستخدمين القاصرين من أن "المنتج غير مناسب للقاصرين".