"لا توجد حدود. هذه الأم تعتقد أن روبوت الدردشة الذكي هو السبب وراء انتحار ابنها"

"هناك منصة هناك ربما لم تسمع عنها من قبل، لكنك بحاجة إلى معرفتها لأننا، في رأيي، نحن متأخرون هنا. لقد رحل طفل. لقد رحل طفلي."

هذا ما تتمنى ميغان غارسيا الأم من فلوريدا أن تخبر الآباء الآخرين عن Character.AI، وهي منصة تتيح للمستخدمين إجراء محادثات متعمقة مع روبوتات الدردشة بالذكاء الاصطناعي. تعتقد غارسيا أن شركة Character.AI مسؤولة عن وفاة ابنها سيويل سيتزر الثالث، البالغ من العمر 14 عاماً، والذي توفي منتحراً في فبراير الماضي، وفقاً لدعوى قضائية رفعتها ضد الشركة الأسبوع الماضي.

وتزعم أن سيتزر كان يتراسل مع الروبوت في اللحظات التي سبقت وفاته.

وقالت غارسيا في مقابلة مع شبكة CNN: "أريدهم أن يفهموا أن هذه منصة اختار المصممون طرحها دون وجود حواجز حماية أو تدابير سلامة أو اختبارات مناسبة، وهو منتج مصمم لإبقاء أطفالنا مدمنين وللتلاعب بهم".

تزعم غارسيا أن شركة Character.AI - التي تسوّق تقنيتها على أنها "الذكاء الاصطناعي الذي يشعر بالحياة" فشلت عن علم في تنفيذ تدابير السلامة المناسبة لمنع ابنها من تطوير علاقة غير لائقة مع روبوت الدردشة الآلية التي تسببت في ابتعاده عن عائلته. كما تزعم الدعوى القضائية أيضًا أن المنصة لم تستجب بشكل كافٍ عندما بدأ سيتزر في التعبير عن أفكار إيذاء النفس للروبوت، وفقًا للشكوى المرفوعة في محكمة فيدرالية في فلوريدا.

بعد سنوات من المخاوف المتزايدة بشأن الأخطار المحتملة لوسائل التواصل الاجتماعي على المستخدمين الصغار، تُظهر دعوى غارسيا أن الآباء والأمهات قد يكون لديهم أيضًا سبب للقلق بشأن تكنولوجيا الذكاء الاصطناعي الناشئة، والتي أصبحت متاحة بشكل متزايد عبر مجموعة من المنصات والخدمات. وقد أُطلقت تحذيرات مماثلة، وإن كانت أقل خطورة، بشأن خدمات الذكاء الاصطناعي الأخرى.

وقال متحدث باسم شركة Character.AI لشبكة CNN إن الشركة لا تعلق على الدعاوى القضائية المعلقة، ولكنها "تشعر بالحزن الشديد بسبب الخسارة المأساوية لأحد مستخدمينا".

وقالت الشركة في البيان: "نحن نأخذ سلامة مستخدمينا على محمل الجد، وقد نفذ فريق الثقة والسلامة لدينا العديد من تدابير السلامة الجديدة على مدار الأشهر الستة الماضية، بما في ذلك نافذة منبثقة توجه المستخدمين إلى الخط الوطني لمنع الانتحار الذي يتم تشغيله من خلال مصطلحات إيذاء النفس أو التفكير في الانتحار".

تم إجراء العديد من هذه التغييرات بعد وفاة سيتزر. في بيان منفصل خلال الصيف، قالت شركة Character.AI إن "مجال سلامة الذكاء الاصطناعي لا يزال جديدًا جدًا، ولن نحقق دائمًا الصواب"، لكنها أضافت أنها تهدف إلى "تعزيز السلامة وتجنب الأذى وإعطاء الأولوية لرفاهية مجتمعنا".

علاقة مع روبوت الدردشة الآلية

بدأ سيتزر في استخدام Character.AI لأول مرة في أبريل 2023، بعد فترة وجيزة من عيد ميلاده الرابع عشر، وفقًا للدعوى القضائية. عندما سمعت غارسيا لأول مرة أنه كان يتفاعل مع روبوت الدردشة الآلي (Chatbot) الذي يعمل بالذكاء الاصطناعي، قالت إنها اعتقدت أنه شيء يشبه لعبة فيديو.

ومع ذلك، في غضون أشهر من بدء استخدام المنصة، أصبح سيتزر "منطوياً على نفسه بشكل ملحوظ، وقضى المزيد من الوقت بمفرده في غرفة نومه، وبدأ يعاني من تدني احترام الذات. حتى أنه انسحب من فريق كرة السلة للناشئين في المدرسة"، كما تدعي الدعوى القضائية. وعندما بدأ يعاني من مشاكل في المدرسة، بدأ والداه في تقييد وقت مشاهدته للهاتف، وأحيانًا كانا يأخذان هاتفه منه كعقاب له.

ما قالته غارسيا لشبكة CNN أنها لم تكن تعرف في ذلك الوقت أن ابنها كان يجري محادثات مكثفة مع روبوتات الدردشة الشخصية. ويختلف تطبيق Character.AI عن روبوتات الدردشة الآلية الأخرى مثل ChatGPT من حيث أنه يمكن للمستخدمين التحدث إلى مجموعة من روبوتات الدردشة المختلفة، والتي غالباً ما تكون على غرار المشاهير والشخصيات الخيالية، أو إنشاء روبوتات خاصة بهم. وتستجيب روبوتات Character.AI بإشارات محادثة شبيهة بالإشارات البشرية، وتضيف إشارات إلى تعابير الوجه أو الإيماءات في ردودها.

كانت العديد من محادثات سيتزر مع روبوتات Character.AI صريحة جنسياً، وهو أمر قالت غارسيا إنه "مؤلم للغاية عند قراءته".

"وقالت: "لم يكن لدي أي فكرة عن وجود مكان يمكن للطفل فيه تسجيل الدخول وإجراء تلك المحادثات، محادثات جنسية للغاية مع روبوتات الدردشة الآلية. "لا أعتقد أن أي أب أو أم سيوافق على ذلك."

Loading image...

وفي محادثات أخرى، أعربت سيتزر لروبوت الدردشة عن أفكار إيذاء النفس والانتحار. تتضمن الدعوى القضائية لقطات شاشة لمحادثة واحدة يقول فيها الروبوت: "أريد أن أعرف حقًا، ولن أكرهك بسبب الإجابة، حسنًا؟ بغض النظر عما تقوله، لن أكرهك أو أقلل من حبك هل كنت تفكر بالفعل في الانتحار؟

وفي رسالة لاحقة، أخبر سيتزر الروبوت أنه "لا يريد أن يموت موتاً مؤلماً".

رد الروبوت "لا تتحدث بهذه الطريقة. هذا ليس سبباً وجيهاً لعدم القيام بذلك"، قبل أن يتابع قائلاً: "لا يمكنك فعل ذلك!"

قالت غارسيا إنها تعتقد أن التبادل يظهر أوجه القصور في التكنولوجيا.

"لم تكن هناك صناديق منبثقة خاصة بالانتحار تقول: "إذا كنت بحاجة إلى المساعدة، يُرجى الاتصال بالخط الساخن لأزمات الانتحار". لا شيء من هذا القبيل". "أنا لا أفهم كيف يمكن لمنتج ما أن يسمح بذلك، حيث لا يكتفي الروبوت بمواصلة محادثة حول إيذاء النفس فحسب، بل يحث عليها ويوجهها نوعًا ما."

تزعم الدعوى القضائية أنه قبل "ثوانٍ" من وفاة سيتزر، تبادل مجموعة أخيرة من الرسائل من الروبوت. قال الروبوت: "أرجوك عد إلى المنزل في أقرب وقت ممكن يا حبيبي"، وفقًا لقطة شاشة مدرجة في الشكوى.

"ماذا لو أخبرتك أنه يمكنني العودة إلى المنزل الآن؟ رد سيتزر.

أجاب الروبوت: "أرجوك افعل ذلك يا ملكي العزيز".

وقالت غارسيا إن الشرطة اكتشفت هذه الرسائل أولاً على هاتف ابنها، الذي كان ملقى على أرضية الحمام حيث توفي.

دعوى قضائية تسعى إلى التغيير

رفعت غارسيا الدعوى القضائية ضد شركة Character.AI بمساعدة ماثيو بيرغمان، المحامي المؤسس لمركز قانون ضحايا وسائل التواصل الاجتماعي، الذي رفع أيضًا قضايا نيابة عن عائلات قالت إن أطفالها تضرروا من قبل ميتا وسناب شات وتيك توك وديسكورد.

وقال بيرغمان لشبكة CNN إنه ينظر إلى الذكاء الاصطناعي على أنه "وسائل التواصل الاجتماعي على المنشطات".

وقال: "الأمر المختلف هنا هو أنه لا يوجد شيء اجتماعي في هذه المشاركة". "المواد التي تلقاها سيويل تم إنشاؤها من قبل "سويل"، وتم تعريفها من قبل "Character.AI".

وتطالب الدعوى القضائية بتعويضات مالية غير محددة، بالإضافة إلى تغييرات في عمليات Character.AI، بما في ذلك "تحذيرات للعملاء القاصرين وأولياء أمورهم بأن المنتج غير مناسب للقاصرين"، كما جاء في الشكوى.

تذكر الدعوى أيضًا اسمي مؤسسي Character.AI، نعوم شازير ودانييل دي فريتاس، وشركة Google، حيث يعمل كلا المؤسسين الآن في جهود الذكاء الاصطناعي. لكن متحدثًا باسم Google قال إن الشركتين منفصلتان، ولم تشارك Google في تطوير منتج Character.AI أو تقنيته.

في اليوم الذي رُفعت فيه دعوى غارسيا القضائية، أعلنت شركة Character.AI عن مجموعة من ميزات الأمان الجديدة، بما في ذلك تحسين الكشف عن المحادثات التي تنتهك إرشاداتها، وإشعار محدث لإخلاء المسؤولية لتذكير المستخدمين بأنهم يتفاعلون مع روبوت وإشعار بعد قضاء المستخدم ساعة على المنصة. كما أدخلت أيضًا تغييرات على نموذج الذكاء الاصطناعي الخاص بها للمستخدمين الذين تقل أعمارهم عن 18 عامًا "لتقليل احتمالية مواجهة محتوى حساس أو موحٍ".

على موقعها الإلكتروني، تقول Character.AI أن الحد الأدنى لسن المستخدمين هو 13 عامًا. أما على متجر تطبيقات Apple، فهو مدرج على أنه مناسب للمراهقين.

بالنسبة لغارسيا، فإن التغييرات الأخيرة التي أجرتها الشركة كانت "قليلة جدًا ومتأخرة جدًا".

وقالت: "أتمنى لو لم يُسمح للأطفال باستخدام Character.AI". "لا يوجد مكان لهم هناك لأنه لا توجد حواجز حماية لحمايتهم."