مخاوف من الذكاء الاصطناعي في الموافقات الطبية

لسماع حديث المسؤولين الصحيين في إدارة ترامب، فقد وصل الذكاء الاصطناعي إلى واشنطن لتسريع عملية طرح الأدوية الجديدة المنقذة للحياة في الأسواق، وتبسيط العمل في الوكالات الصحية الضخمة التي تقدر بمليارات الدولارات في الولايات المتحدة، وأن يكون مساعداً رئيسياً في السعي إلى خفض الإنفاق الحكومي المهدر دون تعريض عملهم للخطر.

وقد أعلن وزير الصحة والخدمات الإنسانية روبرت ف. كينيدي جونيور في جلسات استماع في الكونغرس في الأشهر القليلة الماضية أن "ثورة الذكاء الاصطناعي قد وصلت".

وقال أمام لجنة الطاقة والتجارة في مجلس النواب في يونيو: "نحن نستخدم هذه التكنولوجيا بالفعل في وزارة الصحة والخدمات الإنسانية لإدارة بيانات الرعاية الصحية، بشكل آمن تمامًا، ولزيادة سرعة الموافقات على الأدوية". كان الحماس بين البعض، على الأقل واضحًا.

فقبل أسابيع، كشفت إدارة الغذاء والدواء الأمريكية، وهي القسم التابع لوزارة الصحة والخدمات الإنسانية الذي يشرف على أجزاء كبيرة من النظام الصيدلاني والغذائي الأمريكي، عن أداة الذكاء الاصطناعي "إلسا" التي تهدف إلى تسريع الموافقات على الأدوية والأجهزة الطبية بشكل كبير.

ولكن خلف الكواليس، تم استقبال مشروع الذكاء الاصطناعي البارع للوكالة بتجاهل أو بقلق صريح.

قال ستة من المسؤولين الحاليين والسابقين في إدارة الغذاء والدواء الأمريكية الذين تحدثوا شريطة عدم الكشف عن هويتهم لمناقشة العمل الداخلي الحساس إن إلسا يمكن أن يكون مفيدًا في توليد ملاحظات وملخصات الاجتماعات، أو قوالب البريد الإلكتروني والبيانات.

لكنها أيضًا اختلقت دراسات غير موجودة، أو ما يُعرف بـ "هلوسة" الذكاء الاصطناعي، أو تحريف الأبحاث، وفقًا لثلاثة موظفين حاليين في إدارة الغذاء والدواء الأمريكية ووثائق وقال الموظفون إن هذا يجعلها غير موثوق بها في عملهم الأكثر أهمية.

"أي شيء ليس لديك الوقت للتحقق منه مرة أخرى لا يمكن الاعتماد عليه. إنه يهلوس بثقة"، قال أحد الموظفين وهو أمر بعيد كل البعد عما تم التعهد به علنًا.

وقال موظف ثانٍ في إدارة الغذاء والدواء: "من المفترض أن يوفر الذكاء الاصطناعي وقتنا، لكنني أضمن لك أنني أهدر الكثير من الوقت الإضافي فقط بسبب اليقظة المتزايدة التي يجب أن أتحلى بها" للتحقق من الدراسات المزيفة أو المحرفة.

قال اثنان من موظفي إدارة الغذاء والدواء الأمريكية إن إلسا لا يمكنها حاليًا المساعدة في أعمال المراجعة، وهي أعمال التقييم المطولة التي يقوم بها علماء الوكالة لتحديد ما إذا كانت الأدوية والأجهزة آمنة وفعالة. وذلك لأنها لا تستطيع الوصول إلى العديد من المستندات ذات الصلة، مثل الطلبات المقدمة من الصناعة، للإجابة على الأسئلة الأساسية مثل عدد المرات التي قد تكون الشركة قد تقدمت فيها للحصول على موافقة إدارة الغذاء والدواء، أو منتجاتها ذات الصلة في السوق أو غيرها من المعلومات الخاصة بالشركة.

كل هذا يثير تساؤلات خطيرة حول سلامة الأداة التي تفاخر مفوض إدارة الغذاء والدواء الأمريكية الدكتور مارتي ماكاري، بأنها ستغير نظام الموافقة على الأدوية والأجهزة الطبية في الولايات المتحدة، في وقت لا يوجد فيه إشراف فيدرالي تقريبًا لتقييم استخدام الذكاء الاصطناعي في الطب.

قالت إدارة الغذاء والدواء الأمريكية في بيان عن إطلاقها في يونيو: "تستخدم الوكالة بالفعل برنامج إلسا لتسريع مراجعات البروتوكولات السريرية، وتقصير الوقت اللازم للتقييمات العلمية، وتحديد أهداف الفحص ذات الأولوية القصوى".

في مقر إدارة الغذاء والدواء الأمريكية في وايت أوك هذا الأسبوع، قال مكاري إن معظم علماء الوكالة يستخدمون إلسا في الوقت الحالي "لقدراته التنظيمية" مثل العثور على الدراسات وتلخيص الاجتماعات.

واعترف رئيس قسم الذكاء الاصطناعي في إدارة الغذاء والدواء، جيريمي والش، أن إلسا يمكن أن يهلوس بدراسات غير موجودة.

"لا تختلف إلسا عن الكثير من النماذج اللغوية الكبيرة والذكاء الاصطناعي التوليدي قال من المحتمل أن تهلوس."

Loading image...

قال والش أيضًا إن قصور إلسا في الرد على الأسئلة المتعلقة بمعلومات الصناعة يجب أن يتغير قريبًا، حيث تقوم إدارة الغذاء والدواء الأمريكية بتحديث البرنامج في الأسابيع المقبلة للسماح للمستخدمين بتحميل المستندات إلى مكتباتهم الخاصة.

وردًا على سؤال حول الأخطاء التي يرتكبها برنامج إلسا، أشار مكاري إلى أن الموظفين غير مطالبين باستخدام الذكاء الاصطناعي.

وقال: "لم أسمع تلك المخاوف المحددة، لكنها اختيارية". "إنهم ليسوا مضطرين لاستخدام إلسا إذا لم يجدوا أن لها قيمة."

وردًا على سؤال حول كيفية تحقيق مكاسب الكفاءة التي روّج لها علنًا في الوقت الذي قال فيه الموظفون داخل إدارة الغذاء والدواء الأمريكية إن عليهم التحقق من عملها مرة أخرى، قال "عليك أن تحدد ما هي المعلومات الموثوقة التي يمكن أن تتخذ قرارات رئيسية بناءً عليها، وأعتقد أننا نقوم بعمل رائع في ذلك."

اسأل إلسا

بُنيت التكرارات الأولى من إلسا من العمود الفقري لنموذج سابق للذكاء الاصطناعي كانت إدارة الغذاء والدواء قد بدأت العمل عليه خلال إدارة بايدن، وفقًا لمصدرين مطلعين على الأمر.

كان الاسم في البداية اختصارًا لـ Efficient Language System for Analysis وكان من بين عدة مقترحات لأسماء لنظام الذكاء الاصطناعي، مثل "RegulAIItor". وفاز اسم إلسا في نهاية المطاف، على الرغم من أن القيادة قررت في النهاية عدم استخدام الاسم الأطول، أن "إلسا الآن هو مجرد اسم وليس اختصاراً".

عرض والش وفريقه أداة الذكاء الاصطناعي هذا الأسبوع. تحتوي المنصة على واجهة بيضاء بسيطة مع بعض اللمسات البنية. وهي ترحب بالمستخدم بعبارة "كيف يمكنني مساعدتك؟" فوق حقل إدخال يقول "اسأل إلسا أي شيء"، مثلها مثل غيرها من أدوات الذكاء الاصطناعي الشائعة المستخدمة علناً.

وقد قالت إدارة الغذاء والدواء الأمريكية إن إلسا مصممة للسماح للمنظمين بالاستفادة من المستندات الداخلية الآمنة، واختصار المراجعات من خلال تلخيص الآثار الجانبية الخطرة بسرعة وسحب المعلومات حول المنتجات ذات الصلة.

خلال العرض التوضيحي، طُلب من إلسا تلخيص إرشادات إدارة الغذاء والدواء الأمريكية حول مرض الكبد الدهني والأدوية التي تعالجه. وقامت بسحب 10 أوراق من مكتبة إدارة الغذاء والدواء الداخلية التي قالت إنها الأكثر صلة بالموضوع.

عندما تم اعتماده في يونيو، تباهى مكاري بأن طرح إلسا جاء "قبل الموعد المحدد وفي إطار الميزانية" بعد "برنامج تجريبي ناجح للغاية مع المراجعين العلميين في إدارة الغذاء والدواء."

وقال والش إن تلك الجهود قد تكللت بالنجاح في غضون أسابيع.

وقد اختارت قيادة الوكالة موظفين من مختلف مراكزها التي تشرف على الأدوية والأجهزة والأغذية والأدوية الحيوانية لعقد سلسلة من الاجتماعات في مايو.

وهناك، قدموا آراءهم حول ما يحتاجونه من هذه الأداة، والتحديات المحتملة التي رأوها وحتى بعض الخيارات الجمالية، مثل لوحة ألوان إلسا واسمها، وفقًا لأحد موظفي إدارة الغذاء والدواء الذين شاركوا.

وأُطلق على أولئك الذين شاركوا في اجتماعات التغذية الراجعة لقب "أبطال" إلسا وأُرسلوا للتبشير بالمنصة في مختلف أركان الوكالة، مع تقديم نقاط حوار واقتراحات حول كيفية إظهار استخدامها، وفقًا لاثنين من موظفي إدارة الغذاء والدواء الحاليين.

تدريب الوكالة على منصة إلسا تطوعي، وكذلك استخدام المنصة على الإطلاق.

قال مكاري ووالش ان أكثر من نصف موظفي إدارة الغذاء والدواء قد سجلوا وقتًا في منصة إلسا.

لكن أولئك قالوا إن التبني كان ضعيفًا في مناطقهم في الوكالة لا يستخدم الكثير من زملائهم منصة إلسا، أو أنهم يستخدمونها على أساس محدود للغاية.

يقول أولئك الذين استخدموه إنهم لاحظوا مشاكل خطيرة.

على سبيل المثال، لا يمكنه تمثيل الدراسات بشكل موثوق.

قال أحد موظفي إدارة الغذاء والدواء الأمريكية إنه إذا أعطت إلسا ملخصًا من فقرة واحدة لـ 20 صفحة من الأبحاث المرتبطة بعقار جديد معين، فلا توجد طريقة لمعرفة ما إذا كانت تحرف شيئًا ما أو تغفل شيئًا كان سيعتبره المراجع البشري مهمًا.

يعتقد هذا الموظف أنه لا توجد طريقة لـ "إلسا" لمعرفة المعلومات التي يمكن أن تكون أكثر أهمية من دراسة مطولة بالنسبة للخبير.

قال أحد الموظفين إنه عندما يتم إخبار إلسا أنها غير صحيحة أن الدراسة التي تستشهد بها غير موجودة أو أن شخصًا ما يعمل في إدارة الغذاء والدواء بينما هو لا يعمل فإنها عادةً ما تكون "اعتذارية". لكن في حالة واحدة على الأقل تمت عندما طلب هذا الموظف من إلسا إنشاء شيء ما لمشروع ما أصرّت على أن مجال البحث ليس من اختصاص إدارة الغذاء والدواء (كان كذلك).

قام الموظفون باختبار معرفة إلسا من خلال طرح أسئلة عليها مثل كم عدد الأدوية من فئة معينة مصرح للأطفال باستخدامها أو كم عدد الأدوية المعتمدة بعلامة معينة . وفي كلتا الحالتين، أجابوا بإجابات خاطئة.

وقد وصف أحد الموظفين أن إلسا أخطأ في عدّ عدد المنتجات التي تحمل ملصقًا معينًا. وعندما قيل له إنه كان مخطئاً، اعترف الذكاء الاصطناعي بأنه أخطأ.

قال هذا الموظف: "لكنه لا يزال لا يساعدك في الإجابة على السؤال".

ثم تذكر الخوارزمية المستخدمين بأنها مجرد مساعد ذكاء اصطناعي وعليهم التحقق من عملها.

ورداً على سؤال حول الأخطاء، بالإضافة إلى الهلوسات، قال والش: "بعض هذه الردود لا تفاجئني على الإطلاق. لكن المهم هو... كيف نعالج تلك الثغرات في قدرات" إلسا ومستخدميها.

وأضاف أن ذلك يشمل التدريبات والميزات الجديدة مثل مكتبات المستندات الشخصية التي سيتم إطلاقها قريبًا.

وقال والش أيضًا إن الميزة الحالية في إلسا، حيث يمكن للمستخدمين النقر فوق ملخصاتها لمعرفة أجزاء الوثيقة التي استشهدت بها إلسا، يمكن أن تكون بمثابة فحص للتأكد من أنها لم تلفق دراسة ما.

ومع ذلك، ينطبق هذا الآن فقط عند استخدام إلسا لسحب المستندات الداخلية. اعتبارًا من الآن، لا يمكنه الارتباط، على سبيل المثال، بمقالات في مجلة طبية.

وقال والش إن معرفة ما إذا كانت هذه المصادر، في الواقع، هي الأكثر أهمية أمر متروك أيضًا للمستخدم وكيفية طرحه للأسئلة.

كما أكد أنه يمكن التخفيف من مشكلة هلوسات إلسا من خلال طرح أسئلة أكثر دقة.

وأصر على أن إلسا تتحسن أيضاً.

"قال نحن نرى أيضاً أنه كلما تحسّنت نماذج الذكاء الاصطناعي، كلما تحسّنت ردود الفعل".

دفعة الذكاء الاصطناعي، مع القليل من الرقابة

كان الحديث عن دمج الذكاء الاصطناعي في عمل الوكالات الصحية الأمريكية جارياً منذ بعض الوقت قبل أن تبدأ إدارة ترامب الثانية في بذل الجهود، لكن السرعة التي دخلت بها إلسا حيز الاستخدام كانت غير عادية.

وقد حدد بعض الخبراء جهود الحكومة لتطوير خطط الذكاء الاصطناعي بشكل جدي في عام 2018، عندما بدأ البنتاغون في تقييم إمكاناته في مجال الأمن القومي.

قال الدكتور حسن تيتة، جراح الصدر والنقيب السابق في البحرية الأمريكية الذي عمل في المشروع في عام 2020، إن جزءًا من هذا المشروع كان يتعلق بالنظر في استخدامه في الرعاية الصحية أيضًا.

وأضاف أنه كانت هناك أيضًا جهود مبكرة من تلك المجموعة التي يقودها البنتاغون للتحدث مع الحلفاء الدوليين حول معايير ولوائح الذكاء الاصطناعي.

في أوروبا، عملت الدول معًا لوضع ضمانات للذكاء الاصطناعي.

في عام 2024، وافق الاتحاد الأوروبي على قانون الذكاء الاصطناعي ونفذه، وهو قانون "لحماية الحقوق الأساسية والديمقراطية وسيادة القانون" حول استخدام الذكاء الاصطناعي المحفوف بالمخاطر، بما في ذلك في مجال الرعاية الصحية، مع تعزيز نماذج الذكاء الاصطناعي التحويلية.

هذه المعايير والحماية غير موجودة في الولايات المتحدة.

وقد تم حل مجموعة عمل حكومية شُكلت خلال إدارة بايدن للنظر في وضع لوائح بشأن استخدام الذكاء الاصطناعي، بما في ذلك في مجال الرعاية الصحية، العام الماضي: انتهت صلاحية تفويضها ولم يتم تجديدها.

وصلت إلسا في الوقت الذي يتصارع فيه الكونغرس مع كيفية التعامل مع القوانين المتعلقة بتنظيم الذكاء الاصطناعي. وعلى الرغم من أن لجان الكونجرس عقدت جلسات استماع حول مخاطر الذكاء الاصطناعي مثل النماذج المتحيزة وتهديدات الأمن السيبراني، إلا أن الكونغرس لم يقر أي تشريع جوهري لتنظيم الذكاء الاصطناعي.

في يونيو، قدمت مجموعة من أعضاء مجلس النواب من الحزبين تشريعًا يركز في الغالب على الحفاظ على هيمنة الولايات المتحدة في سباق الذكاء الاصطناعي؛ وفي وقت لاحق من ذلك الشهر، قدم عضوان من مجلس الشيوخ مشروع قانون مدرب على منع استخدام الولايات المتحدة للذكاء الاصطناعي "العدائي" من الحكومات الأجنبية، بما في ذلك الصين.

وقد تعثرت جهود أخرى، مثل مشروع قانون يتطلب اختبارًا وإشرافًا تنظيميًا لأنظمة الذكاء الاصطناعي عالية المخاطر (مثل المعايير الأوروبية).

كانت نسخة سابقة من "مشروع قانون"، وهو مشروع قانون الرئيس دونالد ترامب الضريبي والإنفاق الموسع، ستتضمن أول قانون شامل للكونغرس بشأن الذكاء الاصطناعي: وقف لمدة 10 سنوات على تطبيق لوائح الدولة الخاصة بالتكنولوجيا. لكن مجلس الشيوخ ألغى هذا البند.

وقد بشّر ترامب، الذي جعل من تطوير الذكاء الاصطناعي والاستثمارات فيه أولوية قصوى في إدارته الثانية، بمستقبل مشرق لهذه التكنولوجيا. وفي قمة الطاقة في بنسلفانيا الأسبوع الماضي، قال للحضور: "نحن هنا اليوم لأننا نؤمن بأن قدر أمريكا هو أن تهيمن على كل صناعة وأن تكون الأولى في كل تقنية، وهذا يشمل أن تكون القوة العظمى الأولى في العالم في مجال الذكاء الاصطناعي."

من الصعب القول كيف ستبدو هذه القوة العظمى بدون اللوائح الفيدرالية.

قال الدكتور جوناثان تشين، الأستاذ المساعد في الطب في جامعة ستانفورد الذي درس استخدام الذكاء الاصطناعي في الإعدادات السريرية: "يقوم الذكاء الاصطناعي بالكثير من الأشياء، ولكنه ليس سحراً. وقال إنه سيكون من الرائع أن يساعد الخبراء في اكتشاف تزوير البيانات أو تقديم تحليل دقيق لسلامة المرضى، ولكن "هذه المشاكل أكثر دقة" مما يمكن للآلة القيام به، على حد قوله.

قال"إنه حقاً نوع من الغرب المتوحش في الوقت الحالي. فالتكنولوجيا تتحرك بسرعة كبيرة، ومن الصعب حتى فهم ماهيتها بالضبط."