دراسة تكشف ثغرة خطيرة في تطبيق ChatGPT

يقول مطورو برنامج ChatGPT، شركة OpenAI، إن الصحة من أكثر استخدامات برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي شيوعًا، ووفقًا لدراسة جديدة، تغفل ميزات الصحة في ChatGPT حالات الطوارئ الخطيرة، ولا تستطيع تحديد متى يحتاج المستخدمون إلى رعاية طبية فورية.

وتُعدّ الأسئلة الصحية من أكثر استخدامات برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي، مثل ChatGPT، وفقًا لشركة OpenAI. 

وقد بلغت شعبيته حدًا دفع الشركة في وقت سابق من هذا العام إلى طرح أداة جديدة - ChatGPT Health – وهي مصممة خصيصًا لمساعدة الناس في تحسين صحتهم، وتقول الشركة إن عشرات الملايين من الأشخاص يستخدمونها بالفعل.

لكن دراسة جديدة تشير إلى أن النظام قد يغفل حالات طوارئ مهمة، ولا يمكن الاعتماد عليه في إخبار شخص ما بأنه بحاجة إلى رعاية طبية عاجلة.

وأصبحت أنظمة التعلم الآلي القائمة على الذكاء الاصطناعي (LLMs) الخيار الأول للمرضى للحصول على المشورة الطبية، ولكن بحلول عام 2026، ستكون هذه الأنظمة أقل أمانًا في الحالات السريرية الحرجة، حيث يفصل التقييم الدقيق بين حالات الطوارئ التي لم يتم تشخيصها والقلق غير المبرر. 

وعندما يستخدم ملايين الأشخاص نظام ذكاء اصطناعي لتحديد ما إذا كانوا بحاجة إلى رعاية طارئة، فإن المخاطر تكون جسيمة للغاية. يجب أن يكون التقييم المستقل إجراءً روتينيًا، وليس اختياريًا.

تفاصيل الدراسة

انبثق هذا العمل من إدراك أن نظام ChatGPT يُستخدم في حالات قد تكون مصيرية، ولكن الأبحاث حول فعاليته الفعلية محدودة نسبيًا، حيث أوضح الباحثون أن الفجوة بين هذين الأمرين هي التي دفعت إلى إجراء هذه الدراسة.

وأراد الباحثون الإجابة على سؤال أساسي ولكنه بالغ الأهمية، فإذا كان شخص ما يُعاني من حالة طبية طارئة حقيقية ويلجأ إلى نظام ChatGPT Health طلبًا للمساعدة، فهل سيُوجهه النظام بوضوح إلى قسم الطوارئ.

ووجد الباحثون أن النظام لم يكن دقيقًا، على الأقل في عدد كافٍ من الحالات، ما دفعهم للتشكيك في موثوقيته، فعلى سبيل المثال، وجد الباحثون أن تنبيهات النظام كانت "معكوسة": فكلما زاد خطر تعرض الشخص لإيذاء نفسه، قلّ احتمال إطلاق التنبيه. ووصفوا هذه النتيجة بأنها مقلقة ومفاجئة للغاية.

في هذه الدراسة، ابتكر الأطباء 60 سيناريو تغطي 21 تخصصًا طبيًا. وتراوحت هذه السيناريوهات بين حالات منخفضة الخطورة نسبيًا، والتي قد تتطلب رعاية منزلية فقط، وحالات طوارئ طبية حقيقية. واستخدم الباحثون 16 عاملًا سياقيًا مختلفًا، مثل العرق والجنس.

وخلص الباحثون إلى أن الأداة تعاملت عمومًا مع حالات الطوارئ الواضحة بشكل صحيح، لكنها لم تُبدِ اهتمامًا كافيًا في أكثر من نصف الحالات التي قرر فيها الأطباء أن الشخص بحاجة إلى رعاية طارئة. وأوضحوا أنه على الرغم من كفاءتها في حالات الطوارئ "النموذجية"، إلا أنها كانت أقل كفاءة في رصد الحالات التي قد يكون فيها الخطر أقل وضوحًا أو إلحاحًا.