تكشف نتائج تقييم المصداقية للنماذج التوليدية المدربة مسبقا عن المخاطر المحتملة

في الآونة الأخيرة ، نشر فريق بحثي مشترك من عدد من الجامعات والمؤسسات البحثية المعروفة تقييما شاملا لمصداقية النماذج اللغوية الكبيرة (LLMs). ركز التقييم على مجموعة نماذج GPT وحلل مصداقيتها بشكل شامل من خلال أبعاد متعددة.

أظهرت الأبحاث وجود بعض الثغرات المتعلقة بالموثوقية التي لم يتم الكشف عنها سابقًا. على سبيل المثال، فإن نموذج GPT عرضة للتضليل مما يؤدي إلى إنتاج مخرجات ضارة وذات تحيز، وقد يكشف أيضًا عن بيانات التدريب ومعلومات الخصوصية في تاريخ المحادثات. ومن المثير للاهتمام، أنه على الرغم من أن GPT-4 عادةً ما يكون أكثر موثوقية من GPT-3.5 في الاختبارات القياسية، إلا أنه يصبح أكثر عرضة للهجمات عند مواجهة تلميحات مصممة بشكل خبيث، وهذا قد يكون نتيجة لالتزام GPT-4 الأكثر صرامة بالتعليمات المضللة.

اختبر التقييم نموذج GPT بشكل شامل من 8 وجهات نظر ، بما في ذلك متانة الخصومة والسمية والتحيز وحماية الخصوصية وما إلى ذلك. أنشأ الباحثون سيناريوهات تقييم متعددة ، باستخدام أوصاف مختلفة للمهام ، ومطالبات النظام ، ومجموعات البيانات لاختبار أداء النموذج.

فيما يتعلق بالصلابة التنافسية، وجدت الأبحاث أن نموذج GPT ضعيف ضد بعض هجمات النص. من حيث السمية والتحيز، يظهر النموذج أداءً مقبولاً بشكل عام، ولكنه يميل إلى إنتاج محتوى متحيز تحت تحفيزات مضللة، وتختلف درجة التحيز حسب الفئات والمواضيع. في مجال حماية الخصوصية، قد يكشف النموذج عن معلومات حساسة من بيانات التدريب، خاصة تحت تحفيزات معينة.

بصفة عامة، تكشف هذه الدراسة عن بعض المخاطر المحتملة المتعلقة بمصداقية نماذج GPT، مما يوفر اتجاهات لتحسينات لاحقة. يأمل فريق البحث أن يساعد هذا الإطار التقييمي في دفع الصناعة للعمل معًا على تطوير نماذج لغوية أكثر أمانًا وموثوقية.