مايكروسوفت: نماذج الذكاء الاصطناعي مازالت تعاني لكشف ثغرات البرامج

يتزايد استخدام نماذج الذكاء الاصطناعي من Anthropic وOpenAI وغيرهما لأداء مهام برمجة معينة بشكل مطرد.

وفي أكتوبر/تشرين الأول الماضي، صرح الرئيس التنفيذي لشركة جوجل، سوندار بيتشاي، بأن 25% من الكود الجديد للشركة سيتم إنشاؤه بواسطة الذكاء الاصطناعي، كما أعرب الرئيس التنفيذي لشركة ميتا، مارك زوكربيرج، عن طموحه لاستخدام نماذج برمجة الذكاء الاصطناعي على نطاق واسع في عملاق وسائل التواصل الاجتماعي.

ومع ذلك، أظهرت دراسة جديدة أجراها قسم البحث والتطوير في إمبراطورية البرمجيات الأمريكية مايكروسوفت أن نماذج الذكاء الاصطناعي، بما في ذلك Cloud 7.3 SunNet من Anthropics وO3-mini IE من OpenAI، لم تتمكن من إصلاح العديد من المشاكل وفقًا لمعيار برمجة يسمى SWE-Bench Lite.

وذكر موقع TechCrunch المتخصص في التكنولوجيا أن نتائج هذه الدراسة بمثابة تذكير صارخ بأنه على الرغم من الضجة التي خلقتها شركات الذكاء الاصطناعي مثل OpenAI حول قدراتها، فإن التكنولوجيا الجديدة لا تزال غير قادرة على استبدال البشر في العديد من المهام، مثل البرمجة.

قام الباحثون وراء الدراسة باختبار تسعة نماذج مختلفة للذكاء الاصطناعي كأساس لـ “وكيل يعتمد على مطالبة واحدة” مع إمكانية الوصول إلى مجموعة من أدوات التصحيح، بما في ذلك مصحح أخطاء Python. تم تكليف هذه النماذج بحل مجموعة مختارة من 300 مهمة تصحيح وفقًا لمعايير SWE-Bench Lite.

وبحسب مؤلفي الدراسة، حتى عند استخدام نماذج الذكاء الاصطناعي الأحدث والأكثر قوة، لم يتمكن وكيل الذكاء الاصطناعي من إكمال أكثر من نصف مهام اكتشاف الثغرات الأمنية ومعالجتها بنجاح. وحقق نموذج Cloud 7.3 Sun Net أعلى نسبة نجاح بلغت 48.4%، يليه نموذج On AI 01 بنسبة نجاح بلغت 30.2% ثم نموذج 03-Mini بنسبة نجاح بلغت 22.1% فقط.