اختبار الشيفرة بالذكاء الاصطناعي

لماذا كانت البيانات هي الجزء الأصعب

لم تكن هناك مجموعة معنونة جاهزة تطابق سؤال التصنيف السباعي. وفرت ملفات المستودعات شيفرة واقعية لكنها كانت تميل بشدة إلى الشيفرة الصحيحة، وقدمت Stack Overflow كتل شيفرة قصيرة مرتبطة بنقاشات، بينما استطاع التوليد الاصطناعي استهداف أنواع العيوب الناقصة لكنه أدخل بنى متكررة. لم يكن بمقدور مصدر واحد أن يحمل المهمة وحده.

لذلك تمثل العمل الهندسي في سلسلة من قرارات البيانات: حفظ أصل كل عينة، ودمج مدخلات مختلفة، وإزالة التكرارات التامة، وربط إشارات التحليل بتصنيف موحد، ومراجعة الكتل المصنفة، وترشيح المواد غير المناسبة، ثم موازنة النتيجة دون الادعاء بأن كل تسمية حقيقة مرجعية من وضع إنسان.

ولا تزال هذه السلسلة قابلة للعد؛ تبدأ بـ7,749 مرشحًا جرى جمعها، وتصل إلى 11,511 بعد دمج مجمعات المصادر المحتفظ بها، ثم تنخفض إلى 7,646 عنصرًا فريدًا، وتنتهي عند 3,502 عينة معنونة تمثل 3,495 زوجًا فريدًا من الشيفرة والتسمية.

العنونة وحدودها

أُسندت التسميات برمجيًا؛ فاشتُقت تسميات كتل المستودعات وStack Overflow من مخرجات pylint وflake8، بينما ورثت العينات المولدة فئة القالب الذي أنشأها. ثم أُجريت مراجعة يدوية للكتل المصنفة.

لا تمثل هذه العملية حقيقة مرجعية عنونها خبراء. كما تعمل فئة Correct Code كحاوية افتراضية عندما لا تثبت الإشارات المربوطة فئة أخرى، ولذلك فهي أوسع وأكثر تنوعًا لغويًا من فئة عيب محددة بدقة. ويساعد هذا القرار في تفسير الالتباس اللاحق مع Syntax Error بدلًا من إخفائه خلف رقم رئيسي واحد.

الميزات والنموذج

تحول TF-IDF النص المنقح إلى 6,457 ميزة، ثم يصنفه XGBoost. ويستخدم التقييم النهائي تقسيمًا 80/20 مع random_state=42: 2,801 عينة للتدريب و701 عينة محفوظة للاختبار.

ويحدد هذا التمثيل البسيط سقف الأداء أيضًا؛ إذ يسقط نمط الرموز الافتراضي في المحول علامات الترقيم والرموز أحادية الحرف، رغم أن محارف مثل النقطتين والأقواس قد تحمل معنى نحويًا حاسمًا في Python.

ما الذي تكشفه أربعة أمثلة جديدة

استخدم فحص نوعي صغير أربعة مقتطفات جديدة كُتبت خصيصًا لهذا الفحص، ولم تُنفذ ولم تؤخذ من مجموعة البيانات. وافق تنبؤ النموذج القراءة المقصودة في اثنين من الأربعة: مثال الأمان والدالة السليمة. أما مثال النقطتين المفقودتين ومثال مخاطر وقت التشغيل فعادا إلى Correct Code.

لا يمثل ذلك مقياس دقة ثانيًا، بل اختبارًا نوعيًا محدودًا للتعميم يوضح لماذا لا يكون تكبير النموذج أول تحسين. الخطوة التالية هي تمثيل أغنى يشمل نجاح التحليل وشكل AST وأنماط أنواع الرموز، يتبعه قياس جودة التسميات وتقسيم واعٍ بالمجموعات يمنع صور القالب الواحد من الظهور في التدريب والاختبار معًا.