التعرّف على إيماءات اليد

ما هو المشروع

يصنف مشروع التعرّف على إيماءات اليد الحركة عبر الزمن بدلاً من التعامل مع كل إطار كاميرا كصورة مستقلة. يستخرج MediaPipe معالم اليد الرقمية، ويقرأ النموذج نافذة من 30 إطاراً قبل إنتاج واحدة من ست تسميات: one وtwo وthree وfour وfive وok.

تحتوي مجموعة البيانات المحتفظ بها على مصفوفات معالم رقمية فقط، لا على صور تدريب أو فيديو خام.

كيف يعمل

تساهم كل يد مكتشفة بـ21 معلماً لمحاور x/y/z. وتشكل خانتان ثابتتان، قيمة كل منهما 63، عدداً قدره 126 ميزة لكل إطار، ثم تكوّن 30 لقطة تسلسلاً واحداً. تضم مجموعة البيانات 30 تسلسلاً لكل واحدة من ست فئات، أي 180 تسلسلاً إجمالاً.

بنية النموذج هي (30,126) ← LSTM 64 ← LSTM 128 ← LSTM 64 ← Dense 64 ← Dense 32 ← Softmax 6، بإجمالي 203,558 معاملاً قابلاً للتدريب. استخدم التدريب Adam وcategorical cross-entropy على تقسيم 171/9 غير مثبت بالبذرة وغير طبقي.

صنّف الاختبار النهائي المسجّل المكوّن من تسعة تسلسلات جميع التسلسلات التسعة تصنيفاً صحيحاً. ويحافظ حجم الاختبار الصغير وطريقة التقسيم على هذا الوصف المقيد عمداً.

دراسة داعمة مركّزة

يوسع المشروع نطاق معرض الأعمال إلى الرؤية الحاسوبية والشبكات العصبية الزمنية مع الحفاظ على الدقة في وصف الحجم والتقييم. وأهم خلاصاته هو اختيار التمثيل؛ فالإيماءة تسلسل من المعالم المتغيرة وليست إطاراً ثابتاً واحداً.