كل المشاريع

رؤية حاسوبية · تصنيف زمني

التعرّف على إيماءات اليد

دراسة في الرؤية الحاسوبية الزمنية تحول تسلسلات معالم اليدين إلى ست تسميات للإيماءات. ودليلها رقمي لا فوتوغرافي: 180 تسلسلًا، وتمثيل إطارات 30×126، وشبكة LSTM من ثلاث طبقات.

  • MediaPipe
  • LSTM
مسار من ست مراحل يبدأ بإطارات الكاميرا ويمر باستخراج المعالم ومخزن التسلسل وصولًا إلى LSTM وتسمية الإيماءة.
الدور
مطور برمجيات أكاديمي وباحث في الذكاء الاصطناعي
السياق
جامعة أسكودار · بحث في الرؤية الحاسوبية
المنصة
دراسة رؤية حاسوبية زمنية
التقنيات
MediaPipe · LSTM

ما هو المشروع

يصنف مشروع التعرّف على إيماءات اليد الحركة عبر الزمن بدلًا من التعامل مع كل إطار كاميرا كصورة مستقلة. يستخرج MediaPipe معالم اليد الرقمية، ويقرأ النموذج نافذة من 30 إطارًا قبل إنتاج واحدة من ست تسميات: one وtwo وthree وfour وfive وok.

تحتوي مجموعة البيانات المحتفظ بها على مصفوفات معالم رقمية فقط، لا على صور تدريب أو فيديو خام.

كيف يعمل

تساهم كل يد مكتشفة بـ21 معلمًا لمحاور x/y/z. وتنتج خانتان ثابتتان، سعة كل منهما 63 قيمة، 126 ميزة لكل إطار، ثم يكوّن 30 إطارًا تسلسلًا واحدًا. تضم مجموعة البيانات 30 تسلسلًا لكل واحدة من ست فئات، أي 180 تسلسلًا إجمالًا.

بنية النموذج هي (30,126) ← LSTM 64 ← LSTM 128 ← LSTM 64 ← Dense 64 ← Dense 32 ← Softmax 6، بإجمالي 203,558 معاملًا قابلًا للتدريب. استخدم التدريب Adam وcategorical cross-entropy على تقسيم 171/9 غير مثبت بالبذرة وغير طبقي.

صنّف الاختبار النهائي المسجّل المكوّن من تسعة تسلسلات جميع التسلسلات التسعة تصنيفًا صحيحًا. ولأن الاختبار اقتصر على تسعة تسلسلات وتقسيم غير طبقي، فلا تثبت هذه النتيجة دقة عامة للنموذج.

الدرس الأهم

كان القرار الحاسم هو اختيار التمثيل؛ فالإيماءة تسلسل من المعالم المتغيرة وليست إطارًا ثابتًا واحدًا.

اختر طريقة العرض

مرحبًا بك في معرض أعمالي

مشاريعي ودراسات الحالة ومسيرتي المهنية، من هندسة المنتجات إلى البحث التطبيقي.

اللغة
المظهر