زبان اشاره فارسی (Persian Sign Language - PSL) به عنوان زبان طبیعی اصلی جامعه ناشنوایان ایران، از ساختار دستوری و واژگانی مستقل برخوردار است. با این حال، فقدان سیستم های خودکار برای تشخیص و ترجمه همزمان این زبان به گفتار و برعکس، یکی از موانع اساسی در ارتباطات میان فرهنگی به شمار می رود. در این مقاله، یک سیستم جامع برای تشخیص و ترجمه همزمان گفتار به زبان اشاره فارسی با استفاده از یادگیری عمیق و بازسازی سه بعدی حرکات دست ارائه می شود. معماری پیشنهادی شامل پنج مؤلفه اصلی است: (۱) ماژول تشخیص گفتار مبتنی بر Whisper برای تبدیل گفتار فارسی به متن، (۲) ماژول ترجمه متن به گلاتس (gloss) زبان اشاره با استفاده از مدل های ترنسفورمر، (۳) ماژول تشخیص حرکات دست از ویدئو با استفاده از MediaPipe Holistic برای استخراج نقاط کلیدی بدن، (۴) ماژول تشخیص زبان اشاره با استفاده از شبکه های گراف کانولوشنی دوگانه (Dual-Stream GCN) و ترنسفورمرهای زمانی، و (۵) ماژول بازسازی سه بعدی حرکات دست و تولید آواتار با استفاده از مدل های مولد عمیق. ارزیابی سیستم بر روی مجموعه داده های PSL شامل ۱۰٬۰۰۰ ویدئوی جمله های اشاره و مجموعه داده MPSL با ۱۰۷٬۶۳۰ تصویر انجام شده است. نتایج تجربی نشان می دهد که سیستم پیشنهادی به دقت ۹۲.۴٪ در تشخیص حرکات ایستا و ۸۷.۶٪ در تشخیص جملات پویا دست یافته است. ماژول بازسازی سه بعدی نیز با نرخ بازسازی ۳۵.۱٪ بهبود نسبت به روش های پیشین، کیفیت بالایی در تولید حرکات طبیعی دست ارائه می دهد. این سیستم گامی مؤثر در جهت کاهش موانع ارتباطی جامعه ناشنوایان ایران و توسعه فناوری های کمکی مبتنی بر هوش مصنوعی محسوب می شود.

زبان اشاره فارسی تشخیص زبان اشاره ترجمه همزمان یادگیری عمیق بازسازی سه بعدی حرکات دست