SCOSC حسین ترحمی اردکانی Research Letters on Management in Organizations مجله بین‌المللی کامپیوتر، فناوری اطلاعات و هوش مصنوعی 2 1 (بهار) 2026 06 15 Design and Implementation of a System for Simultaneous Speech Recognition and Translation into Persian Sign Language Using Deep Learning and 3D Reconstruction of Hand Gestures طراحی و پیاده سازی سیستم تشخیص و ترجمه همزمان گفتار به زبان اشاره فارسی با استفاده از یادگیری عمیق و بازسازی سه بعدی حرکات دست 95 114 FA Jamshid Mashhadi PhD in English Language Teaching, Department of Basic Sciences, Shushtar Faculty of Medical Sciences, Shushtar, Iran جمشید مشهدی دکترای آموزش زبان انگلیسی، دپارتمان علوم پایه، دانشکده علوم پزشکی شوشتر، شوشتر، ایران 2026 04 27 Persian Sign Language (PSL), as the main natural language of the Iranian deaf community, has an independent grammatical and lexical structure. However, the lack of automatic systems for simultaneous speech recognition and translation into Persian Sign Language and vice versa is one of the main obstacles in intercultural communication. In this paper, a comprehensive system for simultaneous speech recognition and translation into Persian Sign Language using deep learning and 3D reconstruction of hand gestures is presented. The proposed architecture consists of five main components: (1) a Whisper-based speech recognition module for converting Persian speech to text, (2) a text-to-gloss sign language translation module using transformer models, (3) a hand gesture recognition module from video using MediaPipe Holistic to extract key body points, (4) a sign language recognition module using dual-stream GCN and temporal transformers, and (5) a 3D hand gesture reconstruction and avatar generation module using deep generative models. The system is evaluated on the PSL dataset containing 10,000 videos of sign sentences and the MPSL dataset with 107,630 images. Experimental results show that the proposed system achieves 92.4% accuracy in detecting static gestures and 87.6% in detecting dynamic sentences. The 3D reconstruction module also provides high quality in reproducing natural hand gestures with a reconstruction rate of 35.1% improvement over previous methods. This system is considered an effective step towards reducing communication barriers for the Iranian deaf community and developing assistive technologies based on artificial intelligence. زبان اشاره فارسی (Persian Sign Language - PSL) به عنوان زبان طبیعی اصلی جامعه ناشنوایان ایران، از ساختار دستوری و واژگانی مستقل برخوردار است. با این حال، فقدان سیستم های خودکار برای تشخیص و ترجمه همزمان این زبان به گفتار و برعکس، یکی از موانع اساسی در ارتباطات میان فرهنگی به شمار می رود. در این مقاله، یک سیستم جامع برای تشخیص و ترجمه همزمان گفتار به زبان اشاره فارسی با استفاده از یادگیری عمیق و بازسازی سه بعدی حرکات دست ارائه می شود. معماری پیشنهادی شامل پنج مؤلفه اصلی است: (۱) ماژول تشخیص گفتار مبتنی بر Whisper برای تبدیل گفتار فارسی به متن، (۲) ماژول ترجمه متن به گلاتس (gloss) زبان اشاره با استفاده از مدل های ترنسفورمر، (۳) ماژول تشخیص حرکات دست از ویدئو با استفاده از MediaPipe Holistic برای استخراج نقاط کلیدی بدن، (۴) ماژول تشخیص زبان اشاره با استفاده از شبکه های گراف کانولوشنی دوگانه (Dual-Stream GCN) و ترنسفورمرهای زمانی، و (۵) ماژول بازسازی سه بعدی حرکات دست و تولید آواتار با استفاده از مدل های مولد عمیق. ارزیابی سیستم بر روی مجموعه داده های PSL شامل ۱۰٬۰۰۰ ویدئوی جمله های اشاره و مجموعه داده MPSL با ۱۰۷٬۶۳۰ تصویر انجام شده است. نتایج تجربی نشان می دهد که سیستم پیشنهادی به دقت ۹۲.۴٪ در تشخیص حرکات ایستا و ۸۷.۶٪ در تشخیص جملات پویا دست یافته است. ماژول بازسازی سه بعدی نیز با نرخ بازسازی ۳۵.۱٪ بهبود نسبت به روش های پیشین، کیفیت بالایی در تولید حرکات طبیعی دست ارائه می دهد. این سیستم گامی مؤثر در جهت کاهش موانع ارتباطی جامعه ناشنوایان ایران و توسعه فناوری های کمکی مبتنی بر هوش مصنوعی محسوب می شود. https://ijcitai.ir/downloadfilepdf/208232