Aplicación móvil para la comunicación entre oyentes y personas con discapacidad auditiva mediante reconocimiento de frases en LSEC con redes neuronales convolucionales

Jhensy Alexander Ramírez Cabezas; Alexi Marcelo Jiménez Bedón; Johnny Xavier Bajaña Zajía; Wilmer Clemente Cunuhay Cuchipe

doi:10.61286/e-rms.v3i.307

Autores/as

Jhensy Alexander Ramírez Cabezas Universidad Técnica de Cotopaxi, La Maná, Ecuador. https://orcid.org/0009-0009-9516-2590
Alexi Marcelo Jiménez Bedón Universidad Técnica de Cotopaxi, La Maná, Ecuador. https://orcid.org/0009-0008-4160-1263
Johnny Xavier Bajaña Zajía Universidad Técnica de Cotopaxi, La Maná, Ecuador. https://orcid.org/0000-0003-2983-2508
Wilmer Clemente Cunuhay Cuchipe Universidad Técnica de Cotopaxi, La Maná, Ecuador. https://orcid.org/0000-0002-3927-5146

DOI:

https://doi.org/10.61286/e-rms.v3i.307

Palabras clave:

accesibilidad digital, discapacidad auditiva, inteligencia artificial, lengua de señas ecuatoriana, redes neuronales convolucionales

Resumen

La comunicación constituye un derecho humano fundamental y factor determinante para la inclusión social. En Ecuador, las personas con discapacidad auditiva enfrentan barreras estructurales, lingüísticas y tecnológicas que limitan su interacción plena en ámbitos educativos, laborales y de salud. La Lengua de Señas Ecuatoriana (LSEC), reconocida oficialmente, carece de soluciones tecnológicas robustas que favorezcan su traducción en tiempo real. Este estudio presenta el desarrollo de una aplicación móvil inclusiva para la comunicación bidireccional de 15 frases en LSEC, utilizando redes neuronales convolucionales (CNN) optimizadas con TensorFlow Lite para garantizar su funcionamiento en dispositivos móviles de bajo costo. Se construyó un dataset propio con registros visuales, elaborado con participación de la comunidad sorda, lo cual asegura pertinencia cultural y lingüística. La metodología aplicada combinó un enfoque mixto: validación técnica del modelo mediante métricas de precisión, F1-score y latencia, junto con la evaluación de usabilidad y aceptación social en pruebas de campo con 354 participantes seleccionados estadísticamente. Los resultados evidenciaron una precisión superior al 90%, un tiempo de respuesta promedio de 0,8 segundos por frase y una amplia aceptación social, confirmando que la aplicación mitiga la asimetría comunicacional y fortalece la autonomía de la comunidad no oyente, destacando su utilidad en entornos educativos y de atención médica. Este aporte pionero en accesibilidad digital en Ecuador y América Latina, al ofrecer una solución replicable y escalable para lenguas de señas subrepresentadas. Además, se articula con los Objetivos de Desarrollo Sostenible 4, 9 y 10, fortaleciendo su relevancia científica, tecnológica y social.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

Acevedo Sierra, L. (2019). Comunicación humana: teoría, procesos y contextos. Revista de Comunicación Social, 34(2), 45–59. https://doi.org/10.5294/rcs.2019.34.2.3

Bolaños-Fernández, J. P., Jiménez-Bedón, A. M., & Ramírez-Cabezas, J. A. (2024). MonedaIA: Sistema de reconocimiento de moneda colombiana mediante visión por computadora para personas con discapacidad visual [Tesis de ingeniería]. Universidad Politécnica Salesiana.

Camgöz, N. C., Hadfield, S., Koller, O., Ney, H., & Bowden, R. (2018). Neural sign language translation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 7784–7793. https://doi.org/10.1109/CVPR.2018.00812

Camgöz, N. C., Koller, O., Hadfield, S., & Bowden, R. (2020). Multi-channel transformers for multi-articulatory sign language translation. European Conference on Computer Vision (ECCV), 301–319. https://doi.org/10.1007/978-3-030-58523-5_18

CONADIS. (2023). Informe final de Rendición de Cuentas 2023. Consejo Nacional para la Igualdad de Discapacidades. https://www.consejodiscapacidades.gob.ec/wp-content/uploads/2024/05/INFORME-Final-RdC-2023-CONADIS.pdf

Cooper, H., Riegelman, R., & Bohn, M. (2021). Sign language recognition and translation: A survey. ACM Transactions on Accessible Computing, 14(2), 1-35.

Creswell, J. W., & Plano Clark, V. L. (2018). Designing and conducting mixed methods research (3rd ed.). SAGE Publications.

Cruz Aldrete, M. (2008). La lengua de señas mexicana: estructura y uso. Revista de Lingüística Aplicada, 25(2), 77–94. https://doi.org/10.1016/j.lingap.2008.04.002

Discapacidades. (2024). Estadísticas nacionales de discapacidad auditiva en Ecuador. Consejo Nacional para la Igualdad de Discapacidades.

Duarte, M., Sánchez, A., & Cárdenas, F. (2022). Construcción de datasets para el reconocimiento de lengua de señas: desafíos y oportunidades en Latinoamérica. IEEE Access, 10, 112345–112357. https://doi.org/10.1109/ACCESS.2022.3214567

Franco Segovia, Á. M. (2023). La lengua de señas ecuatoriana para la inclusión de los estudiantes con discapacidad auditiva. En Á. M. Franco Segovia (Ed.), La lengua de señas ecuatoriana para la inclusión de los estudiantes con discapacidad auditiva (pp. 457–469). Polo del Conocimiento.

González, R. V., Pacheco, J. G., & García, C. M. (2021). CNN-based mobile application for automated oral disease detection in low-resource settings. Journal of Medical Imaging and Health Informatics, 11(4), 1234-1245.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.

Graves, A. (2013). Generating sequences with recurrent neural networks [Preprint]. arXiv. https://doi.org/10.48550/arXiv.1308.0850

Graves, A., Mohamed, A., & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 6645–6649. https://doi.org/10.1109/ICASSP.2013.6638947

Gutiérrez, A., & Sánchez-Portocarrero, R. V. (2020). Lengua de señas y gestualidad espontánea: una comparación lingüística. Lingüística y Literatura, 41(76), 101–120. https://doi.org/10.17533/udea.lyl.n76a06

Hansen, T., Nielsen, L., & Knudsen, K. A. (2018). Evaluating the usability of sign language recognition systems: A user-centered approach. International Journal of Human-Computer Studies, 112, 1-12.

Huang, J., Zhou, W., Li, H., & Li, W. (2021). Attention-based 3D-CNNs for large-vocabulary sign language recognition. IEEE Transactions on Multimedia, 23, 3876–3888. https://doi.org/10.1109/TMM.2020.3047050

Joze, H. R. V., & Koller, O. (2019). MS-ASL: A large-scale dataset and benchmark for understanding American sign language. British Machine Vision Conference (BMVC), 1–13. https://arxiv.org/abs/1812.01053

Koller, O., Zargaran, S., Ney, H., & Bowden, R. (2020). Deep learning for sign language recognition and translation: An overview. International Journal of Computer Vision, 128(3), 940–959. https://doi.org/10.1007/s11263-019-01197-8

Nuñez, M. A. (2021). Lengua de Señas Ecuatoriana: diagnóstico de su situación y necesidad de una planificación lingüística [Tesis de maestría]. Universidad Católica del Ecuador.

Ortiz-Farfán, N., & Camargo-Mendoza, J. A. (2020). Modelo computacional para reconocimiento de lenguaje de señas en un contexto colombiano. TecnoLógicas, 23(48), 197-232. https://doi.org/10.22430/22565337.1585

Pigou, L., Dieleman, S., Kindermans, P. J., & Schrauwen, B. (2018). Sign language recognition using convolutional neural networks. European Conference on Computer Vision Workshops (ECCVW), 572–578. https://doi.org/10.1007/978-3-319-16178-5_40

Rastgoo, R., Kiani, K., Escalera, S., & Escalante, H. J. (2021). Hand sign language recognition using deep learning: A review. Expert Systems with Applications, 164, Artículo 113794. https://doi.org/10.1016/j.eswa.2020.113794

Rodríguez-Hernández, M., & Pachón-Bello, M. (2011). El reconocimiento legal de la lengua de señas colombiana y su impacto social. Revista Colombiana de Educación, 61(1), 215–232. https://doi.org/10.17227/01203916.61rce215.232

Saeed, M., Ahmed, M., & Khan, S. (2019). Sign language translation using generative adversarial networks and 3D human pose estimation. Neurocomputing, 338, 10-20.

Saldías, J. (2015). Gramática del lenguaje de señas chileno: aportes desde un análisis lingüístico funcional. Revista Signos, 48(88), 102–121. https://doi.org/10.4067/S0718-09342015000200002

Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Advances in Neural Information Processing Systems (NeurIPS), 27, 3104–3112. https://arxiv.org/abs/1409.3215

United Nations. (2006). Convention on the Rights of Persons with Disabilities and Optional Protocol. United Nations. https://www.un.org/disabilities/documents/convention/convoptprot-e.pdf

Vacacela, A., & Zúñiga, M. (2021). Lenguaje humano y procesos de comunicación en contextos educativos inclusivos. Revista Educación y Sociedad, 42(2), 89–105. https://doi.org/10.1590/es.v42i2.2021.09

World Health Organization. (2021). World report on hearing. World Health Organization. https://www.who.int/publications/i/item/world-report-on-hearing

Yin, Y., Wu, J., & Yu, H. (2021). Continuous sign language recognition with hybrid neural architectures. Pattern Recognition, 120, Artículo 108129. https://doi.org/10.1016/j.patcog.2021.108129

Zhao, Y., Feng, Z., & Ji, R. (2019). Real-time sign language recognition on mobile devices using lightweight CNNs. ACM Multimedia Conference (MM’19), 2272–2280. https://doi.org/10.1145/3343031.3351048

Zhou, H., Zhou, W., Li, H., & Li, W. (2020). Spatial-temporal multi-cue network for continuous sign language recognition. AAAI Conference on Artificial Intelligence, 34(7), 13009–13016. https://doi.org/10.1609/aaai.v34i07.7075