Sistema de reconocimiento automático de la lengua de señas colombiana mediante inteligencia artificial

Abstract

El presente trabajo de grado se enfocó en el desarrollo de un sistema para la detección y reconocimiento de la Lengua de señas colombiana(LSC) utilizando técnicas de visión por computador e inteligencia artificial. y surge de la dificultad que se presenta en la comunicación con personas que presentan discapacidades auditivas y del lenguaje. Lo que llevó al desarrollo de un sistema automático capaz de reconocer señas y gestos correspondientes al temario ¨Sentimientos y características¨ de la lengua de señas colombiana LSC, Para la implementación y ajustes del sistema se emplearon diferentes herramientas como la inteligencia artificial con sus redes neuronales y la visión artificial. Utilizamos herramientas como Media Pipe, Numpy, clasificación de múltiples etiquetas, Memoria a corto y largo plazo (LSTM), y diferentes modelos de predicción de datos Regresión Logística, clasificación de cresta, clasificación de bosques aleatorio y aumento de gradiente para la clasificación. Durante la validación del funcionamiento se emplearon métricas de precisión para validar cuatro modelos predictivos en las señas (estáticas) y para las (dinámicas) se utilizó modelos predictivos LSTM para el reconocimiento de las secuencias de datos, estos modelos fueron entrenados y validados utilizando diversas métricas de precisión , entre las cuales se incluye la matriz de confusión, el F1 score, y el recall, los resultados obtenidos en la predicción de datos fueron altamente satisfactorios , demostrando fiabilidad del sistema para predecir los datos almacenados. Se cumplió con 38 señas de las 64 que contiene el temario mencionado en los objetivos planteados, y en conclusión el trabajo de grado logró desarrollar un sistema de detección y reconocimiento de la Lengua se señas Colombiana utilizando técnicas de visión por computadora e inteligencia artificial. Se demostró que el sistema es capaz de reconocer de manera acertada una buena cantidad de señas del temario. Estos resultados abren puertas a futura investigaciones y aplicaciones en ámbito de la comunicación inclusiva y el apoyo a las personas con discapacidad auditiva y/o de habla.