Herramienta para la generación de texto basada en una interfaz cerebro-computador
Cargando...
Fecha
Autores
Director
Enlace al recurso
DOI
Google Scholar
gruplac
Descripción Dominio:
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Santo Tomás
Compartir
Documentos PDF
Descripción
En este trabajo se presenta el desarrollo de una herramienta que permite a las personas comunicarse, haciendo uso únicamente de sus parpadeos voluntarios. Esta herramienta brinda un medio de comunicación principalmente a las personas que tienen alguna discapacidad motora para comunicarse de forma verbal o escrita.
Para resolver el problema de la detección de los parpadeos voluntarios, en el presente trabajo se tomó como referencia el electroencefalograma (EEG), que en este caso fue registrado por el dispositivo Mindwave Mobile 2 de la empresa Neurosky, el cual cuenta con un canal de medición de EEG, que se ubica en la frente de la persona.
Para el procesamiento digital del electroencefalograma (EEG) capturado por el dispositivo mencionado, se implementó una red neuronal artificial recurrente (RNN) del tipo Long-Short Term Memory (LSTM), ya que este tipo de redes son efectivas para el tratamiento de series de tiempo, como por ejemplo las señales electroencefalográficas (EEG).
La red neuronal implementada en este trabajo clasifica la señal EEG en una de cinco clases posibles que son, sin parpadeos, un parpadeo, dos parpadeos, tres parpadeos, o acción diferente. El modelo implementado entregó como resultado en su entrenamiento un porcentaje de exactitud promedio de 92%.
Finalmente, la red neuronal artificial se embebió en una aplicación móvil nativa de Android que se conecta vía bluetooth al dispositivo Mindwave Mobile 2, y que presenta un teclado virtual conformado por las 27 letras del abecedario de la lengua española, más los comandos “borrar”, “espacio”, y “enter”. Cada carácter del teclado puede ser seleccionado por el usuario únicamente mediante una serie determinada de parpadeos voluntarios. Cuando el usuario escribe una palabra y selecciona el comando “enter”, la palabra es presentada de forma audiovisual por la aplicación.
La aplicación móvil fue desarrollada en los lenguajes Java y XML en el entorno integrado de desarrollo (IDE) Android Studio. Para verificar su funcionamiento, se realizó un experimento con ocho personas, que entregó como resultado una efectividad en la selección correcta de letras del 91,26% en promedio. Por otra parte, el modelo de la red neuronal fue diseñado e implementado con el lenguaje Python, mediante el uso de las librerías TensorFlow y Keras (librerías para aprendizaje de máquina), y su entrenamiento se llevó a cabo en el entorno de desarrollo Google Colab.
Abstract
The purpose of the present work is about the development of a tool that allows people to communicate, only through their voluntary blinks. This tool provides a communication link mainly for people with motor disabilities, who cannot communicate through voice or text.
This work takes the electroencephalogram (EEG) as the source of information to solve the problem of detecting the voluntary blinks. In this case, the EEG is recorded by the Mindwave Mobile 2 headset (from Neurosky company), which counts on one EEG channel, located in the frontal lobe of the scalp.
In order to perform the digital processing of the EEG signal, a recurrent neural network (RNN) was implemented, more specifically a Long-Short Term Memory (LSTM), as these types of networks are effective for time series applications, for instance, EEG signals.
The neural network implemented in this work, classifies the EEG signal in one of 5 possible classes, named: No blink, One blink, Two blinks, Three blinks, Other. The results of the trained model were an average accuracy percentage of 92%.
Finally, the neural network was embedded in a native Android mobile application, that connects via Bluetooth to the Mindwave Mobile 2, and shows a virtual keyboard consisting of the 27 letters of the spanish alphabet, plus three characters are the commands “delete”, “space”, and “enter”. Each character can be selected by the user only through a determined number of voluntary blinks executed at certain times. When the user types a word and selects the “enter” command, the word is presented audio visually by the application.
The mobile application was developed in Java and XML languages in the Android Studio IDE (integrated development environment). In order to verify its performance, an experiment with eight people was executed, that achieved an average spelling precision of 91,26%. On the other hand, the neural network model was designed and implemented in Python language using the TensorFlow and Keras libraries (machine learning libraries), and it was trained in the Google Colab software development environment.
Idioma
spa
Palabras clave
Citación
Reyes Fernandez, A. F. (2020). Herramienta para la generación de texto basada en una interfaz cerebro-computador [Tesis de pregrado, Universidad Santo Tomas] Repositorio Institucional - Universidad Santo Tomas
Colecciones
Licencia Creative Commons
Atribución-NoComercial-SinDerivadas 2.5 Colombia