Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
Cargando...
Fecha
2022-09-22
Enlace al recurso
DOI
ORCID
Google Scholar
Cvlac
gruplac
Descripción Dominio:
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Santo Tomás
Compartir
Documentos PDF
Cargando...
Resumen
El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación.
El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de
la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.
Abstract
This project seeks to make a contribution to the research and improvement of human-machine communication, in order to be able to have a much more fluid and natural conversation in which the machine, in addition to having correct and consistent answers with the topic in conversation. , have movements and gestures according to the state of mind that is identified, that is, that the machine is capable of recognizing if the person is in an exalted, calm or neutral state of mind while they are having a dialogue and with respect to that mood recognition , the movements of their hands, arms, torso and other joints and indicators that the robotic platform has, represent the way in which the conversation is taking place.
The process begins with a state of the art, which allows the understanding and study of various investigations related to the environment of robotics and multimodal communication, in order to have clearer ideas about the developments and the important points to take into account. An analysis of the robotic platforms that can be used is also made in order to define which one is the most suitable with respect to the limitations in software and hardware. We proceed to carry out the development and construction of tools such as: the vision that is responsible for collecting the coordinates of people's postures, voice recognition, which converts audio into text and is sent to text analysis (ChatBot ) where a processing of the obtained phrase and gives a corresponding answer. In order to have a more natural communication with the human, it is necessary for the platform to perform body movements, therefore, with the information collected with vision and text analysis, a selection of the robot's movements is made that matches the type of conversation .
Idioma
spa
Palabras clave
Citación
Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional.
Colecciones
Licencia Creative Commons
Atribución-NoComercial-SinDerivadas 2.5 Colombia