Desarrollo de un Algoritmo de Navegación Autónoma Basado en Técnicas de Aprendizaje por Refuerzo Usando Información Visual

dc.contributor.advisorCalderón Chávez, Juan Manuel
dc.contributor.authorAponte Vargas, Daniel Felipe
dc.contributor.authorMartínez Méndez, Erika Dayanna
dc.contributor.corporatenameUniversidad Santo Tomásspa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000380938spa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001723305spa
dc.contributor.orcidhttps://orcid.org/0000-0002-4471-3980spa
dc.coverage.campusCRAI-USTA Bogotáspa
dc.date.accessioned2023-02-02T17:22:29Z
dc.date.available2023-02-02T17:22:29Z
dc.date.issued2023-01-31
dc.descriptionEn este proyecto se realiza la implementación de un algoritmo de navegación autónoma basado en información visual, usando aprendizaje profundo por refuerzo (DRL, por sus siglas en inglés Deep Reinforcement Learning). El algoritmo le enseña a un agente a identificar patrones visuales para navegar hacia un objetivo en un entorno cerrado y desconocido. El proceso de aprendizaje se compone de tres etapas: clasificación, imitación y entrenamiento, y un sistema de Replay Memory. Las etapas de aprendizaje brindan al agente diferentes herramientas para categorizar la información y tomar una decisión, transfiriendo el conocimiento adquirido en cada una. Por su parte, el sistema de Replay Memory le proveé información al agente de experiencias pasadas para entender y resolver entornos desconocidos. A su vez, el algoritmo se basa en un modelo de entrenamiento redes Q profundas (DQN, por sus siglas en inglés Deep Q Network), con una recompensa hacia el agente en cada interacción con el entorno. La evaluación del algoritmo se realiza a través de experimentos basados en la interacción con entornos simulados de diferentes tamaños, rutas y caracteracterísticas.spa
dc.description.abstractThis project proposes the implementation of an algorithm autonomous navigation based on visual information using deep reinforcement learning. The algorithm aims to teach an agent to identify visual patterns to navigate to a goal in closed and unknown environments. The learning process is made out of three stages: Classification, Imitation and Training, and a Replay Memory system. The Learning stages provide the agent with different tools to classify the information and make a decision, transferring the knowledge acquired in each one. Meanwhile, the replay memory provides the agent information from past experiences to understand and solve unfamiliar environments. At the same time, the algorithm is based on a Deep Q Network (DQN) model, with a reward to the agent in each interaction with the environment. The evaluation of the algorithm is performed through experiments based on the interaction with simulated environments of different sizes, routes and features.spa
dc.description.degreelevelPregradospa
dc.description.degreenameIngeniero Electronicospa
dc.format.mimetypeapplication/pdfspa
dc.identifier.citationAponte Vargas, D. F., y Martínez Méndez, E. D. (2023). Desarrollo de un Algoritmo de Navegación Autónoma Basado en Técnicas de Aprendizaje por Refuerzo Usando Información Visual. [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.spa
dc.identifier.instnameinstname:Universidad Santo Tomásspa
dc.identifier.reponamereponame:Repositorio Institucional Universidad Santo Tomásspa
dc.identifier.repourlrepourl:https://repository.usta.edu.cospa
dc.identifier.urihttp://hdl.handle.net/11634/49272
dc.language.isospaspa
dc.publisherUniversidad Santo Tomásspa
dc.publisher.facultyFacultad de Ingeniería Electrónicaspa
dc.publisher.programPregrado Ingeniería Electrónicaspa
dc.relation.referencesG. Tesauro, “Temporal difference learning and td-gammon,” Commun. ACM, vol. 38, no. 3, p. 58–68, mar 1995. [Online]. Available: https://doi.org/10.1145/203330.203343spa
dc.relation.referencesK. Arulkumaran, M. Deisenroth, M. Brundage, and A. Bharath, “A brief survey of deep reinforcement learning,” IEEE Signal Processing Magazine, vol. 34, 08 2017.spa
dc.relation.referencesS. J. Russell, P. Norvig, M. C. R. Juan, and J. L. Aguilar. Pearson Educacion, 2011.spa
dc.relation.references“Banco de bogotá y otras organizaciones lideran el proyecto inteligencia artificial colombia: Actualícese,” Aug 2022. [Online]. Available: https://actualicese.com/banco-de-bogota-y-otras-organizaciones-lideran-el-proyecto-inteligencia-artificial-colombia/spa
dc.relation.referencesJ. Zhong, C. Ling, A. Cangelosi, A. Lotfi, and X. Liu, “On the gap between domestic robotic applications and computational intelligence,” Electronics, vol. 10, no. 7, 2021. [Online]. Available: https://www.mdpi.com/2079-9292/10/7/793spa
dc.relation.referencesF. Zeng, C. Wang, and S. Ge, “A survey on visual navigation for artificial agents with deep reinforcement learning,” IEEE Access, vol. PP, 07 2020.spa
dc.relation.referencesG. o. J. METI, “Japan’s new robot strategy,” p. 6, 04 2018.spa
dc.relation.referencesM. D. G. V. A. L. P. E. N. G. C. S. F. N. T. J. CRISTINA URDIALES GARCÍA, JUAN ANTONIO FERNÁNDEZ BERNAT, “https://sd2.ugr.es/wpcontent/uploads/2019/10/losrobotsparaelcuidadodelosmayores.pdf,” p. 13, 2017spa
dc.relation.referencesC.-A. Smarr, T. Mitzner, J. Beer, A. Prakash, T. Chen, C. Kemp, and W. Rogers, “Domestic robots for older adults: Attitudes, preferences, and potential,” International journal of social robotics, vol. 6, pp. 229– 247, 04 2014.spa
dc.relation.referencesDANE’, “Personas mayores en colombia.” [Online]. Available: https://www.dane.gov.co/files/investigaciones/notas-estadisticas/ nov-2021-nota-estadistica-personas-mayores-en-colombia.pdfspa
dc.relation.referencesW. Quesada, “Generación de comportamientos de enjambre en robots móviles a través del uso del aprendizaje por refuerzo.” 03 2019spa
dc.relation.referencesP. Mirowski, R. Pascanu, F. Viola, H. Soyer, A. Ballard, A. Banino, M. Denil, R. Goroshin, L. Sifre, K. Kavukcuoglu, D. Kumaran, and R. Hadsell, “Learning to navigate in complex environments,” 11 2016.spa
dc.relation.referencesV. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, and M. Riedmiller, “Playing atari with deep reinforcement learning,” 12 2013.spa
dc.relation.referencesA. Perez, A. Gomez Garcia, E. Rojas-Martínez, C. Rodríguez-Rojas, J. Lopez-Jimenez, and J. Calderon, “Edge detection algorithm based on fuzzy logic theory for a local vision system of robocup humanoid league,” Tecno Lógicas, vol. 30, pp. 33–50, 06 2013.spa
dc.relation.referencesJ. Calderon, A. Obando, and D. Jaimes, “Road detection algorithm for an autonomous ugv based on monocular vision,” in Proceedings of the Electronics, Robotics and Automotive Mechanics Conference, ser. CERMA ’07. USA: IEEE Computer Society, 2007, p. 253–259.spa
dc.relation.referencesG. Cardona and J. Calderon, “Robot swarm navigation and victim detection using rendezvous consensus in search and rescue operations,” Applied Sciences, vol. 9, p. 1702, 04 2019.spa
dc.relation.referencesJ. Leon Leon, G. Cardona, A. Botello, and J. Calderon, “Robot swarms theory applicable to seek and rescue operation,” 12 2016.spa
dc.relation.referencesG. A. Cardona, C. Bravo, W. Quesada, D. Ruiz, M. Obeng, X. Wu, and J. M. Calderon, “Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning,” in 2019 SoutheastCon, 2019, pp. 1–7.spa
dc.relation.referencesF. S. Caparrini and W. W. Work, “Introducción al aprendizaje automático.” [Online]. Available: http://www.cs.us.es/~fsancho/?e=75spa
dc.relation.referencesR. S. Sutton, F. Bach, and A. G. Barto, 1. MIT Press Ltd, 2018.spa
dc.relation.referencesT. Matiisen, “Demystifying deep reinforcement learning,” Dec 2015. [Online]. Available: https://neuro.cs.ut.ee/ demystifying-deep-reinforcement-learning/spa
dc.relation.referencesM. Vallejo del Moral, 2021. [Online]. Available: https://academica-e.unavarra.es/bitstream/handle/2454/40521/ TFG_Mikel_Vallejo.pdf?sequence=1&isAllowed=yspa
dc.relation.referencesF. Zhuang, Z. Qi, K. Duan, D. Xi, Y. Zhu, H. Zhu, H. Xiong, and Q. He, “A comprehensive survey on transfer learning,” Proceedings of the IEEE, vol. PP, pp. 1–34, 07 2020.spa
dc.relation.referencesJ. Hua, L. Zeng, G. Li, and Z. Ju, “Learning for a robot: Deep reinforcement learning, imitation learning, transfer learning,” Sensors, vol. 21, no. 4, 2021. [Online]. Available: https://www.mdpi.com/ 1424-8220/21/4/1278spa
dc.relation.referencesZ. Lőrincz, “A brief overview of imitation learning,” Sep 2019. [Online]. Available: https://smartlabai.medium.com/ a-brief-overview-of-imitation-learning-8a8a75c44a9cspa
dc.relation.referencesM. Lahtela and P. P. Kaplan, “¿qué es una red neuronal?” 1966. [Online]. Available: https://aws.amazon.com/es/what-is/ neural-network/spa
dc.rightsAtribución-NoComercial-SinDerivadas 2.5 Colombia*
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2spa
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/2.5/co/*
dc.subject.keywordDeep Reinforcement Learningspa
dc.subject.keywordReplay Memoryspa
dc.subject.keywordDeep Q Networksspa
dc.subject.keywordAutonomous Navigationspa
dc.subject.keywordVisual Informationspa
dc.subject.lembRobóticaspa
dc.subject.lembMachine Learningspa
dc.subject.lembIngeniería Electrónicaspa
dc.subject.proposalAprendizaje Profundo por Refuerzospa
dc.subject.proposalRedes Q Profundasspa
dc.subject.proposalReplay Memoryspa
dc.subject.proposalNavegación Autónomaspa
dc.subject.proposalInformación Visualspa
dc.titleDesarrollo de un Algoritmo de Navegación Autónoma Basado en Técnicas de Aprendizaje por Refuerzo Usando Información Visualspa
dc.typebachelor thesis
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.type.driveinfo:eu-repo/semantics/bachelorThesis
dc.type.localTesis de pregradospa
dc.type.versioninfo:eu-repo/semantics/acceptedVersion

Archivos

Bloque original

Mostrando 1 - 3 de 3
Cargando...
Miniatura
Nombre:
2023DanielAponteErikaMartinez.pdf
Tamaño:
15.65 MB
Formato:
Adobe Portable Document Format
Descripción:
Trabajo de Grado
Thumbnail USTA
Nombre:
Carta_aprobacion_Biblioteca APONTE Y MARTINEZ.pdf
Tamaño:
344.25 KB
Formato:
Adobe Portable Document Format
Descripción:
Carta Aprobacion Facultad
Thumbnail USTA
Nombre:
CartaDerechosAutorDanielAponteErikaMartinez.pdf
Tamaño:
1.25 MB
Formato:
Adobe Portable Document Format
Descripción:
Carta Derechos de Autor

Bloque de licencias

Mostrando 1 - 1 de 1
Thumbnail USTA
Nombre:
license.txt
Tamaño:
807 B
Formato:
Item-specific license agreed upon to submission
Descripción: