Generación de Movimientos Coordinados de Enjambre en Múltiples Drones a través de Algoritmos de Aprendizaje Profundo

dc.contributor.advisorCalderón Chávez, Juan Manuel
dc.contributor.authorGómez Garzón, Nicolás David
dc.contributor.authorPeña Castro, Néstor Harbey
dc.contributor.corporatenameUniversidad Santo Tomásspa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000380938spa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001693663spa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001837899spa
dc.contributor.orcidhttps://orcid.org/0000-0002-4471-3980spa
dc.coverage.campusCRAI-USTA Bogotáspa
dc.date.accessioned2022-08-30T12:49:55Z
dc.date.available2022-08-30T12:49:55Z
dc.date.issued2022-08-29
dc.descriptionEL presente trabajo de grado plantea un algoritmo de aprendizaje profundo basado en Q learning que permite a un grupo de agentes representar un movimiento de enjambre, específicamente leader follower implementando una repulsión entre agentes y evasión de obstáculos fijos. El modelo de aprendizaje incluye dos métodos para disminuir el riesgo de divergencia del algoritmo, el primero de ellos es la inclusión de una memoria de experiencias para el sistema y por otro lado el uso de una segunda . La convergencia del Algoritmo lograda en menos de 6000 episodios se verificó con ayuda de la librería MATPLOT para posteriormente ser implementando en el ambiente de simulación del software CoppeliaSim. La evaluación del sistema de implementación del modelo se realizó por medio de 6 experimentos, cada uno de ellos representando distintas situaciones de evasión de obstáculos y seguimiento de líder demostrando que el modelo entrenado cumple correctamente con lo esperado.spa
dc.description.abstractThis degree project proposes a deep learning algorithm based on Q learning that allows a group of agents to represent a swarm movement, specifically leader follower, implementing a repulsion between agents and evasion of fixed obstacles. The learning model includes two methods to reduce the risk of algorithm divergence, the first of which is the inclusion of a memory of experiences for the system and on the other hand the use of a second . The convergence of the Algorithm achieved in less than 6000 episodes was verified with the help of the MATPLOT library to later be implemented in the simulation environment of the Coppelia Sim software. The evaluation of the model implementation system was carried out through 6 experiments, each one of them representing different situations of obstacle avoidance and leader follow-up, demonstrating that the trained model correctly complies with what is expected.spa
dc.description.degreelevelPregradospa
dc.description.degreenameIngeniero Electronicospa
dc.format.mimetypeapplication/pdfspa
dc.identifier.citationGómez Garzón, N. D. y Peña Castro, N. H. (2022). Generación de Movimientos Coordinados de Enjambre en Múltiples Drones a través de Algoritmos de Aprendizaje Profundo. [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.spa
dc.identifier.instnameinstname:Universidad Santo Tomásspa
dc.identifier.reponamereponame:Repositorio Institucional Universidad Santo Tomásspa
dc.identifier.repourlrepourl:https://repository.usta.edu.cospa
dc.identifier.urihttp://hdl.handle.net/11634/46788
dc.language.isospaspa
dc.publisherUniversidad Santo Tomásspa
dc.publisher.facultyFacultad de Ingeniería Electrónicaspa
dc.publisher.programPregrado Ingeniería Electrónicaspa
dc.relation.referencesSaith Rodrıguez y col. «Fast path planning algorithm for the robocup small size league». En: Robot Soccer World Cup. Springer. 2014, págs. 407-418.spa
dc.relation.referencesSaith Rodrıguez y col. «STOx’s 2016 Team description paper». En: (2013).spa
dc.relation.referencesSaith Rodrıguez y col. «STOx’s 2015 Extended Team Description Paper». En: Joao Pessoa, Brazil (2014)spa
dc.relation.referencesJose León y col. «Robot swarms theory applicable to seek and rescue operation». En: International Conference on Intelligent Systems Design and Applications. Springer. 2016, págs. 1061-1070spa
dc.relation.referencesJuan D Pabon y col. «Event-Triggered Control for Weight-Unbalanced Directed Robot Networks». En: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2021, págs. 5831-5836.spa
dc.relation.referencesNestor I Ospina y col. «Argrohbots: An affordable and replicable ground homogeneous robot swarm testbed». En: IFAC-PapersOnLine 54.13 (2021), págs. 256-261.spa
dc.relation.referencesEdgar C Camacho, Nestor I Ospina y Juan M Calderón. «COVID-Bot: UV-C Based Autonomous Sanitizing Robotic Platform for COVID-19». En: Ifac-papersonline 54.13 (2021), págs. 317-322.spa
dc.relation.referencesEdgar C Camacho, Jose Guillermo Guarnizo, Juan M Calderon y col. «Design and Construction of a Cost-Oriented Mobile Robot for Domestic Assistance». En: IFAC-PapersOnLine 54.13 (2021), págs. 293-298.spa
dc.relation.referencesLaura J Padilla Reyes y col. «Adaptable Recommendation System for Outfit Selection with Deep Learning Approach». En: IFAC-PapersOnLine 54.13 (2021), págs. 605-610.spa
dc.relation.referencesDaniel A Rincón-Riveros y col. «Automation System Based on NLP for Legal Clinic Assistance». En: IFAC-PapersOnLine 54.13 (2021), págs. 283-288.spa
dc.relation.referencesBharat Rao, Ashwin Goutham Gopi y Romana Maione. «The societal impact of commercial drones». En: Technology in Society 45 (2016), págs. 83-90.spa
dc.relation.referencesU S Robotics. «A Roadmap for US Robotics». En: Robotics (2020), págs. 1-90. URL: http: //www.hichristensen.com/pdf/roadmap-2020.pdf.spa
dc.relation.referencesoshuah K Stolaroff y col. «Energy use and life cycle greenhouse gas emissions of drones for commercial package delivery». En: Nature communications 9.1 (2018), págs. 1-13.spa
dc.relation.referencesFrank Veroustraete. «The rise of the drones in agriculture». En: EC agriculture 2.2 (2015), págs. 325-327.spa
dc.relation.referencesGustavo A. Cardona y Juan M. Calderon. «Robot swarm navigation and victim detection using rendezvous consensus in search and rescue operations». En: Applied Sciences (Switzerland) 9.8 (2019). ISSN: 20763417. DOI: 10.3390/app9081702.spa
dc.relation.referencesEliseo Ferrante y col. «“Look out!”: Socially-Mediated Obstacle Avoidance in Collective Transport». En: (sep. de 2010), págs. 572-573. DOI: 10.1007/978-3-642-15461-4_66.spa
dc.relation.referencesThanh Thi Nguyen, Ngoc Duy Nguyen y Saeid Nahavandi. «Deep reinforcement learning for multiagent systems: A review of challenges, solutions, and applications». En: IEEE transactions on cybernetics (2020).spa
dc.relation.referencesManuele Brambilla y col. «Swarm robotics: A review from the swarm engineering perspective». En: Swarm Intelligence 7.1 (2013), págs. 1-41. ISSN: 19353812. DOI: 10.1007/ s11721-012-0075-2.spa
dc.relation.referencesChristopher JCH Watkins y Peter Dayan. «Q-learning». En: Machine learning 8.3-4 (1992), págs. 279-292.spa
dc.relation.referencesVolodymyr Mnih y col. «Human-level control through deep reinforcement learning». En: nature 518.7540 (2015), págs. 529-533.spa
dc.relation.referencesEdward Lee Thorndike. «Animal intelligence: An experimental study of the associate processes in animals.» En: American Psychologist 53.10 (1998), pág. 1125.spa
dc.relation.referencesLucian Busoniu, Robert Babuska y Bart De Schutter. «A comprehensive survey of multiagent reinforcement learning». En: IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews) 38.2 (2008), págs. 156-172.spa
dc.relation.referencesEric Bonabeau y col. Swarm intelligence: from natural to artificial systems. 1. Oxford university press, 1999spa
dc.relation.referencesFeng WeiXing y col. «Novel algorithms for coordination of underwater swarm robotics». En: 2006 International Conference on Mechatronics and Automation. IEEE. 2006, págs. 654-659.spa
dc.relation.referencesTimothy Stirling y Dario Floreano. «Energy Efficient Swarm Deployment for Search in Unknown Environments.» En: (ene. de 2010), págs. 562-563.spa
dc.relation.referencesWenguo Liu y Alan FT Winfield. «Modeling and optimization of adaptive foraging in swarm robotic systems». En: The International Journal of Robotics Research 29.14 (2010), págs. 1743-1760.spa
dc.relation.referencesEliseo Ferrante y col. «Socially-mediated negotiation for obstacle avoidance in collective transport». En: Distributed autonomous robotic systems. Springer, 2013, págs. 571-583.spa
dc.relation.referencesPatricio Cruz y Rafael Fierro. «Autonomous lift of a cable-suspended load by an unmanned aerial robot». En: 2014 IEEE conference on control applications (CCA). IEEE. 2014, págs. 802-807.spa
dc.relation.referencesGA Cardona, D Tellez-Castro y E Mojica-Nava. «Cooperative transportation of a cablesuspended load by multiple quadrotors». En: IFAC-PapersOnLine 52.20 (2019), págs. 145-150.spa
dc.relation.referencesMiguel F Arevalo-Castiblanco y col. «An adaptive optimal control modification with input uncertainty for unknown heterogeneous agents synchronization». En: 2019 IEEE 58th Conference on Decision and Control (CDC). IEEE. 2019, págs. 8242-8247.spa
dc.relation.referencesGustavo A Cardona y col. «Adaptive Multi-Quadrotor Control for Cooperative Transportation of a Cable-Suspended Load». En: 2021 European Control Conference (ECC). IEEE. 2021, págs. 696-701.spa
dc.relation.referencesGustavo A Cardona y col. «Robust adaptive synchronization of interconnected heterogeneous quadrotors transporting a cable-suspended load». En: 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2021, págs. 31-37.spa
dc.relation.referencesWilson O Quesada y col. «Leader-Follower formation for UAV robot swarm based on fuzzy logic theory». En: International Conference on Artificial Intelligence and Soft Computing. Springer. 2018, págs. 740-751.spa
dc.relation.referencesMaximilian Hüttenrauch, Sosic Adrian, Gerhard Neumann y col. «Deep reinforcement learning for swarm systems». En: Journal of Machine Learning Research 20.54 (2019), págs. 1-31.spa
dc.relation.referencesXudong Zhu, Fan Zhang y Hui Li. «Swarm Deep Reinforcement Learning for Robotic Manipulation». En: Procedia Computer Science 198 (2022), págs. 472-479.spa
dc.relation.referencesSitong Zhang, Yibing Li y Qianhui Dong. «Autonomous navigation of UAV in multiobstacle environments based on a Deep Reinforcement Learning approach». En: Applied Soft Computing 115 (2022), pág. 108194.spa
dc.relation.referencesE U Robotics AISBL. «Robotics 2020 Multi-Annual Roadmap n for Robotics in Europe, Call 1 ICT23–Horizon 2020». En: Initial Release B 15.01 (2014), pág. 2014.spa
dc.relation.referencesHenrik I Christensen y col. «A roadmap for us robotics: from internet to robotics». En: Computing Community Consortium 44 (2009).spa
dc.relation.referencesDavid Baldazo, Juan Parras y Santiago Zazo. «Decentralized Multi-Agent deep reinforcement learning in swarms of drones for flood monitoring». En: 2019 27th European Signal Processing Conference (EUSIPCO). IEEE. 2019, págs. 1-5.spa
dc.relation.referencesAdrian Cervera Andes. «Coordinación y control de robots móviles basado en agentes». Tesis doct. Universitat Politècnica de València, 2011.spa
dc.relation.referencesPedro José Sanz Valero. Introducción a la robótica inteligente. 2006.spa
dc.relation.referencesRebeca Solıs-Ortega. «Enjambres de robots y sus aplicaciones en la exploración y comunicación». En: Memorias de congresos TEC. 2017.spa
dc.relation.referencesLukasz Kaiser y col. «Model-based reinforcement learning for atari». En: arXiv preprint arXiv:1903.00374 (2019).spa
dc.relation.referencesGA Cardona y col. «Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning». En: 2019 SoutheastCon. IEEE. 2019, págs. 1-7spa
dc.relation.referencesPablo San José Barrios. «Comparación de técnicas de aprendizaje por refuerzo jugando a un videojuego de tenis». Tesis doct. ETSI_Informatica, 2019.spa
dc.relation.referencesRichard S Sutton y Andrew G Barto. Reinforcement learning: An introduction. MIT press, 2018.spa
dc.relation.referencesPeter Dayan. «Reinforcement learning». En: Stevens’ Handbook of Experimental Psychology (2002).spa
dc.relation.referencesAlba Centeno Franco. «Deep learning». En: (2019)spa
dc.relation.referencesAnkit Choudhary. «A hands-on introduction to deep Q-learning using OpenAI gym in Python». En: Retrived from https://www. analyticsvidhya. com/blog/2019/04/introduction-deepq-learningpython (2019).spa
dc.relation.referencesRafael Berlanga Llavori. «Apuntes de Simulación Informática (curso 2009-2010)». En: (2010).spa
dc.relation.referencesIsrael Garcıa Garcıa y col. «Estudio sobre vehıculos aéreos no tripulados y sus aplicaciones». En: (2017).spa
dc.relation.referencesNicolás Gómez y col. «Leader-follower Behavior in Multi-agent Systems for Search and Rescue Based on PSO Approach». En: SoutheastCon 2022. IEEE. 2022, págs. 413-420.spa
dc.rightsAtribución-NoComercial-SinDerivadas 2.5 Colombia*
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/2.5/co/*
dc.subject.keywordLeader-followerspa
dc.subject.keyworddeep reinforcement learningspa
dc.subject.keyworddeep learningspa
dc.subject.keywordswarmspa
dc.subject.keywordDeep Q networksspa
dc.subject.keywordPybulletspa
dc.subject.keywordtrajectoryspa
dc.subject.keywordsimulationspa
dc.subject.keywordrepulsionspa
dc.subject.lembIngeniería Electrónicaspa
dc.subject.lembAlgoritmos-Aprendizajespa
dc.subject.lembSoftwarespa
dc.subject.lembMétodos de simulaciónspa
dc.subject.proposalenjambrespa
dc.subject.proposaldronesspa
dc.subject.proposalaprendizaje por refuerzo profundospa
dc.subject.proposalMovimientos Coordinadosspa
dc.subject.proposalRepulsiónspa
dc.subject.proposalSimulaciónspa
dc.subject.proposalPybulletspa
dc.subject.proposaltrayectoriaspa
dc.titleGeneración de Movimientos Coordinados de Enjambre en Múltiples Drones a través de Algoritmos de Aprendizaje Profundospa
dc.typebachelor thesis
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.type.driveinfo:eu-repo/semantics/bachelorThesis
dc.type.localTesis de pregradospa
dc.type.versioninfo:eu-repo/semantics/acceptedVersion

Archivos

Bloque original

Mostrando 1 - 3 de 3
Cargando...
Miniatura
Nombre:
2022NestorPeñaNicolasGomez.pdf
Tamaño:
4.09 MB
Formato:
Adobe Portable Document Format
Descripción:
Trabajo de Grado
Thumbnail USTA
Nombre:
Carta aprobacion facultad.pdf
Tamaño:
326.05 KB
Formato:
Adobe Portable Document Format
Descripción:
carta aprobación facultad
Thumbnail USTA
Nombre:
Carta Derechos de Autor.pdf
Tamaño:
281.37 KB
Formato:
Adobe Portable Document Format
Descripción:
Carta Derechos de autor

Bloque de licencias

Mostrando 1 - 1 de 1
Thumbnail USTA
Nombre:
license.txt
Tamaño:
807 B
Formato:
Item-specific license agreed upon to submission
Descripción: