Implementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROS

dc.contributor.advisorMartinez Vasquez, David Alejandro
dc.contributor.advisorAmaya, Sindy Paola
dc.contributor.advisorMateus Rojas, Armando
dc.contributor.authorGonzález Alvarez, David Santiago
dc.contributor.corporatenameUniversidad Santo Tomásspa
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001560096
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000796425
dc.contributor.cvlachttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000680630
dc.contributor.googlescholarhttps://scholar.google.com/citations?user=Gg2sofAAAAAJ&hl=es&oi=ao
dc.contributor.orcidhttps://orcid.org/0000-0002-1714-1593
dc.contributor.orcidhttps://orcid.org/0000-0002-2399-4859
dc.date.accessioned2024-06-24T13:18:47Z
dc.date.available2024-06-24T13:18:47Z
dc.date.issued2024-01-31
dc.descriptionLa implementación de redes de cooperación con vehículos aéreos no tripulados, organizados mediante inteligencia artificial, tiene una aplicabilidad interesante y pertinente en la sociedad, ya que permite la solución de problemas de movilidad y organización en espacios extensos. El presente proyecto genera una investigación teórica y aplicada, organizando una red de cooperación de drones en un escenario a pequeña escala, donde se puede implementar el dron Crazyflie 2.1 y su sistema de posicionamiento Lighthouse, para validar la pertinencia del uso de estos sistemas. Puntualmente se desarrolla un proceso de control por toma de decisiones, de cada partícula o agente que compone un enjambre de drones. El mismo se logra organizado en torno a un líder y los seguidores o compañeros. El algoritmo de aprendizaje aplicado es Q-learning, y se desarrolla todo el marco de ejecución en torno a que cada agente llegue al objetivo y evite chocar con sus compañeros. Se encuentra que el proceso de aprendizaje mediante Q-learning puede darse con una discretización del espacio de estados muy bajo en comparación al respectivo espacio de estados del proceso de aplicación, lo que se traduce en velocidad en el aprendizaje y precisión al actuar en la implementación del enjambre. Además de lo anteriormente expuesto se encuentra que el aprendizaje por fases permite un llenado acertado de la tabla de políticas Q que usa el agente para la toma de decisiones, junto con la correcta definición de todos los posibles estados, 256 para un ambiente sobre dos ejes de posición.spa
dc.description.abstractThe implementation of cooperation networks based on unmanned aereal vehicles, using artificial intelligence, have a social interesting applicability, because it allows to solve problems of mobility and organization on large areas of land. The present project generates a theoretical and applied research by the organize a mini dron cooperation network based on Crazyflie 2.1 and his positional system calls Lighthouse, to validate the use of this systems before practical implementations. Specifically developing a decision control process for all the agents involved on the network. The learning algorithm is Q-learning, used to prevent crashes and organize the swarm. In the learning process is possible to minimize the estates of spaces and maximize it when require the performance of the swarm, it able to do a process of learning fast and a precise performance on implementation. Besides, develop a certain phases of training and test of the algorithm to generate a right Q policy table, that the agents use to take decisions, together with a 250 possible state definition, implemented for a two dimensional environment.spa
dc.description.degreelevelPregradospa
dc.description.degreenameIngeniero Electronicospa
dc.format.mimetypeapplication/pdf
dc.identifier.citationGonzález Álvarez, D. S. (2024). Implementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROS. [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.spa
dc.identifier.instnameinstname:Universidad Santo Tomásspa
dc.identifier.reponamereponame:Repositorio Institucional Universidad Santo Tomásspa
dc.identifier.repourlrepourl:https://repository.usta.edu.cospa
dc.identifier.urihttp://hdl.handle.net/11634/55837
dc.language.isospa
dc.publisherUniversidad Santo Tomásspa
dc.publisher.branchCRAI-USTA Bogotáspa
dc.publisher.facultyFacultad de Ingeniería Electrónicaspa
dc.publisher.programPregrado Ingeniería Electrónicaspa
dc.relation.referencesA. Al-Kaff, D. Martin, F. Garcia, A. de la Escalera y J. M. Armingol, «Survey of computer vision algorithms and applications for unmanned aerial vehicles», Expert Systems with Applications, vol. 92, págs. 447-463, 2018.spa
dc.relation.referencesA. Brandstätter, S. A. Smolka, S. D. Stoller, A. Tiwari y R. Grosu, «Multi-Agent Spatial Predictive Control with Application to Drone Flocking (Extended Version)», arXiv preprint arXiv:2203.16960, 2022.spa
dc.relation.referencesY. Wang, Z. Cheng y M. Xiao, «UAVs’ formation keeping control based on multi–agent system consensus», IEEE Access, vol. 8, págs. 49 000-49 012, 2020.spa
dc.relation.referencesR. Zahıínos Marıín, «Sistema de coordinación y control de múltiples vehıículos aéreos no tripulados en testbed de interiores», 2020.spa
dc.relation.referencesP. Radanliev y D. De Roure, «Review of algorithms for artificial intelligence on low memory devices», IEEE Access, vol. 9, págs. 109 986-109 993, 2021.spa
dc.relation.referencesW. Hoenig, C. Milanes, L. Scaria, T. Phan, M. Bolas y N. Ayanian, «Mixed reality for robotics », en 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2015, págs. 5382-5387.spa
dc.relation.referencesM. Toboso-Martıín y M. A. Grau Ruiz, «Vivir con robots. Reflexiones éticas, jurıídicas, sociales y culturales», 2021.spa
dc.relation.referencesC. Ju y H. I. Son, «Multiple UAV systems for agricultural applications: Control, implementation, and evaluation», Electronics, vol. 7, n.o 9, pág. 162, 2018.spa
dc.relation.referencesD. A. Martínez, E. Mojica-Nava, K. Watson y T. Usländer, «Multiagent Self-Redundancy Identification and Tuned Greedy-Exploration», IEEE Transactions on Cybernetics, vol. 52, n.o 7, págs. 5744-5755, 2022. DOI: 10.1109/TCYB.2020.3035783.spa
dc.relation.referencesD. J. Silva Amador, «Análisis de la utilización de Drones como técnica de fumigación de cultivos de banano en el corregimiento de Orihueca, Zona Bananera, Colombia», 2021.spa
dc.relation.referencesM. G. Balestreri y F. Falck, «De ficción a realidad: drones y seguridad ciudadana en América Latina», Ciencia y poder aéreo, vol. 10, n.o 1, págs. 71-84, 2015.spa
dc.relation.referencesM. Rieckmann, Educación para los Objetivos de Desarrollo Sostenible: objetivos de aprendizaje. UNESCO Publishing, 2017.spa
dc.relation.referencesL. F. C. Chica, B. C. L. Zambrano y D. D. C. Rivadeneira, «Desafıíos, tendencias, retos y oportunidades de la educación en Latinoamérica», Domino de las Ciencias, vol. 9, n.o 3, págs. 231-238, 2023.spa
dc.relation.referencesD. J. Molano Garcıía, «La robótica educativa: una interdisciplina didáctica integradora para la enseñanza»,spa
dc.relation.referencesP. Watkins Christopher J. C. H. Dayan, «Q-learning», Springer, vol. 8, 1992. DOI: 10 . 1007/BF00992698.spa
dc.relation.referencesB. Jang, M. Kim, G. Harerimana y J.W. Kim, «Q-Learning Algorithms: A Comprehensive Classification and Applications», IEEE Access, vol. 7, págs. 133 653-133 667, 2019. DOI: 10.1109/ACCESS.2019.2941229.spa
dc.relation.referencesL. Joseph, Robot operating system (ros) for absolute beginners. Springer, 2018.spa
dc.relation.referencesC. Escribano Garcıía-Machıín, «Leader-Follower Decentraliced Control of a Nanoquadrotor Swarm», 2019.spa
dc.relation.referencesBitcraze, Crazyflie python library, 2006. dirección: https://github.com/bitcraze/ crazyflie-lib-python.spa
dc.relation.referencesA. Taffanel, B. Rousselot, J. Danielsson et al., «Lighthouse Positioning System: Dataset, Accuracy, and Precision for UAV Research», arXiv preprint arXiv:2104.11523, 2021.spa
dc.relation.referencesB. Tanyeri, Z. U. Bayrak y U. U. UÇAR, «The Experimental Study of Attitude Stabilization Control for Programmable Nano Quadcopter», Journal of Aviation, vol. 6, n.o 1, págs. 1-11, 2022.spa
dc.relation.referencesD. Martínez y E. Mojica-Nava, «Distortion based potential game for distributed coverage control», Information Sciences, vol. 600, págs. 209-225, 2022, ISSN: 0020-0255. DOI: https://doi.org/10.1016/j.ins.2022.03.090. dirección: https://www. sciencedirect.com/science/article/pii/S0020025522003176.spa
dc.relation.referencesS. J. Russell, Artificial intelligence a modern approach. Pearson Education, Inc., 2010.spa
dc.relation.referencesM. Rothmann y M. Porrmann, «A Survey of Domain-Specific Architectures for Reinforcement Learning», IEEE Access, vol. 10, págs. 13 753-13 767, 2022. DOI: 10.1109/ACCESS. 2022.3146518.spa
dc.relation.referencesF. Brunner, «Mastering the game of Go with deep neural networks and tree search (Silver et al., 2016)», 2019.spa
dc.relation.referencesA. Gupta, P. P. Roy y V. Dutt, «Evaluation of Instance-Based Learning and Q-Learning Algorithms in Dynamic Environments», IEEE Access, vol. 9, págs. 138 775-138 790, 2021. DOI: 10.1109/ACCESS.2021.3117855.spa
dc.relation.referencesN. Habib, Hands-On Q-Learning with Python: Practical Q-learning with OpenAI Gym, Keras, and TensorFlow. Packt Publishing Ltd, 2019.spa
dc.relation.referencesG. Cardona, C. Bravo, W. Quesada et al., «Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning», en 2019 SoutheastCon, IEEE, 2019, págs. 1-7.spa
dc.relation.referencesÁ. Ramıírez-Linarez, M. Torres-Rivera et al., «Sistema de visión artificial y vuelo autónomo para un cuadricóptero en ros 2», Pädi Boletıín Cientıífico de Ciencias Básicas e Ingenierıías del ICBI, vol. 10, n.o Especial6, págs. 33-41, 2022.spa
dc.relation.referencesA. Martinez y E. Fernndez, Learning ROS for robotics programming. Packt Publishing, 2013.spa
dc.relation.referencesF. Duan,W. Li e Y. Tan, Intelligent Robot: Implementation and Applications. Springer Nature, 2023.spa
dc.relation.referencesK. Richardsson, cf_lib, 2015. dirección: https://github.com/bitcraze/crazyflielib- python.spa
dc.relation.referencesK. Richardsson y K. says: Improved Lighthouse Geometry Estimation. dirección: https:// www.bitcraze.io/2022/01/improved-lighthouse-geometry-estimation/.spa
dc.relation.referencesJ. Hunt, «Sockets in python», en Advanced Guide to Python 3 Programming, Springer, 2023, págs. 557-569.spa
dc.relation.referencesN. D. Gómez Garzón y N. H. Peña Castro, «Generación de Movimientos Coordinados de Enjambre en Múltiples Drones a través de Algoritmos de Aprendizaje Profundo»,spa
dc.rightsCC0 1.0 Universal
dc.rights.accessrightsinfo:eu-repo/semantics/openAccess
dc.rights.coarhttp://purl.org/coar/access_right/c_abf2spa
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttp://creativecommons.org/publicdomain/zero/1.0/
dc.subject.keywordQ-learningspa
dc.subject.keywordReinforcement learningspa
dc.subject.keywordParticle Swarm Optimizationspa
dc.subject.keywordDrone swarmspa
dc.subject.lembIngeniería Electrónicaspa
dc.subject.lembDronesspa
dc.subject.lembRedes-Cooperaciónspa
dc.subject.lembMovilidadspa
dc.subject.proposalQ-learningspa
dc.subject.proposalEnjambre de dronesspa
dc.subject.proposalAprendizaje por refuerzospa
dc.subject.proposalOptimización de enjambre de particulasspa
dc.titleImplementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROSspa
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aa
dc.type.driveinfo:eu-repo/semantics/bachelorThesis
dc.type.localTrabajo de gradospa
dc.type.versioninfo:eu-repo/semantics/acceptedVersion

Archivos

Bloque original

Mostrando 1 - 3 de 3
Cargando...
Miniatura
Nombre:
2024cartadederechosdeautor.pdf
Tamaño:
264.75 KB
Formato:
Adobe Portable Document Format
Descripción:
Cargando...
Miniatura
Nombre:
2024cartadefacultad.pdf
Tamaño:
162.47 KB
Formato:
Adobe Portable Document Format
Descripción:
Cargando...
Miniatura
Nombre:
2024gonzalezsantiagotrabajodegrado.pdf
Tamaño:
6.95 MB
Formato:
Adobe Portable Document Format
Descripción:

Bloque de licencias

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
license.txt
Tamaño:
807 B
Formato:
Item-specific license agreed upon to submission
Descripción: