Implementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROS
| dc.contributor.advisor | Martinez Vasquez, David Alejandro | |
| dc.contributor.advisor | Amaya, Sindy Paola | |
| dc.contributor.advisor | Mateus Rojas, Armando | |
| dc.contributor.author | González Alvarez, David Santiago | |
| dc.contributor.corporatename | Universidad Santo Tomás | spa |
| dc.contributor.cvlac | https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001560096 | |
| dc.contributor.cvlac | https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000796425 | |
| dc.contributor.cvlac | https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000680630 | |
| dc.contributor.googlescholar | https://scholar.google.com/citations?user=Gg2sofAAAAAJ&hl=es&oi=ao | |
| dc.contributor.orcid | https://orcid.org/0000-0002-1714-1593 | |
| dc.contributor.orcid | https://orcid.org/0000-0002-2399-4859 | |
| dc.date.accessioned | 2024-06-24T13:18:47Z | |
| dc.date.available | 2024-06-24T13:18:47Z | |
| dc.date.issued | 2024-01-31 | |
| dc.description | La implementación de redes de cooperación con vehículos aéreos no tripulados, organizados mediante inteligencia artificial, tiene una aplicabilidad interesante y pertinente en la sociedad, ya que permite la solución de problemas de movilidad y organización en espacios extensos. El presente proyecto genera una investigación teórica y aplicada, organizando una red de cooperación de drones en un escenario a pequeña escala, donde se puede implementar el dron Crazyflie 2.1 y su sistema de posicionamiento Lighthouse, para validar la pertinencia del uso de estos sistemas. Puntualmente se desarrolla un proceso de control por toma de decisiones, de cada partícula o agente que compone un enjambre de drones. El mismo se logra organizado en torno a un líder y los seguidores o compañeros. El algoritmo de aprendizaje aplicado es Q-learning, y se desarrolla todo el marco de ejecución en torno a que cada agente llegue al objetivo y evite chocar con sus compañeros. Se encuentra que el proceso de aprendizaje mediante Q-learning puede darse con una discretización del espacio de estados muy bajo en comparación al respectivo espacio de estados del proceso de aplicación, lo que se traduce en velocidad en el aprendizaje y precisión al actuar en la implementación del enjambre. Además de lo anteriormente expuesto se encuentra que el aprendizaje por fases permite un llenado acertado de la tabla de políticas Q que usa el agente para la toma de decisiones, junto con la correcta definición de todos los posibles estados, 256 para un ambiente sobre dos ejes de posición. | spa |
| dc.description.abstract | The implementation of cooperation networks based on unmanned aereal vehicles, using artificial intelligence, have a social interesting applicability, because it allows to solve problems of mobility and organization on large areas of land. The present project generates a theoretical and applied research by the organize a mini dron cooperation network based on Crazyflie 2.1 and his positional system calls Lighthouse, to validate the use of this systems before practical implementations. Specifically developing a decision control process for all the agents involved on the network. The learning algorithm is Q-learning, used to prevent crashes and organize the swarm. In the learning process is possible to minimize the estates of spaces and maximize it when require the performance of the swarm, it able to do a process of learning fast and a precise performance on implementation. Besides, develop a certain phases of training and test of the algorithm to generate a right Q policy table, that the agents use to take decisions, together with a 250 possible state definition, implemented for a two dimensional environment. | spa |
| dc.description.degreelevel | Pregrado | spa |
| dc.description.degreename | Ingeniero Electronico | spa |
| dc.format.mimetype | application/pdf | |
| dc.identifier.citation | González Álvarez, D. S. (2024). Implementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROS. [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional. | spa |
| dc.identifier.instname | instname:Universidad Santo Tomás | spa |
| dc.identifier.reponame | reponame:Repositorio Institucional Universidad Santo Tomás | spa |
| dc.identifier.repourl | repourl:https://repository.usta.edu.co | spa |
| dc.identifier.uri | http://hdl.handle.net/11634/55837 | |
| dc.language.iso | spa | |
| dc.publisher | Universidad Santo Tomás | spa |
| dc.publisher.branch | CRAI-USTA Bogotá | spa |
| dc.publisher.faculty | Facultad de Ingeniería Electrónica | spa |
| dc.publisher.program | Pregrado Ingeniería Electrónica | spa |
| dc.relation.references | A. Al-Kaff, D. Martin, F. Garcia, A. de la Escalera y J. M. Armingol, «Survey of computer vision algorithms and applications for unmanned aerial vehicles», Expert Systems with Applications, vol. 92, págs. 447-463, 2018. | spa |
| dc.relation.references | A. Brandstätter, S. A. Smolka, S. D. Stoller, A. Tiwari y R. Grosu, «Multi-Agent Spatial Predictive Control with Application to Drone Flocking (Extended Version)», arXiv preprint arXiv:2203.16960, 2022. | spa |
| dc.relation.references | Y. Wang, Z. Cheng y M. Xiao, «UAVs’ formation keeping control based on multi–agent system consensus», IEEE Access, vol. 8, págs. 49 000-49 012, 2020. | spa |
| dc.relation.references | R. Zahıínos Marıín, «Sistema de coordinación y control de múltiples vehıículos aéreos no tripulados en testbed de interiores», 2020. | spa |
| dc.relation.references | P. Radanliev y D. De Roure, «Review of algorithms for artificial intelligence on low memory devices», IEEE Access, vol. 9, págs. 109 986-109 993, 2021. | spa |
| dc.relation.references | W. Hoenig, C. Milanes, L. Scaria, T. Phan, M. Bolas y N. Ayanian, «Mixed reality for robotics », en 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2015, págs. 5382-5387. | spa |
| dc.relation.references | M. Toboso-Martıín y M. A. Grau Ruiz, «Vivir con robots. Reflexiones éticas, jurıídicas, sociales y culturales», 2021. | spa |
| dc.relation.references | C. Ju y H. I. Son, «Multiple UAV systems for agricultural applications: Control, implementation, and evaluation», Electronics, vol. 7, n.o 9, pág. 162, 2018. | spa |
| dc.relation.references | D. A. Martínez, E. Mojica-Nava, K. Watson y T. Usländer, «Multiagent Self-Redundancy Identification and Tuned Greedy-Exploration», IEEE Transactions on Cybernetics, vol. 52, n.o 7, págs. 5744-5755, 2022. DOI: 10.1109/TCYB.2020.3035783. | spa |
| dc.relation.references | D. J. Silva Amador, «Análisis de la utilización de Drones como técnica de fumigación de cultivos de banano en el corregimiento de Orihueca, Zona Bananera, Colombia», 2021. | spa |
| dc.relation.references | M. G. Balestreri y F. Falck, «De ficción a realidad: drones y seguridad ciudadana en América Latina», Ciencia y poder aéreo, vol. 10, n.o 1, págs. 71-84, 2015. | spa |
| dc.relation.references | M. Rieckmann, Educación para los Objetivos de Desarrollo Sostenible: objetivos de aprendizaje. UNESCO Publishing, 2017. | spa |
| dc.relation.references | L. F. C. Chica, B. C. L. Zambrano y D. D. C. Rivadeneira, «Desafıíos, tendencias, retos y oportunidades de la educación en Latinoamérica», Domino de las Ciencias, vol. 9, n.o 3, págs. 231-238, 2023. | spa |
| dc.relation.references | D. J. Molano Garcıía, «La robótica educativa: una interdisciplina didáctica integradora para la enseñanza», | spa |
| dc.relation.references | P. Watkins Christopher J. C. H. Dayan, «Q-learning», Springer, vol. 8, 1992. DOI: 10 . 1007/BF00992698. | spa |
| dc.relation.references | B. Jang, M. Kim, G. Harerimana y J.W. Kim, «Q-Learning Algorithms: A Comprehensive Classification and Applications», IEEE Access, vol. 7, págs. 133 653-133 667, 2019. DOI: 10.1109/ACCESS.2019.2941229. | spa |
| dc.relation.references | L. Joseph, Robot operating system (ros) for absolute beginners. Springer, 2018. | spa |
| dc.relation.references | C. Escribano Garcıía-Machıín, «Leader-Follower Decentraliced Control of a Nanoquadrotor Swarm», 2019. | spa |
| dc.relation.references | Bitcraze, Crazyflie python library, 2006. dirección: https://github.com/bitcraze/ crazyflie-lib-python. | spa |
| dc.relation.references | A. Taffanel, B. Rousselot, J. Danielsson et al., «Lighthouse Positioning System: Dataset, Accuracy, and Precision for UAV Research», arXiv preprint arXiv:2104.11523, 2021. | spa |
| dc.relation.references | B. Tanyeri, Z. U. Bayrak y U. U. UÇAR, «The Experimental Study of Attitude Stabilization Control for Programmable Nano Quadcopter», Journal of Aviation, vol. 6, n.o 1, págs. 1-11, 2022. | spa |
| dc.relation.references | D. Martínez y E. Mojica-Nava, «Distortion based potential game for distributed coverage control», Information Sciences, vol. 600, págs. 209-225, 2022, ISSN: 0020-0255. DOI: https://doi.org/10.1016/j.ins.2022.03.090. dirección: https://www. sciencedirect.com/science/article/pii/S0020025522003176. | spa |
| dc.relation.references | S. J. Russell, Artificial intelligence a modern approach. Pearson Education, Inc., 2010. | spa |
| dc.relation.references | M. Rothmann y M. Porrmann, «A Survey of Domain-Specific Architectures for Reinforcement Learning», IEEE Access, vol. 10, págs. 13 753-13 767, 2022. DOI: 10.1109/ACCESS. 2022.3146518. | spa |
| dc.relation.references | F. Brunner, «Mastering the game of Go with deep neural networks and tree search (Silver et al., 2016)», 2019. | spa |
| dc.relation.references | A. Gupta, P. P. Roy y V. Dutt, «Evaluation of Instance-Based Learning and Q-Learning Algorithms in Dynamic Environments», IEEE Access, vol. 9, págs. 138 775-138 790, 2021. DOI: 10.1109/ACCESS.2021.3117855. | spa |
| dc.relation.references | N. Habib, Hands-On Q-Learning with Python: Practical Q-learning with OpenAI Gym, Keras, and TensorFlow. Packt Publishing Ltd, 2019. | spa |
| dc.relation.references | G. Cardona, C. Bravo, W. Quesada et al., «Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning», en 2019 SoutheastCon, IEEE, 2019, págs. 1-7. | spa |
| dc.relation.references | Á. Ramıírez-Linarez, M. Torres-Rivera et al., «Sistema de visión artificial y vuelo autónomo para un cuadricóptero en ros 2», Pädi Boletıín Cientıífico de Ciencias Básicas e Ingenierıías del ICBI, vol. 10, n.o Especial6, págs. 33-41, 2022. | spa |
| dc.relation.references | A. Martinez y E. Fernndez, Learning ROS for robotics programming. Packt Publishing, 2013. | spa |
| dc.relation.references | F. Duan,W. Li e Y. Tan, Intelligent Robot: Implementation and Applications. Springer Nature, 2023. | spa |
| dc.relation.references | K. Richardsson, cf_lib, 2015. dirección: https://github.com/bitcraze/crazyflielib- python. | spa |
| dc.relation.references | K. Richardsson y K. says: Improved Lighthouse Geometry Estimation. dirección: https:// www.bitcraze.io/2022/01/improved-lighthouse-geometry-estimation/. | spa |
| dc.relation.references | J. Hunt, «Sockets in python», en Advanced Guide to Python 3 Programming, Springer, 2023, págs. 557-569. | spa |
| dc.relation.references | N. D. Gómez Garzón y N. H. Peña Castro, «Generación de Movimientos Coordinados de Enjambre en Múltiples Drones a través de Algoritmos de Aprendizaje Profundo», | spa |
| dc.rights | CC0 1.0 Universal | |
| dc.rights.accessrights | info:eu-repo/semantics/openAccess | |
| dc.rights.coar | http://purl.org/coar/access_right/c_abf2 | spa |
| dc.rights.local | Abierto (Texto Completo) | spa |
| dc.rights.uri | http://creativecommons.org/publicdomain/zero/1.0/ | |
| dc.subject.keyword | Q-learning | spa |
| dc.subject.keyword | Reinforcement learning | spa |
| dc.subject.keyword | Particle Swarm Optimization | spa |
| dc.subject.keyword | Drone swarm | spa |
| dc.subject.lemb | Ingeniería Electrónica | spa |
| dc.subject.lemb | Drones | spa |
| dc.subject.lemb | Redes-Cooperación | spa |
| dc.subject.lemb | Movilidad | spa |
| dc.subject.proposal | Q-learning | spa |
| dc.subject.proposal | Enjambre de drones | spa |
| dc.subject.proposal | Aprendizaje por refuerzo | spa |
| dc.subject.proposal | Optimización de enjambre de particulas | spa |
| dc.title | Implementación de un Enjambre de Drones Crazyflie 2.1 Coordinado Mediante Q-learning y ROS | spa |
| dc.type.coar | http://purl.org/coar/resource_type/c_7a1f | |
| dc.type.coarversion | http://purl.org/coar/version/c_ab4af688f83e57aa | |
| dc.type.drive | info:eu-repo/semantics/bachelorThesis | |
| dc.type.local | Trabajo de grado | spa |
| dc.type.version | info:eu-repo/semantics/acceptedVersion |
Archivos
Bloque original
1 - 3 de 3
Cargando...
- Nombre:
- 2024cartadederechosdeautor.pdf
- Tamaño:
- 264.75 KB
- Formato:
- Adobe Portable Document Format
- Descripción:
Cargando...
- Nombre:
- 2024cartadefacultad.pdf
- Tamaño:
- 162.47 KB
- Formato:
- Adobe Portable Document Format
- Descripción:
Cargando...
- Nombre:
- 2024gonzalezsantiagotrabajodegrado.pdf
- Tamaño:
- 6.95 MB
- Formato:
- Adobe Portable Document Format
- Descripción:
Bloque de licencias
1 - 1 de 1
Cargando...
- Nombre:
- license.txt
- Tamaño:
- 807 B
- Formato:
- Item-specific license agreed upon to submission
- Descripción:

