Machine learning y realidad aumentada para el reconocimiento de recursos turísticos

Abstract

Apurímac, a pesar de contar con gran cantidad de recursos turísticos, no ha podido di-fundirlos de manera adecuada, por lo que en esta investigación se pretende aplicar ma-chine learning y realidad aumentada para la detección y geolocalización de recursos tu-rísticos. Construyendo una aplicación móvil que integre todas estas tecnologías y permi-ta mejorar la experiencia del visitante en tiempo real. Para lograr el objetivo, se conside-raron 25 recursos turísticos de la región, 5 para el entrenamiento del modelo machine learning y 20 para la ubicación en tiempo real por geolocalización. En cuanto a machine learning, se entrenó con un dataset construido exclusivamente para esta investigación, mediante YOLOv3 sobre Darknet, a continuación, el modelo entrenado se incluyó en un servidor web con Flask sobre Python, que estará a la espera de imágenes. Además, se implementó una aplicación web para la gestión de recursos turísticos que serán mostra-dos al usuario final. En lo referente a realidad aumentada esta se implementó sobre una aplicación móvil la cual envía imágenes captadas por la cámara del móvil al detector, esta app móvil también permite mostrar puntos de interés cercanos basado en la geoloca-lización y orientación actual; ya sean reconocidos o geolocalizados, la app permite mos-trar la información del recurso turístico mediante realidad aumentada. Como resultados se logró una precisión del modelo en el reconocimiento de imágenes superior al 90%, se logró determinar los puntos de interés turístico cercanos al móvil basándose en su geopo-sicionamiento y orientación, finalmente, se logró definir una arquitectura que intercomu-nique estos tres sistemas que trabajan con tecnologías diferentes.