Navegación de un robot móvil mediante una red pulsante con aprendizaje por refuerzo

Abstract

En este trabajo se implementa una estrategia de aprendizaje por refuerzo (RL, por sus siglas en inglés) para la navegación de un robot móvil en un ambiente estructurado. Este trabajo fue implementado en un hardware integrado por una tarjeta de procesamiento Raspberry Pi y un robot móvil construido con el kit Lego Mindstorms EV3. La estrategia de aprendizaje se conoce como Spike-Timing-Dependent-Plasticity modulado por recompensa (R-STDP) y es aplicada para el entrenamiento de una red neuronal pulsante (SNN por sus siglas en inglés) la cual controla la navegación del robot móvil en el entorno estructurado. La implementación del método fue llevada a cabo en el lenguaje de programación Python con ayuda de la librería VREP. El programa desarrollado se carga y se ejecuta en la Raspberry Pi, la comunicación entre ésta y el Brick EV3 se da a través del entorno de desarrollo integrado Matlab. La validación de la implementación se hizo efectiva utilizando un sistema retroalimentado, compuesto principalmente por Raspberry Pi, el Brick EV3 y los sensores ultrasónicos. El experimento de validación consiste en que el agente (robot móvil) obtiene información del ambiente de desarrollo a través de sus sensores, estos datos son recibidos por la red neuronal pulsante el cual se hace cargo de analizar, procesar y tomar una decisión sobre qué acción ejecutar (derecha, izquierda, adelante) de acuerdo a la experiencia obtenida en el entrenamiento. El criterio que maneja la red para la toma de decisiones es el de desplazarse en dirección hacia donde los sensores no detecten obstáculos o estén más lejanos, obteniendo así una mayor recompensa por sus acciones.