EXP-02 · aprendizaje por refuerzo
Un agente que cruza un campo minado
Entorno tipo Frozen Lake con bombas, construido con Gymnasium, y un agente DQN que aprende a llegar a la meta desde cualquier casilla sin pisar bombas.
Pregunta
¿Puede un agente DQN aprender un campo minado de 7×7 con túneles, arrancando desde cualquier casilla y sin mapa?
Problema
Diseñar el entorno (estados, acciones, recompensas) y entrenar un agente que llegue a la meta desde 41 inicios posibles, esquivando 5 bombas.
Datos
Entorno propio en Gymnasium: grilla de 7×7 (estados 0 a 48), meta en la casilla 48 (+100), 5 bombas (−100), dos túneles que teletransportan (3 → 28 y 36 → 20) y −1 por paso para premiar el camino corto. El agente arranca en cualquiera de las 41 casillas válidas.
Método
Entorno propio en Gymnasium, línea de base con un jugador al azar, DQN de Stable-Baselines3 entrenado 200.000 pasos y evaluación sobre 1.000 juegos, con visualización de la política aprendida.
Resultado
El agente pasó de 7,1% de éxito (al azar) a 100% en 1.000 juegos, sin pisar bombas, y bajó de 14,7 a 5,4 pasos promedio.
Lo que aprendí
Una recompensa de −1 por paso le enseñó el camino seguro más corto: de 14,7 a 5,4 pasos.
Stack
- Python
- Gymnasium
- Stable-Baselines3
- DQN
- NumPy
- Matplotlib
Contexto
Materia: Sistemas Expertos · 2026