Metodología de programación dinámica aproximada para control óptimo basada en datos

Henry Díaz; Leopoldo Armesto; Antonio Sala

doi:10.4995/riai.2019.10379

Autores/as

Henry Díaz Universitat Politècnica de València https://orcid.org/0000-0003-4580-972X
Leopoldo Armesto Universitat Politècnica de València https://orcid.org/0000-0003-0979-4428
Antonio Sala Universitat Politècnica de València https://orcid.org/0000-0002-5691-8772

DOI:

https://doi.org/10.4995/riai.2019.10379

Palabras clave:

Control inteligente, Programación Dinámica Aproximada, Aprendizaje Neuronal, Control Óptimo

Resumen

En este artículo se presenta una metodología para el aprendizaje de controladores óptimos basados en datos, en el contexto de la programación dinámica aproximada. Existen soluciones previas en programación dinámica que utilizan programación lineal en espacios de estado discretos, pero que no se pueden aplicar directamente a espacios continuos. El objetivo de la metodología es calcular controladores óptimos para espacios de estados continuos, basados en datos, obtenidos mediante una estimación inferior del coste acumulado a través de aproximadores funcionales con parametrización lineal. Esto se resuelve de forma no iterativa con programación lineal, pero requiere proporcionar las condiciones adecuadas de regularización de regresores e introducir un coste de abandono de la región con datos válidos, con el fin de obtener resultados satisfactorios (evitando soluciones no acotadas o mal condicionadas).

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Henry Díaz, Universitat Politècnica de València

Instituto U. de Automática e Informática Industrial

Leopoldo Armesto, Universitat Politècnica de València

Instituto de Diseño y Fabricación

Antonio Sala, Universitat Politècnica de València

Instituto U. de Automática e Informática Industrial

Citas

Albertos, P., Sala, A., 2006. Multivariable control systems: an engineering approach.Springer.

Allgower, F., Zheng, A., 2012. Nonlinear model predictive control. Vol. 26.Birkhauser.

Antos, A., Szepesvári, C., Munos, R., 2008. Learning near-optimal policies with bellman-residual minimization based fitted policy iteration and a single sample path. Machine Learning 71 (1), 89-129. https://doi.org/10.1007/s10994-007-5038-2

Ariño, C., Pérez, E., Querol, A., Sala, A., 2014. Model predictive control for discrete fuzzy systems via iterative quadratic programming. In: Fuzzy Systems (FUZZ-IEEE), 2014 IEEE International Conference on. IEEE, pp. 2288- 293. https://doi.org/10.1109/FUZZ-IEEE.2014.6891633

Ariño, C., Pérez, E., Sala, A., 2010. Guaranteed cost control analysis and iterative design for constrained takagi-sugeno systems. Engineering Applications of Artiï¬cial Intelligence 23 (8), 1420-1427. https://doi.org/10.1016/j.engappai.2010.03.004

Armesto, L., Girbés, V., Sala, A., Zima, M.,Smidl, V., 2015. Duality-based non- linear quadratic control: Application to mobile robot trajectory-following. IEEE Transactions on Control Systems Technology 23 (4), 1494-1504. https://doi.org/10.1109/TCST.2014.2377631

Busoniu, L., Babuska, R., De Schutter, B., Ernst, D., 2010. Reinforcement learning and dynamic programming using function approximators. Vol. 39. CRCpress.

Camacho, E. F., Bordons, C., 2010. Control predictivo: Pasado, presente y futuro.Revista Iberoamericana de Automática e Informática Industrial 1 (3),5-28.

Condon, A., 1992. The complexity of stochastic games. Information and Computation 96 (2), 203 - 224. https://doi.org/10.1016/0890-5401(92)90048-K

Díaz, H., Armesto, L., Sala, A., 2018. Fitted q-function control methodology based on takagi-sugeno systems. IEEE Transactions on Control Systems Technology, 1-12. https://doi.org/10.1109/TCST.2018.2885689

De Farias, D. P., Van Roy, B., 2003. The linear programming approach to approximate dynamic programming. Operations research 51 (6), 850-865. https://doi.org/10.1287/opre.51.6.850.24925

Deisenroth, M. P., Neumann, G., Peters, J., et al., 2013. A survey on policy search for robotics. Foundations and Trends in Robotics 2 (1-2), 1-142. https://doi.org/10.1561/2300000021

Denardo, E. V., 1970. On linear programming in a markov decision problem. Management Science 16 (5), 281-288. https://doi.org/10.1287/mnsc.16.5.281

Duarte-Mermoud, M., Milla, F., 2018. Estabilizador de sistemas de potencia usando control predictivo basado en modelo. Revista Iberoamericana de Automática e Informática industrial 0 (0). https://doi.org/10.4995/riai.2018.10056

Fairbank, M., Alonso, E., June 2012. The divergence of reinforcement learning algorithms with value-iteration and function approximation. In: The 2012 International Joint Conference on Neural Networks (IJCNN). pp. 1-8. https://doi.org/10.1109/IJCNN.2012.6252792

Gil, R. V., Páez, D. G., 2007. Identiï¬cación de sistemas dinámicos utilizando redes neuronales rbf. Revista iberoamericana de automática e informática industrial RIAI 4 (2), 32-42. https://doi.org/10.1016/S1697-7912(07)70207-8

Grondman, I., Busoniu, L., Lopes, G. A., Babuska, R., 2012. A survey of actorcritic reinforcement learning: Standard and natural policy gradients. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews) 42 (6), 1291-1307. https://doi.org/10.1109/TSMCC.2012.2218595

Hornik, K., Stinchcombe, M., White, H., 1989. Multilayer feedforward networks are universal approximators. Neural Networks 2 (5), 359 - 366. https://doi.org/10.1016/0893-6080(89)90020-8

Kretchmar, R. M., Anderson, C. W., 1997. Comparison of CMACs and radial basis functions for local function approximators in reinforcement learning. In: Neural Networks, 1997., International Conference on. Vol. 2. IEEE, pp. 834-837.

Latombe, J.-C., 2012. Robot motion planning. Vol. 124. Springer

Lewis, F. L., Liu, D., 2013. Reinforcement learning and approximate dynamic programming for feedback control. Vol. 17. John Wiley &Sons. https://doi.org/10.1002/9781118453988

Lewis, F. L., Vrabie, D., 2009. Reinforcement learning and adaptive dynamic programming for feedback control. Circuits and Systems Magazine, IEEE 9 (3), 32-50. https://doi.org/10.1109/MCAS.2009.933854

Manne, A. S., 1960. Linear programming and sequential decisions. Management Science 6 (3), 259-267. https://doi.org/10.1287/mnsc.6.3.259

Park, J., Sandberg, I. W., 1991. Universal approximation using radial-basisfunction networks. Neural computation 3 (2), 246-257. https://doi.org/10.1162/neco.1991.3.2.246

Rohmer, E., Singh, S. P., Freese, M., 2013. V-rep: A versatile and scalable robot simulation framework. In: Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, pp. 1321-1326. https://doi.org/10.1109/IROS.2013.6696520

Rubio, F. R., Navas, S. J., Ollero, P., Lemos, J. M., Ortega, M. G., 2018. Control Óptimo aplicado a campos de colectores solares distribuidos. Revista Iberoamericana de Automática e Informática industrial, 15(3), 327-338. doi:https://doi.org/10.4995/riai.2018.8944

Santos, M., 2011. Un enfoque aplicado del control inteligente. Revista Iberoamericana de Automática e Informática Industrial RIAI 8 (4), 283-296. https://doi.org/10.1016/j.riai.2011.09.016

Si, J., Barto, A. G., Powell, W. B., Wunsch, D., 2004. Handbook of Learning and Approximate Dynamic Programming (IEEE Press Series on Computational Intelligence). Wiley-IEEE Press. https://doi.org/10.1109/9780470544785

Sutton, R. S., Barto, A. G., 1998. Reinforcement learning: An introduction. Vol. 1. MIT press Cambridge.

Yañez-Badillo, H., Tapia-Olvera, R., Aguilar-Mejía, O., Beltran-Carbajal, F., 2017. Control neuronal en línea para regulación y seguimiento de trayectorias de posición para un quadrotor. Revista Iberoamericana de Automática e Informática Industrial RIAI 14 (2), 141-151. https://doi.org/10.1016/j.riai.2017.01.001

Ziogou, C., Papadopoulou, S., Georgiadis, M. C., Voutetakis, S., 2013. On-line nonlinear model predictive control of a pem fuel cell system. Journal of Process Control 23 (4), 483-492. https://doi.org/10.1016/j.jprocont.2013.01.011