Adaptación dinámica de la transmisión de eventos para el procesamiento en línea
Enviado: 02-01-2025
|Aceptado: 25-04-2025
|Publicado: 06-06-2025
Derechos de autor 2025 Raul Tapia, José Ramiro Martínez-de Dios, Anibal Ollero
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Descargas
Palabras clave:
Percepción y sensores, Integración de sensores y percepción, Sistemas robóticos autónomos, Tecnología robótica, Robots aéreos
Agencias de apoyo:
Beca para la Formación de Profesorado Universitario 2019 del Plan Estatal de Investigación Científica y Técnica y de Innovación del Ministerio de Universidades del Gobierno de España (FPU19/04692)
Resumen:
Las ventajas de las cámaras de eventos frente a las cámaras tradicionales en términos de latencia, rango dinámico y robustez ante movimientos y vibraciones han motivado gran interés en su empleo en aplicaciones de robótica. Sin embargo, las tasas de generación de eventos en cámaras a bordo de robots móviles que navegan en entornos complejos, no estructurados y dinámicos pueden sufrir fuertes variaciones que pueden generar desbordamientos de la capacidad de procesamiento a bordo de los robots e incluso pérdida de la capacidad de respuesta del sistema de percepción. En este artículo se presenta un método para gestionar la transmisión de una cámara de eventos para lograr una adaptación dinámica que permita mantener la capacidad de respuesta del sistema de percepción y prevenir desbordamientos computacionales. El método propuesto se compone de dos mecanismos: el primero previene desbordamientos en el procesamiento mediante descarte de información y el segundo adapta dinámicamente el tamaño de los paquetes de eventos para reducir el retraso entre la generación y el procesamiento. La solución propuesta ha sido validada mediante experimentos en bancos de pruebas y a bordo de un robot aéreo.
Citas:
Alzugaray, I., Chli, M., 2018. Asynchronous corner detection and tracking for event cameras in real time. IEEE Robotics and Automation Letters 3 (4), 3177-3184. https://doi.org/10.1109/LRA.2018.2849882
Barranco, F., Fermuller, C., Ros, E., 2018. Real-time clustering and multi-target tracking using event-based sensors. In: IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 5764-5769. https://doi.org/10.1109/IROS.2018.8593380
Berner, R., Delbruck, T., Civit-Balcells, A., Linares-Barranco, A., 2007. A 5 meps $100 USB2.0 address-event monitor-sequencer interface. In: IEEE International Symposium on Circuits and Systems. pp. 2451-2454. https://doi.org/10.1109/ISCAS.2007.378616
Delbruck, T., Graca, R., Paluch, M., 2021. Feedback control of event cameras. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. pp. 1324-1332. https://doi.org/10.1109/CVPRW53098.2021.00146
Dilmaghani, M. S., Shariff, W., Ryan, C., Lemley, J., Corcoran, P., 2023. Control and evaluation of event cameras output sharpness via bias. In: International Conference on Machine Vision. Vol. 12701. pp. 455-462. https://doi.org/10.1117/12.2679755
Dilmaghani, M. S., Shariff, W., Ryan, C., Lemley, J., Corcoran, P., 2024. Autobiasing event cameras. DOI: 10.48550/arXiv.2411.00729
Falanga, D., Kleber, K., Scaramuzza, D., 2020. Dynamic obstacle avoidance for quadrotors with event cameras. Science Robotics 5 (40), 712. https://doi.org/10.1126/scirobotics.aaz9712
Gallego, G., Delbrück, T., Orchard, G., Bartolozzi, C., Taba, B., Censi, A., Leutenegger, S., Davison, A. J., Conradt, J., Daniilidis, K., Scaramuzza, D., 2022. Event-based vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence 44 (1), 154-180. https://doi.org/10.1109/TPAMI.2020.3008413
Gañán, F. J., Sanchez-Diaz, J. A., Tapia, R., Martínez-de Dios, J. R., Ollero, A., 2022. Efficient event-based intrusion monitoring using probabilistic distributions. In: IEEE International Symposium on Safety, Security, and Rescue Robotics. pp. 211-216. https://doi.org/10.1109/SSRR56537.2022.10018655
Gehrig, D., Rebecq, H., Gallego, G., Scaramuzza, D., 2020. EKLT: Asynchronous photometric feature tracking using events and frames. International Journal of Computer Vision 128 (3), 601-618. https://doi.org/10.1007/s11263-019-01209-w
Gehrig, D., Scaramuzza, D., 2024. Low-latency automotive vision with event cameras. Nature 629 (8014), 1034-1040. https://doi.org/10.1038/s41586-024-07409-w
Glover, A., Vasco, V., Bartolozzi, C., 2018a. A controlled-delay event camera framework for on-line robotics. In: IEEE International Conference on Robotics and Automation. pp. 2178-2183. https://doi.org/10.1109/ICRA.2018.8460541
Glover, A., Vasco, V., Iacono, M., Bartolozzi, C., 2018b. The event-driven software library for YARP - with algorithms and iCub applications. Frontiers in Robotics and AI 4, 00073. https://doi.org/10.3389/frobt.2017.00073
Gómez Eguíluz, A., Rodríguez-Gómez, J. P., Tapia, R., Maldonado, F. J., Acosta, J. A., Martínez-de Dios, J. R., Ollero, A., 2021. Why fly blind? Event-based visual guidance for ornithopter robot flight. In: IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 958-1965. https://doi.org/10.1109/IROS51168.2021.9636315
Marcireau, A., Ieng, S. H., Benosman, R., 2020. Sepia, tarsier, and chameleon: A modular C++ framework for event-based computer vision. Frontiers in Neuroscience 13, 1338. https://doi.org/10.3389/fnins.2019.01338
Mitrokhin, A., Fermüller, C., Parameshwara, C., Aloimonos, Y., 2018. Eventbased moving object detection and tracking. In: IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 1-9. https://doi.org/10.1109/IROS.2018.8593805
Mueggler, E., Bartolozzi, C., Scaramuzza, D., 2017. Fast event-based corner detection. In: British Machine Vision Conference. pp. 1-11. https://doi.org/10.5244/C.31.33
Mueggler, E., Huber, B., Scaramuzza, D., 2014. Event-based, 6-DOF pose tracking for high-speed maneuvers. In: IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 2761-2768. https://doi.org/10.1109/IROS.2014.6942940
Rodríguez-Gomez, J. P., Gómez Eguíluz, A., Martínez-de Dios, J. R., Ollero, A., 2020. Asynchronous event-based clustering and tracking for intrusion monitoring in UAS. In: IEEE International Conference on Robotics and Automation. pp. 8518-8524. https://doi.org/10.1109/ICRA40945.2020.9197341
Rodríguez-Gómez, J. P., Tapia, R., Gómez Eguíluz, A., Martínez-de Dios, J. R., Ollero, A., 2021. UAV human teleoperation using event-based and framebased cameras. In: Aerial Robotic Systems Physically Interacting with the Environment. pp. 1-5. https://doi.org/10.1109/AIRPHARO52252.2021.9571049
Rodríguez-Gómez, J. P., Tapia, R., Guzmán Garcia, M. M., Martínez-de Dios, J. R., Ollero, A., 2022. Free as a bird: Event-based dynamic sense-and-avoid for ornithopter robot flight. IEEE Robotics and Automation Letters 7 (2), 5413-5420. https://doi.org/10.1109/LRA.2022.3153904
Tapia, R., Martínez-de Dios, J. R., Ollero, A., 2024. eFFT: An event-based method for the efficient computation of exact fourier transforms. IEEE Transactions on Pattern Analysis and Machine Intelligence 46 (12), 9630-9647. https://doi.org/10.1109/TPAMI.2024.3422209
Tomy, A., Paigwar, A., Mann, K. S., Renzaglia, A., Laugier, C., 2022. Fusing event-based and RGB camera for robust object detection in adverse conditions. In: IEEE International Conference on Robotics and Automation. pp. 933-939. https://doi.org/10.1109/ICRA46639.2022.9812059
Vasco, V., Glover, A., Bartolozzi, C., 2016. Fast event-based harris corner detection exploiting the advantages of event-driven cameras. In: IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 4144-4149. https://doi.org/10.1109/IROS.2016.7759610
