Estás leyendo la publicación: Este documento de IA presenta un marco de detección de vehículos basado en eventos y un conjunto de datos de seguimiento
La visión neuromórfica basada en eventos es un campo en crecimiento que implica el uso de cámaras de eventos, que capturan los cambios de brillo de forma independiente en cada píxel en lugar de registrar la intensidad del color a una velocidad fija como las cámaras tradicionales basadas en cuadros. Estas cámaras de eventos, también conocidas como sensores basados en eventos, se introdujeron por primera vez en 2008 y ofrecían claras ventajas sobre las cámaras basadas en marcos. Las cámaras de eventos capturan cambios de brillo, o eventos, de forma asíncrona e independiente en cada píxel. Cada evento incluye la hora en que se detectó, sus coordenadas de píxeles y el tipo de cambio de brillo registrado. Esto permite que las cámaras de eventos capturen cambios en una escena, a menudo parecidos a movimiento, en el momento en que ocurren y que tengan una resolución temporal alta y una latencia baja. Por el contrario, las cámaras tradicionales basadas en marcos capturan imágenes a una velocidad fija y pueden producir datos redundantes en escenas estacionarias. Estas características hacen que las cámaras de eventos sean atractivas para diversas aplicaciones, incluidas la desenfoque de movimiento y la detección de objetos.
Las cámaras de eventos, también conocidas como sensores basados en eventos, capturan los cambios de brillo en una escena de forma asíncrona e independiente en cada píxel. Estos sensores tienen una alta resolución temporal, baja latencia y un alto rango dinámico, lo que los hace adecuados para diversas aplicaciones, como desenfoque de movimiento y detección de objetos. Sin embargo, las cámaras de eventos pueden ser menos efectivas en escenas con movimiento limitado, donde se necesitan señales visuales para utilizar esta modalidad de manera confiable. En tales escenarios, las implementaciones basadas en eventos pueden no ser confiables. A pesar de esto, el potencial de la visión basada en eventos es significativo. Puede proporcionar beneficios óptimos cuando se combina con la visión basada en marcos, ya que ambas modalidades pueden complementarse entre sí cuando se usan correctamente. Esto puede permitir un rendimiento de percepción más sólido para los sistemas automatizados. Los trabajos actuales han utilizado cámaras de eventos en varias aplicaciones, incluida la síntesis de video HDR de alta velocidad de cuadros y la reconstrucción de imágenes a partir de eventos.
En este trabajo, los autores investigan un enfoque híbrido que combina datos basados en marcos y eventos para tareas de detección y seguimiento de objetos. La detección de objetos implica identificar la presencia y ubicación de objetos en una imagen, mientras que el seguimiento de objetos consiste en seguir el movimiento de las cosas a lo largo del tiempo. Ambas tareas son importantes para que los sistemas automatizados entiendan e interpreten su entorno, y tienen varias aplicaciones en robótica, como monitoreo de tráfico, vigilancia y vehículos autónomos. El rendimiento de la detección de objetos puede variar según el método utilizado, y algunos enfoques pueden tener compromisos entre la precisión y la latencia. Los autores proponen utilizar datos basados en eventos para mejorar el rendimiento de un detector de objetos basado en redes neuronales profundas en ciertos escenarios. El objetivo de los autores es mejorar el rendimiento general del seguimiento de objetos mediante la combinación de los puntos fuertes de los datos basados en fotogramas y en eventos.
Este documento presenta un enfoque híbrido para la detección y el seguimiento de objetos utilizando datos basados en marcos y eventos. El objetivo es mejorar el rendimiento general del seguimiento de objetos aprovechando los puntos fuertes de ambas modalidades. La velocidad de fotogramas fija de la fuente de entrada puede limitar la detección de objetos convencionales y los métodos de seguimiento que utilizan datos basados en fotogramas. Pueden requerir hardware estricto para lograr un rendimiento en tiempo real. Los autores proponen tres métodos para mejorar la detección y el seguimiento de objetos utilizando técnicas basadas en eventos:
- Mejoran la precisión de los cuadros delimitadores que presentan los detectores de objetos basados en marcos utilizando una combinación de datos de eventos y métodos clásicos de visión artificial.
- Mejoran la solidez y la consistencia de los detectores de objetos basados en marcos utilizando métodos de detección basados en eventos. Este método se inicia cuando el detector de objetos basado en fotogramas no detecta un objeto en un fotograma determinado, lo que mejora la fiabilidad de detección de objetos y el rendimiento de seguimiento correspondiente utilizando datos de eventos de alta resolución temporal.
- Evalúan numéricamente los efectos de estos métodos utilizando un conjunto de datos completamente etiquetado y métricas de seguimiento de objetos múltiples de última generación.
También comparan el costo computacional de los métodos basados en eventos con los componentes basados en marcos.
Los autores proponen tres métodos para mejorar la detección y el seguimiento de objetos utilizando datos basados en eventos. En primer lugar, presentan un método de refinamiento de cuadro delimitador basado en eventos para escenas estáticas y un método basado en eventos para recuperar objetos ocultos en el dominio del marco. En segundo lugar, ofrecen un estudio de ablación para verificar cuantitativamente los beneficios de cada método basado en eventos introducido y su combinación óptima utilizando la métrica HOTA. En tercer lugar, proporcionan un análisis de latencia computacional para los métodos introducidos y los componentes centrales del sistema propuesto. Finalmente, realizan un experimento de validación del mundo real utilizando un LiDAR de alta velocidad para evaluar qué tan bien el marco presentado, incluidos los métodos adicionales basados en eventos, estima la posición del vehículo en diferentes resoluciones temporales y tasas de seguimiento. Las principales contribuciones de este artículo son la mejora de la detección de objetos y el rendimiento del seguimiento utilizando datos basados en eventos, un análisis cuantitativo de los beneficios de los métodos basados en eventos y un análisis de latencia computacional.
