Estás leyendo la publicación: ¿Qué es el registro de imágenes y cómo funciona?
El proceso de registro de imágenes es una operación automática o manual que intenta descubrir puntos coincidentes entre dos fotos y alinearlos espacialmente para minimizar el error deseado, es decir, una medida de proximidad uniforme entre dos imágenes. Las ciencias médicas, la teledetección y la visión artificial utilizan el registro de imágenes. Este artículo analiza la tecnicidad del registro de imágenes con la implementación mediante OpenCV. Los siguientes son los temas a tratar.
Tabla de contenido
- Acerca del registro de imágenes
- El uso del registro de imágenes.
- Trabajo de registro de imagen
- Solicitud de registro de imagen
- Registro de imagen usando OpenCV
Comencemos con una descripción general de alto nivel del registro de imágenes.
Acerca del registro de imágenes
Una vez que se establece una correspondencia entre las imágenes, el estudio del vínculo entre dos o más fotos normalmente puede regularse o tratarse de forma sencilla. El proceso de establecimiento de esta correlación se conoce como registro de imágenes.
Se podría decir que el registro de imágenes es el proceso de calcular transformaciones espaciales que alinean un conjunto de imágenes con un marco de referencia de observación común, a menudo una de las imágenes del conjunto. El registro es un paso clave en cualquier tarea de análisis o comprensión de imágenes en la que se deben combinar diferentes fuentes de datos. Durante el proceso de registro se evidencian dos situaciones:
- Es imposible de imaginar; esto se conoce como un problema de coincidencia y también es el paso que consume más tiempo en la ejecución del algoritmo.
- Existe un requisito de transformación en la información tridimensional de una de las fotografías en cuanto a su sistema de coordenadas y en relación con la imagen elegida como referencia.
fuente de GIF
¿Está buscando un repositorio completo de bibliotecas de Python utilizadas en ciencia de datos, echa un vistazo aquí.
El uso del registro de imágenes.
El registro de imágenes se puede utilizar de dos formas:
- Registro Imagen-Imagen: se alinean dos o más imágenes para integrar o fusionar píxeles coincidentes que representan los mismos objetos.
- Registro de imagen a mapa: En este paso, la imagen de entrada se distorsiona para que coincida con la información del mapa de una imagen base manteniendo su resolución espacial original.
Se utiliza con frecuencia para alinear imágenes de diversas fuentes de cámaras en fotografía médica y de satélite. El registro de imágenes es una técnica utilizada por las cámaras digitales para alinear y vincular imágenes cercanas en una sola imagen panorámica.
Trabajo de registro de imagen
Hay cuatro pasos principales por los que debe pasar cada método de registro de imágenes para la alineación de imágenes. Estos podrían enumerarse de la siguiente manera:
- Detección de características: Un experto en el dominio detecta objetos destacados y distintivos (áreas de límites cerrados, bordes, contornos, intersecciones de líneas, esquinas, etc.) tanto en la imagen de referencia como en la detectada.
- Coincidencia de características: Establece la correlación entre las características de la referencia y las imágenes detectadas. El enfoque de coincidencia se basa en el contenido de la imagen o la descripción simbólica del conjunto de puntos de control.
- Estimación del modelo de transformación: Se calculan los parámetros y el tipo de las llamadas funciones de mapeo, que alinean la imagen detectada con la imagen de referencia.
- Remuestreo y transformación de imágenes: La imagen detectada se cambia utilizando las funciones de mapeo.
Los métodos de registro de imágenes se clasifican principalmente en dos tipos: enfoques basados en áreas y métodos basados en características. Cuando faltan características significativas en las fotografías y la información distintiva se proporciona mediante niveles/colores de gris en lugar de formas y estructuras locales, se prefieren los enfoques basados en áreas.
Cuando las intensidades de la imagen proporcionan más información estructural local, se utilizan algoritmos de coincidencia basados en características. En estos procedimientos se utilizan características de imagen producidas a partir de la técnica de extracción de características. Pero estas dos clasificaciones podrían clasificarse además en varios métodos. Echemos un vistazo a esas clasificaciones.
Método basado en píxeles
Para el registro, en este procedimiento se emplea una metodología estadística de correlación cruzada. Se utiliza con frecuencia para la coincidencia de plantillas o el reconocimiento de patrones, lo que implica encontrar la ubicación y la orientación de una plantilla o patrón en una imagen. La correlación cruzada es una medida de similitud o una métrica de coincidencia.
Por ejemplo, la función de correlación cruzada normalizada bidimensional evalúa la similitud de cada traducción para la plantilla (una imagen de referencia) y la imagen, donde la plantilla es pequeña en comparación con la imagen.
Si la plantilla se ajusta a la imagen, la correlación cruzada estará en su punto máximo. Debido a que la medida puede estar influenciada por la intensidad de la imagen local, se debe ajustar la correlación cruzada.
inconvenientes
Las principales desventajas de los enfoques de correlación son la uniformidad de la medida máxima de similitud (debido a la autosimilitud de las imágenes) y la alta complejidad de procesamiento. El máximo se puede agudizar con éxito mediante el preprocesamiento o mediante la aplicación de correlación de bordes o vectores.
Método de mapeo de puntos
Los valores grises no se utilizan para describir entidades coincidentes en algoritmos de coincidencia basados en puntos. Emplea características de imagen producidas a partir de un algoritmo/proceso de extracción de características.
El objetivo fundamental de la extracción de características es abstraer una gran cantidad de información de la entrada de datos original y filtrar la información redundante, es decir, filtrar la información que ya no se necesita.
Se eligen las características que se detectan solo en ambas fotos y que son más tolerantes a las distorsiones locales. Estas características influyen en el cálculo de la transformación adecuada. Como resultado, se debe descubrir un número significativo de características para realizar los cálculos.
Después de detectar características en cada imagen, deben ser emparejadas. Este es el método más común para registrar dos fotos con una desalineación desconocida.
Los puntos de control para el emparejamiento de puntos son cruciales en esta estrategia. Las esquinas, las líneas de intersección, los puntos de mayor curvatura local en las curvas de nivel, los centros de las ventanas con la máxima curvatura local y los centros de gravedad de las áreas de límites cerrados son todos ejemplos de puntos de control.
Los métodos de mapeo de puntos se dividen en tres etapas, que son las siguientes:
- Características de la imagen que se pueden calcular.
- Los puntos característicos de la imagen de datos.
- Mapeo espacial.
inconvenientes
La desventaja de la técnica basada en características es la excepcionalidad del contenido de la ventana. Debido a su falta de prominencia, es probable que una ventana que contenga un área suave sin información crítica coincida erróneamente con otras áreas suaves en la imagen de referencia.
Las características de registro deben reconocerse preferiblemente en áreas discretas de la imagen. Es posible que Windows carezca de esta función y, con frecuencia, su selección no se basa en la evaluación de su contenido.
Registro de imágenes basado en contornos
En esta estrategia, se emplean fuertes características estadísticas para hacer coincidir los puntos característicos de la imagen. La segmentación de imágenes en color se utiliza para extraer regiones de interés de las imágenes.
Para producir el contorno de una imagen, se calcula la media de una colección dada de colores. Luego, cada píxel RGB en una imagen se clasifica según tenga un color en un rango específico o no durante el proceso de segmentación. Además, la distancia euclidiana es necesaria para determinar la similitud.
El lugar geométrico de los puntos es una esfera con un radio igual al valor umbral, y cada punto situado dentro o sobre la superficie de la esfera cumple con el requisito de color establecido. Al codificar estos dos conjuntos de puntos en la imagen con blanco y negro, se produce una imagen segmentada binaria.
Se utiliza un filtro gaussiano para eliminar el ruido después del proceso de segmentación. Los umbrales desdibujaron la imagen y luego se obtuvo el contorno de una imagen.
inconvenientes
La precisión del método de registro de imágenes basado en contornos es limitada, pero la limitación es que es manual y lento.
Registro de imágenes multimodales utilizando información mutua
El registro de imágenes multiespectrales/multisensoriales es una tarea difícil. En general, estas imágenes tienen diferentes propiedades de nivel de gris y los enfoques básicos basados en la correlación de áreas no se pueden utilizar fácilmente.
Se descubre que la entropía de la imagen permanece constante aunque cambie el histograma. Incluso después de barajar aleatoriamente los píxeles de la imagen, la entropía de la imagen se mantiene constante. Las fotografías naturales también tienen menos ambigüedad.
En una imagen realista, es probable que el valor del píxel sea bastante cercano al de algunos de sus vecinos. Como resultado, esta dependencia disminuye la entropía general.
inconvenientes
Cuando las imágenes tienen una resolución deficiente o la región de superposición es estrecha, la información mutua provoca errores de registro.
Registro de imágenes en el dominio de la frecuencia
El teorema de correlación es importante en este procedimiento porque la función de Fourier contiene dos valores de las partes real e imaginaria de la imagen en cada frecuencia del espectro de frecuencia.
Al calcular el inverso de la función, obtenemos una función de impulso que es esencialmente cero en todas partes excepto en el desplazamiento, que se requiere para registrar de manera óptima dos imágenes. El enfoque descrito anteriormente se utiliza para registrar imágenes que solo tienen la traducción.
inconvenientes
Debe enfatizarse que se debe utilizar algún tipo de interpolación en el dominio de la frecuencia.
Registro de imágenes mediante algoritmo genético
Los algoritmos genéticos (AG) se basan en la noción natural de evolución, que sugiere que la variedad ayuda a la supervivencia de una población frente a las condiciones ambientales cambiantes. Los GA son métodos iterativos con paralelismo inherente.
Mantienen una población de soluciones candidatas registradas en forma de cromosomas, que generalmente son los símbolos binarios “0” y “1”. La población inicial podría elegirse al azar.
Los candidatos aptos, definidos como aquellos con valores de aptitud superiores a un umbral determinado, serán elegidos para su reproducción en la siguiente generación. Los candidatos elegidos se fusionan mediante un procedimiento de reproducción genética conocido como “cruce”. El operador de cruce intercambia segmentos cromosómicos para crear candidatos superiores con mayor aptitud en la siguiente generación.
En la siguiente generación, se reevalúa a toda la población. La operación se repite hasta que se cumple un requisito de terminación. El criterio de terminación podría incluir el descubrimiento de una solución de aproximación aceptable, la consecución de un cierto número de generaciones o la convergencia de la solución.
Para las imágenes satelitales basadas en mapas vectoriales digitales, el registro automatizado mediante un algoritmo genético ha demostrado ser particularmente eficiente y confiable.
Aplicaciones de Registro de Imagen
En el campo de la ciencia médica
- Co-registro MRI-MEG multimodal
Fuente de imagen
En la vista axial de las imágenes cerebrales, los puntos amarillos superiores indican marcadores anatómicos o puntos de referencia (información anatómica). Abajo: Los puntos rosados muestran las posiciones de los sensores MEG, mientras que los puntos verdes representan los sitios de los sensores EEG del cuero cabelludo. La información funcional está contenida en estos datos MEG y EEG, y la imagen inferior muestra la imagen cerebral corregistrada (vista sagital)
En el campo de la fotografía
- Satellite utiliza el método de mapeo de puntos para el registro de imágenes.
Fuente de imagen
Registro de imagen usando OpenCV
Implementemos uno de los métodos mencionados usando OpenCV.
Importar bibliotecas necesarias:
importar numpy como np importar imutils importar cv2
Si está utilizando Google Colab Notebook, también necesita importar una biblioteca adicional como se menciona a continuación para mostrar imágenes porque “cv2.imshow” se ha deshabilitado porque bloquea la terminal.
desde google.colab.patches importar cv2_imshow
Lea las imágenes y conviértalas en valores de gris
altura, ancho = img2.forma
Configuración de algunos puntos clave y descriptores que se utilizarán para hacer coincidir los píxeles del archivo de plantilla.
orb_detector = cv2.ORB_create(5000) kp1, d1 = orb_detector.detectAndCompute(img1, None) kp2, d2 = orb_detector.detectAndCompute(img2, None) comparador = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck = True) coincidencias = comparador. partido (d1, d2)
Crear una homografía para la validación de la imagen resultante
homografía, máscara = cv2.findHomography(p1, p2, cv2.RANSAC)
Imagen de registro:
transform_img = cv2.warpPerspective(img_align, homography, (ancho, alto)) matchedVis =cv2.drawMatches(img1, kp1, img2, kp2, coincidencias, Ninguno) matchedVis = imutils.resize(matchedVis, width=1000) cv2_imshow(matchedVis) cv2.esperaClave(0)
Comparando la imagen resultante:
Imagen de salida
Imagen de entradaValidando el resultado:
Se ha seleccionado un total de 5000 píxeles de la imagen de entrada que debe coincidir con la imagen de plantilla en base a la cual se ha generado la imagen de salida. Al observar la imagen de salida, podemos decir con confianza que la imagen está correctamente alineada con la imagen de referencia.
Resumen del registro de imagen
El registro de imágenes es un paso necesario para integrar, fusionar y evaluar datos de numerosos sensores (fuentes). Tiene una amplia gama de aplicaciones en ciencias médicas, visión artificial y teledetección.
Los registros de imágenes con distorsiones no lineales complicadas, el registro multimodal y los registros de imágenes ocluidas, entre otras cosas, contribuyen a la solidez de las técnicas pertenecientes a las tareas más duras en el entorno actual.
En este artículo hemos entendido el concepto de registro de imágenes, diferentes métodos de registro de imágenes e implementación en Python usando OpenCV.
