Estás leyendo la publicación: Verificación facial ‘creativa’ con redes adversarias generativas
Un nuevo artículo de la Universidad de Stanford ha propuesto un método incipiente para engañar a los sistemas de autenticación facial en plataformas como las aplicaciones de citas, mediante el uso de un Red adversaria generativa (GAN) para crear imágenes faciales alternativas que contengan la misma información de identificación esencial que una cara real.
El método eludió con éxito los procesos de verificación facial en las aplicaciones de citas Tinder y Bumble, en un caso incluso hizo pasar una cara (masculina) con cambio de género como auténtica para la identidad original (femenina).
Varias identidades generadas que cuentan con la codificación específica del autor del artículo (aparece en la primera imagen de arriba). Fuente: https://arxiv.org/pdf/2203.15068.pdf
Según el autor, la obra representa el primer intento de eludir la verificación facial con el uso de imágenes generadas que han sido imbuidas de rasgos de identidad específicos, pero que intentan representar una identidad alternativa o sustancialmente alterada.
La técnica se probó en un sistema local personalizado de verificación de rostros y luego funcionó bien en pruebas de caja negra contra dos aplicaciones de citas que realizan verificación facial en imágenes cargadas por usuarios.
El nuevo papel se titula Omisión de verificación facialy proviene de Sanjana Sarda, investigadora del Departamento de Ingeniería Eléctrica de la Universidad de Stanford.
Controlar el espacio de la cara
Aunque ‘inyectar’ características específicas de identificación (es decir, de rostros, las señales de tráficoetc.) en imágenes artesanales es un elemento básico de ataques adversariosel nuevo estudio sugiere algo diferente: que el sector de la investigación capacidad de crecimiento a control el espacio latente de las GAN eventualmente permitirá el desarrollo de arquitecturas que pueden crear coherente identidades alternativas a la de un usuario y, de manera efectiva, permitir la extracción de características de identidad de las imágenes disponibles en la web de un usuario desprevenido para cooptar en una identidad ‘en la sombra’.
La consistencia y la navegabilidad han sido los principales desafíos con respecto al espacio latente de la GAN desde el inicio de las redes adversarias generativas. Una GAN que ha asimilado con éxito una colección de imágenes de entrenamiento en su espacio latente no proporciona un mapa fácil para “empujar” características de una clase a otra.
Si bien las técnicas y herramientas como el mapeo de activación de clase ponderado por gradiente (Graduado-CAM) puede ayudar a establecer direcciones latentes entre las clases establecidas y permitir las transformaciones (ver la imagen a continuación), el desafío adicional del enredo generalmente lo convierte en un viaje ‘aproximado’, con un control fino limitado de la transición.
Un viaje accidentado entre vectores codificados en el espacio latente de una GAN, empujando una identidad masculina derivada de datos hacia las codificaciones ‘femeninas’ al otro lado de uno de los muchos hiperplanos lineales en el complejo y arcano espacio latente. Imagen derivada del material en https://www.youtube.com/watch?v=dCKbRCUyop8
La capacidad de ‘congelar’ y proteger características específicas de identificación mientras las mueve a codificaciones transformadoras en otras partes del espacio latente hace posible crear un individuo consistente (e incluso animable) cuya identidad es leída por sistemas de máquinas como otra persona.
Método
El autor usó dos conjuntos de datos como base para los experimentos: un conjunto de datos de usuario humano que consta de 310 imágenes de su rostro que abarcan un período de cuatro años, con iluminación, edad y ángulos de visión variables, con rostros recortados extraídos a través de Café; y las 108.501 imágenes racialmente equilibradas en el FairFace conjunto de datos, extraído y recortado de manera similar.
El modelo de verificación facial local se derivó de una implementación base de FaceNet y caraprofundapre-entrenado en Inicio de ConvNetcon cada imagen representada por un vector de 128 dimensiones.
El enfoque utiliza imágenes de rostros de un subconjunto entrenado de FairFace. Para pasar la verificación facial, la distancia calculada causada por una imagen norma frobenius se compensa con el usuario de destino en la base de datos. Cualquier imagen por debajo del umbral de 0,7 equivale a la misma identidad; de lo contrario, se considera que la verificación ha fallado.
Se ajustó un modelo StyleGAN en el conjunto de datos personales de la autora, produciendo un modelo que generaría variaciones reconocibles de su identidad, aunque ninguna de estas imágenes generadas era idéntica a los datos de entrenamiento. Esto fue logrado por congelación las primeras cuatro capas en el discriminador, para evitar el sobreajuste de los datos y producir resultados variados.
Aunque se obtuvieron diversas imágenes con el modelo base StyleGAN, la baja resolución y la fidelidad provocaron un segundo intento con StarGAN V2que permite el entrenamiento de imágenes semilla hacia una cara objetivo.
El modelo StarGAN V2 se entrenó previamente durante aproximadamente 10 horas usando el conjunto de validación FairFace, en un tamaño de lote de cuatro y un tamaño de validación de 8. En el enfoque más exitoso, el conjunto de datos personales del autor se usó como fuente con datos de entrenamiento como una referencia.
Experimentos de verificación
Se construyó un modelo de verificación facial a partir de un subconjunto de 1000 imágenes, con la intención de verificar una imagen arbitraria del conjunto. Las imágenes que superaron la verificación con éxito se compararon posteriormente con la propia identificación del autor.
A la izquierda, el autor del artículo, foto real; medio, una imagen arbitraria que falló la verificación; a la derecha, una imagen no relacionada del conjunto de datos que pasó la verificación como autor.
El objetivo de los experimentos era crear una brecha lo más amplia posible entre la identidad visual percibida y conservar los rasgos definitorios de la identidad objetivo. Esto fue evaluado con distancia de Mahalanobisuna métrica utilizada en el procesamiento de imágenes para la búsqueda de patrones y plantillas.
Para el modelo generativo de referencia, los resultados de baja resolución obtenidos muestran una diversidad limitada, a pesar de pasar la verificación facial local. StarGAN V2 demostró ser más capaz de crear diversas imágenes que pudieron autenticarse.
Todas las imágenes representadas pasaron la verificación facial local. Arriba están las generaciones de referencia StyleGAN de baja resolución, abajo, las generaciones StarGAN V2 de mayor resolución y calidad.
Las últimas tres imágenes ilustradas arriba usaron el propio conjunto de datos del rostro del autor como fuente y referencia, mientras que las imágenes anteriores usaron datos de entrenamiento como referencia y el conjunto de datos del autor como fuente.
Las imágenes generadas resultantes se probaron con los sistemas de verificación facial de las aplicaciones de citas Bumble y Tinder, con la identidad del autor como referencia, y pasaron la verificación. Una generación ‘masculina’ del rostro del autor también pasó el proceso de verificación de Bumble, aunque se tuvo que ajustar la iluminación en la imagen generada antes de aceptarla. Tinder no aceptó la versión masculina.
Versiones ‘masculinas’ de la identidad (femenina) de la autora.
Conclusión
Estos son experimentos seminales en la proyección de identidad, en el contexto de la manipulación del espacio latente GAN, que sigue siendo un desafío extraordinario en la síntesis de imágenes y la investigación de falsificaciones profundas. No obstante, el trabajo abre el concepto de incrustar características altamente específicas de manera consistente a través de diversas identidades y de crear identidades ‘alternativas’ que ‘leen’ como otra persona.
Publicado por primera vez el 30 de marzo de 2022.
