Estás leyendo la publicación: Investigadores de NTU Singapur proponen un transformador Seq-DeepFake (SeqFakeFormer) para detectar y recuperar manipulaciones secuenciales de DeepFake
Los modelos generativos profundos se han utilizado recientemente para crear imágenes faciales hiperrealistas que son prácticamente indistinguibles de las fotografías reales. Sin embargo, el avance sustancial en la síntesis de imágenes genera preocupaciones de seguridad sobre el posible uso malicioso de estos métodos para fabricar y difundir información falsa (deepfake).
Se han propuesto varias técnicas de detección de falsificaciones profundas para identificar tales caras fabricadas a fin de abordar este problema de seguridad. Para completar con éxito el desafío de detección de falsificación profunda, el modelo debe predecir correctamente las etiquetas binarias (real/falso) dada la imagen del rostro original y la imagen del rostro alterada producida por la técnica de intercambio de rostros.
Las personas pueden modificar fácilmente las fotografías de rostros en la vida diaria debido a la creciente popularidad de los programas de edición facial fácilmente disponibles. Los usuarios ahora pueden editar fácilmente fotos de rostros utilizando operaciones de varios pasos de manera secuencial, a diferencia de los sistemas deepfake existentes que principalmente llevan a cabo la modificación facial de un solo paso.
La imagen inicial se puede cambiar eliminando sucesivamente la barba, aumentando la sonrisa y añadiendo gafas. Incluyendo la modificación secuencial, la información amplía el alcance de los problemas de deepfake ya existentes y presenta un nuevo obstáculo para las técnicas de detección de deepfake en un solo paso. Los investigadores utilizaron esta información como inspiración para desarrollar un nuevo desafío de investigación, la detección de la manipulación secuencial de falsificaciones profundas (Seq-Deepfake).
Investigadores de NTU en Singapur presentaron recientemente el primer conjunto de datos de Seq-Deepfake para ayudar en el estudio de identificación de Seq-Deepfake. El conjunto de datos realiza una alteración secuencial de la imagen facial con una variedad de pasos (desde un mínimo de 1 paso hasta un máximo de 5 pasos), lo que da como resultado secuencias de diferentes longitudes. Encontrar las secuencias de alteración precisas es casi tan difícil como diferenciar entre las fotos faciales originales y alteradas.
Fuente: https://github.com/rshaojimmy/SeqDeepFakeLa mayoría de las aplicaciones más recientes para la manipulación facial se basan en Generative Adversarial Network (GAN). Es bien sabido que es un desafío desenredar por completo el espacio semántico latente aprendido por GAN. Los investigadores afirmaron que es probable que esta falla revele rastros sucesivos de manipulación facial que son tanto espaciales como secuenciales. Con base en este descubrimiento, el equipo proyectó la identificación de Seq-Deepfake como una tarea específica de imagen a secuencia para detectar estas dos formas de rastros de modificación, y luego presentó un transformador Seq-DeepFake corto pero potente (SeqFakeFormer).
La extracción de relaciones espaciales y el modelado de relaciones secuenciales con atención cruzada mejorada espacialmente son los dos componentes principales de SeqFakeFormer. SeqFakeFormer envía una imagen alterada a una red neuronal convolucional profunda (CNN) para aprender sus mapas de características a fin de capturar de forma adaptativa delicadas regiones de manipulación espacial.
Después de pruebas exhaustivas, los investigadores descubrieron que el SeqFakeFormer propuesto supera todas las líneas de base en la detección de secuencias de manipulación facial tanto en la modificación de los componentes faciales como en la manipulación de los atributos faciales. SeqFakeFormer supera a otras líneas de base con ambas CNN, lo que demuestra que la técnica sugerida es compatible con varios extractores de funciones. Según dos medidas de evaluación, la estrategia propuesta ha producido específicamente mejoras de 1-2 y 3-4 por ciento en la manipulación secuencial de rasgos y componentes faciales.
Conclusión
Un artículo reciente de investigadores de NTU, Singapur, tuvo como objetivo detectar un vector consecutivo de operaciones de manipulación facial de varios pasos. El problema de investigación se denominó “Detección de la manipulación secuencial de DeepFake”. El grupo dio a conocer el conjunto de datos inicial de Seq-DeepFake que ofrecía fotos faciales alteradas secuencialmente. Proyectaron la detección de la manipulación de Seq-DeepFake como una tarea especializada de imagen a secuencia, respaldada por este nuevo conjunto de datos, y presentaron un transformador Seq-DeepFake (SeqFakeFormer). Los extensos resultados experimentales muestran la supremacía de SeqFakeFormer, y los descubrimientos perspicaces abren la puerta a un estudio más profundo de la detección profunda de falsificaciones.
Este artículo está escrito como un artículo de resumen por el personal de Marktechpost basado en el trabajo de investigación ‘Detección y recuperación de manipulación secuencial de DeepFake‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, proyecto y enlace github.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
