Estás leyendo la publicación: AWS AI Labs propone un método que predice el sesgo en los modelos de reconocimiento facial utilizando datos sin etiquetar
El sesgo algorítmico ha surgido como un área importante de estudio en inteligencia artificial en los últimos años. Un examen del software de reconocimiento facial en 2018 definió el sesgo como una disparidad en el rendimiento del software cuando se aplica a personas de diversos orígenes raciales o étnicos.
Para verificar si un algoritmo de reconocimiento facial está sesgado, es más sencillo entrenarlo en un gran conjunto de datos que incluye rostros humanos de varios datos demográficos y luego observar sus resultados. Sin embargo, esto requiere datos anotados de identidad, que son prohibitivamente costosos de recopilar, especialmente en la escala masiva necesaria para evaluar un modelo de reconocimiento facial.
Una nueva investigación de Amazon presenta un método para evaluar el sesgo en los sistemas de reconocimiento facial sin usar anotaciones de identificación. Sus hallazgos muestran que el método propuesto detecta efectivamente las disparidades en el desempeño que indican sesgo, aunque solo estima el desempeño de un modelo en datos de varios grupos demográficos.
Este hallazgo inesperado sugiere un paradigma de evaluación que debería hacer que sea mucho más práctico para los creadores de software de reconocimiento facial probar sus modelos en busca de sesgo.
Este enfoque se puede modificar fácilmente para su uso con otras poblaciones y tiene un bajo costo. Si bien las etiquetas de identidad no son necesarias, es necesario tener una forma de determinar qué sujetos son miembros de cada categoría.
El proveedor de computación en la nube AWS ha lanzado un código para ayudar en la lucha contra el sesgo en los modelos de aprendizaje automático. Los investigadores entrenaron modelos de reconocimiento facial utilizando conjuntos de datos en los que se había eliminado cierta información demográfica para introducir sesgos. Su técnica identificó de manera confiable el desempeño diferencial en los grupos demográficos ocultos en todas las situaciones.
Compararon su método con la calibración bayesiana, el estándar de oro para pronosticar los resultados de un modelo ML. Sus resultados demuestran que debido a que el método propuesto se basó únicamente en datos no anotados, el enfoque supera constantemente la calibración bayesiana, a veces por un margen sustancial.
La mayoría de los métodos de reconocimiento facial actuales utilizan datos de entrenamiento anotados para generar representaciones vectoriales (incrustaciones) de fotos de entrada y comparar sus distancias en el espacio de incrustación para entrenar un modelo. Los investigadores representaron al mismo individuo en dos incrustaciones cualesquiera cuya distancia fuera inferior a un límite arbitrario.
Su trabajo se basa en la hipótesis de que existe una cierta distribución a la que pertenecen las distancias entre coincidencias verdaderas y una distribución separada a la que pertenecen las distancias entre caras no idénticas. Su enfoque es descubrir los valores de los parámetros que describen estas dos distribuciones.
El equipo asumió una distribución de dos partes basada en evidencia empírica para explicar la asimetría de las puntuaciones. La moda es el valor más común, y en las distribuciones de dos piezas, la distribución se corta a la mitad, y cada mitad tiene características diferentes.
El modelo de reconocimiento facial entrenado se alimentó con pares de fotos anotadas con datos demográficos pero no con datos de identificación para evaluar su desempeño. Algunas de las caras emparejadas en el proceso de verificación de caras serán correctas, mientras que otras no. De esta manera, no hay forma de saber cuál es cuál.
El modelo aprende dos distribuciones de las puntuaciones resultantes: una para coincidencias y otra para no coincidencias. La distancia entre estas distribuciones proporciona una medida de la precisión del modelo. Este análisis se ejecuta para todos los diferentes grupos demográficos en nuestro conjunto de datos y luego evalúa las diferencias.
Utilizando la agrupación jerárquica de las muestras de prueba, los investigadores calcularon los límites de error para obtener estimaciones precisas. Los resultados muestran que el método propuesto aún transmite una fuerte señal de discrepancia incluso después de tener en cuenta el error.
Los investigadores creen que su enfoque será útil para los investigadores y desarrolladores de IA que trabajan en sistemas de autenticación biométrica como el reconocimiento facial.
Revisar la papel y artículo de referencia. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestra página de Reddit y canal de discordiadonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
