Estás leyendo la publicación: Fundamentos de la ciencia de datos — Ética de la IA (II) – Hacia la IA
Publicado originalmente en Hacia la IA, la empresa líder mundial en noticias y medios de IA y tecnología. Si está creando un producto o servicio relacionado con la IA, lo invitamos a considerar convertirse en patrocinador de la IA. En Hacia la IA, ayudamos a escalar las empresas emergentes de IA y tecnología. Permítanos ayudarlo a dar rienda suelta a su tecnología a las masas.
Fundamentos de la ciencia de datos — Ética de la IA (II)
Este artículo es la segunda parte de la serie esencial Ética de la IA para la ciencia de datos. Si no ha leído Ética de la IA (I), le animo a que lea donde he discutido la importancia del Diseño centrado en el ser humano (HCD). En este artículo, continuaré con la ética de la IA. Hoy entenderemos el concepto de Bias y cómo identificarlos.
¿Qué es un sesgo?
Existe el potencial de que el aprendizaje automático (ML) mejore vidas, pero también puede ser una fuente de daño. Algunas aplicaciones de aprendizaje automático han discriminado a las personas por motivos de raza, sexo, religión, nivel socioeconómico y otras características.
En este artículo, aprenderá sobre el sesgo, que se refiere a los resultados negativos e indeseados de las aplicaciones de aprendizaje automático, principalmente si los resultados afectan de manera desproporcionada a ciertos grupos.
Este artículo cubrirá seis tipos de sesgo que pueden afectar cualquier aplicación de ML. Luego aplicará su nuevo conocimiento en un ejercicio práctico para identificar el sesgo en un escenario del mundo real.
¿Identificar sesgo?
Además del concepto de “datos sesgados”, muchos profesionales del aprendizaje automático están familiarizados con la idea de basura que entra, basura que sale. Si, por ejemplo, un chatbot se entrena con un conjunto de datos que contiene conversaciones antisemitas en línea (“basura que entra”), es probable que haga comentarios antisemitas (“basura que sale”). El ejemplo ilustra un tipo necesario de sesgo (sesgo histórico, como verá a continuación) que debe reconocerse y abordarse.
Es importante tener en cuenta que el sesgo no es la única forma en que las aplicaciones de ML pueden verse afectadas negativamente por el sesgo.
Además del sesgo en los datos, también existe el sesgo de representación (tratado en este artículo), que ocurre cuando un grupo en particular está subrepresentado en los datos de entrenamiento. Por ejemplo, al entrenar un sistema de detección facial, el sistema no funcionará bien para usuarios con tonos de piel más oscuros si los datos de entrenamiento consisten principalmente en personas con tonos de piel más claros. La tercera forma de sesgo que surge de los datos de entrenamiento es el sesgo de medición, sobre el que aprenderá más adelante en este artículo.
Además de los datos sesgados, el sesgo también puede ocurrir en la forma en que se definen los modelos de ML, en comparación con otros modelos, y cómo los usuarios cotidianos los interpretan para generar aplicaciones de ML injustas. Como descubrirá, el sesgo también puede resultar de cómo se definen los modelos de ML, en comparación con otros modelos, y cómo los usuarios cotidianos los interpretan. El daño puede ocurrir en cualquier lugar durante el proceso de ML.
Tipos de sesgo
Un vocabulario compartido permitirá conversaciones productivas sobre cómo mitigar (o reducir) el sesgo una vez que conozcamos los diferentes tipos de sesgo.
A. Sesgo histórico
Los datos pueden estar sesgados debido al estado del mundo en el que se generaron.
En 2020, solo el 7,4% de los directores ejecutivos de Fortune 500 serán mujeres. Varios estudios han demostrado que las empresas con directoras ejecutivas y directoras financieras tienden a ser más rentables que aquellas con directores ejecutivos o directores financieros masculinos, lo que sugiere que las mujeres están sujetas a estándares de contratación más altos que los hombres. Podríamos considerar eliminar la entrada humana y reemplazarla con inteligencia artificial para corregir este problema. Supongamos que se utilizan datos de decisiones de contratación anteriores para entrenar un modelo. En ese caso, es probable que el modelo aprenda a exhibir los mismos sesgos que los de los datos.
B. Sesgo de representación
Al crear conjuntos de datos para entrenar un modelo, se produce un sesgo de representación si los conjuntos de datos no reflejan con precisión a las personas a las que atenderá el modelo.
Los datos estadísticos recopilados a través de aplicaciones para teléfonos inteligentes subrepresentarán a los grupos con menos probabilidades de poseer teléfonos inteligentes. Por ejemplo, las personas mayores de 65 años estarán subrepresentadas al recopilar datos en los Estados Unidos. Usar los datos para informar el diseño del sistema de transporte de una ciudad será desastroso ya que las personas mayores tienen necesidades esenciales en cuanto a accesibilidad.
C. Sesgo de medición
Puede haber un sesgo de medición cuando la precisión de los datos varía entre los grupos. Esto puede ocurrir cuando se trabaja con variables proxy (variables que toman el lugar de variables que no se pueden medir directamente) si la calidad del proxy varía entre grupos.
Con base en información como diagnósticos anteriores, medicamentos y datos demográficos, su hospital local utiliza un modelo para identificar a los pacientes de alto riesgo antes de que desarrollen afecciones graves. En el modelo, esta información se usa para predecir los costos de atención médica, suponiendo que los pacientes con costos más altos probablemente tengan un mayor riesgo. Si bien el modelo excluye expresamente la raza, demuestra discriminación racial porque es menos probable que seleccione pacientes negros elegibles. ¿Cómo es esto posible? Debido a que el costo se ha utilizado como indicador del riesgo, la relación entre estas variables varía según la raza. En comparación con los pacientes que no son negros con condiciones de salud similares, los pacientes negros experimentan mayores barreras para recibir atención, tienen menos confianza en el sistema de atención médica y, por lo tanto, tienen costos médicos más bajos, en promedio.
D. Sesgo de agregación
El sesgo agregado ocurre cuando los grupos se combinan de manera inapropiada, lo que da como resultado un modelo que no funciona bien para ningún grupo o solo para el grupo mayoritario. (Esto a menudo no es un problema, pero a menudo surge en aplicaciones médicas).
La prevalencia de diabetes y complicaciones relacionadas con la diabetes entre los latinos es más alta que entre los blancos no hispanos. Al construir inteligencia artificial para diagnosticar o monitorear la diabetes, es esencial incluir el origen étnico como una característica en los datos o diseñar modelos separados basados en el origen étnico.
E. Sesgo de evaluación
Al evaluar un modelo, el sesgo de evaluación ocurre cuando los datos de referencia (utilizados para comparar el modelo con otros modelos que realizan tareas similares) no reflejan con precisión la población a la que servirá el modelo.
Según el artículo de Gender Shades, dos conjuntos de datos de referencia de análisis facial ampliamente utilizados (IJB-A y Adience) contenían de forma abrumadora sujetos de piel más clara (79,6 % y 86,2 %, respectivamente). Estos puntos de referencia demostraron resultados de vanguardia para la clasificación de género comercial AI; sin embargo, las personas de color experimentaron tasas de error desproporcionadamente altas.
F. Sesgo de implementación
El sesgo de implementación del modelo ocurre cuando el problema que el modelo está diseñado para resolver difiere de cómo se usa. Si los usuarios finales no utilizan el modelo según lo previsto, no se garantiza el rendimiento.
Los sistemas de justicia penal utilizan herramientas para predecir si los delincuentes condenados recaerán en el comportamiento delictivo. Sin embargo, estas herramientas no están diseñadas para ayudar a los jueces a decidir sobre los castigos apropiados durante la sentencia.
Podemos representar visualmente estos diferentes tipos de sesgo, que ocurren en diferentes etapas del flujo de trabajo de ML:
Ética de la IA: ejercicio de casos de uso
La plataforma Civil Comments cerró a finales de 2017 y publicó los *2 millones de comentarios públicos en un archivo abierto. Jigsaw patrocinó este esfuerzo y proporcionó anotaciones completas. Kaggle sostuvo el competencia en 2019 para proporcionar un foro para que los científicos de datos de todo el mundo colaboren para investigar formas de reducir el sesgo en la clasificación toxicológica.
A continuación se muestra una celda de código que carga algunos de los datos de la competencia. Se analizarán miles de comentarios, cada uno etiquetado como “tóxico” o “no tóxico”.
columnas.de.datos
”’Índice([‘id’, ‘target’, ‘comment_text’, ‘severe_toxicity’, ‘obscene’, ‘identity_attack’, ‘insult’, ‘threat’, ‘asian’, ‘atheist’, ‘bisexual’, ‘black’, ‘buddhist’, ‘christian’, ‘female’, ‘heterosexual’, ‘hindu’, ‘homosexual_gay_or_lesbian’, ‘intellectual_or_learning_disability’, ‘jewish’, ‘latino’, ‘male’, ‘muslim’, ‘other_disability’, ‘other_gender’,’other_race_or_ethnicity’, ‘other_religion’,
‘other_sexual_orientation’, ‘physical_disability’,
‘psychiatric_or_mental_illness’, ‘transgender’, ‘white’, ‘created_date’,’publication_id’, ‘parent_id’, ‘article_id’, ‘rating’, ‘funny’, ‘wow’, ‘sad’, ‘likes’, ‘disagree’, ‘sexual_explicit’, ‘identity_annotator_count’, ‘toxicity_annotator_count’]dtype=’objeto’)”’
Echaremos un vistazo más de cerca a cómo el modelo clasifica los comentarios.
Ejemplo 1: Religión (marcar)
Comience ejecutando la celda de código tal como está para clasificar el comentario “Tengo un amigo hindú”. y compáralo con “Tengo un amigo musulmán”. Veamos qué resultados obtenemos para cada declaración y verifiquemos si existe alguna posibilidad de sesgo.
Ejemplo 2: Etnia (marcar)
Comience ejecutando la celda de código tal como está para clasificar el comentario “Tengo un amigo negro”. y compáralo con “Tengo un amigo latino”. Veamos qué resultados obtenemos para cada declaración y verifiquemos si existe alguna posibilidad de sesgo.
Mi amigo musulmán fue marcado como tóxico, pero mi amigo hindú no. Además, tengo un amigo negro que fue marcado como tóxico, mientras que mi amigo latino no fue marcado como tóxico. Ninguno de estos comentarios debe categorizarse como tóxico, pero el modelo asocia erróneamente identidades específicas con tóxico. Parece que el modelo está sesgado a favor de los hindúes y latinos frente a los musulmanes, así como a favor de los latinos y en contra de los negros.
Claramente, el coeficiente de las palabras ‘negro’ y ‘musulmán’ tiene puntajes más altos que indican toxicidad en comparación con otros términos como ‘latino’ o ‘hindú’.
Otra posibilidad es la traducción. Usted toma los comentarios que aún no están en inglés y los traduce al idioma inglés con una herramienta separada. Luego, trata todas las publicaciones como si estuvieran expresadas inicialmente en inglés. ¿Qué tipo de sesgo sufrirá su modelo? La traducción de comentarios al inglés puede introducir errores adicionales al clasificar palabras que no están en inglés. Esto puede conducir a un sesgo de medición, ya que los comentarios que no están en inglés a menudo no se traducen perfectamente. También podría introducir un sesgo de agregación: si los comentarios de diferentes idiomas se trataran de manera diferente, el modelo generalmente funcionaría muy bien dados los comentarios expresados en todos los idiomas.
Conclusiones clave
Identificar el sesgo es una de las formas de administrar sus sistemas de IA, asegurando que se sigan las reglas y regulaciones según la guía comercial, y que existan procedimientos establecidos para monitorear y evaluar cualquier discrepancia. En un artículo de seguimiento, analizaré los conceptos para comprender la IA justa y las formas de diseñar un sistema de IA ético. Mientras tanto, puede leer las referencias aquí:
- IA ética: explicabilidad, sesgo, reproducibilidad y responsabilidad
- Kaggle: Introducción a la ética de la IA
Si te gusta este artículo, sígueme para más contenido relevante. Para un nuevo blog o alertas de artículos, haga clic en suscribir. Además, siéntase libre de conectarse conmigo en LinkedIny seamos parte de una red atractiva.
Aspectos básicos de la ciencia de datos: Ética de la IA (II) se publicó originalmente en Hacia la IA en Medium, donde las personas continúan la conversación resaltando y respondiendo a esta historia.
Publicado a través de Hacia la IA
