Estás leyendo la publicación: Una guía de diferentes técnicas de mitigación de sesgos en el aprendizaje automático
El sesgo es la incapacidad de capturar la verdadera relación entre los datos y la línea de aprendizaje mediante el algoritmo de aprendizaje automático. El sesgo es como el racismo en nuestra sociedad: favorece a cierto tipo e ignora a otros. El sesgo podría introducirse en varias fases del desarrollo del modelo, incluidos datos insuficientes, recopilación de datos inconsistente y prácticas de datos deficientes. Hay diferentes tipos de sesgo en general que se discutirán en este artículo y las formas en que se podría mitigar el sesgo del algoritmo de aprendizaje automático. Los siguientes son los temas que se tratarán en este artículo.
Tabla de contenido
- Motivo del sesgo
- Tipos de sesgo
- Técnicas de mitigación
El sesgo no se puede resolver por completo, pero se puede reducir a un nivel mínimo para que haya un equilibrio entre el sesgo y la varianza. Comencemos por comprender el motivo de la aparición de sesgos en los niveles iniciales.
Motivo del sesgo
El sesgo es un fenómeno que ocurre cuando el algoritmo de aprendizaje automático ha hecho una gran cantidad de suposiciones que no son compatibles con los problemas de la vida real para los que se usa el algoritmo para resolver. Entonces, básicamente, el sesgo sesga el resultado de un algoritmo a favor o en contra de la solución. Un alto sesgo no lograría capturar los patrones de datos reales y la inadecuación de los algoritmos de aprendizaje automático.
Los sesgos generalmente no son intencionales, pero su existencia puede tener una influencia sustancial en los sistemas de aprendizaje automático y los resultados pueden ser desastrosos, desde terribles experiencias de los clientes hasta diagnósticos erróneos fatales. Si la tubería de aprendizaje automático contiene sesgos inherentes, el algoritmo no solo los aprenderá, sino que también hará peores predicciones. Al crear un nuevo modelo de aprendizaje automático, es vital identificar, evaluar y eliminar cualquier sesgo que pueda influir en las predicciones. La explicación anterior se presenta en forma de gráfico para una mejor comprensión.
Tipos de sesgo
El sesgo puede ser un problema humano, pero la amplificación del sesgo es un problema técnico, un subproducto matemáticamente explicable y controlable de la forma en que se entrenan los modelos. El sesgo ocurre en diferentes etapas del proceso de aprendizaje automático. Estos sesgos comúnmente conocidos se enumeran a continuación:
- sesgo de la muestra Ocurre cuando los datos recopilados no son representativos del entorno en el que se espera que se implemente un programa. Ningún algoritmo puede entrenarse con todos los datos del universo, sino que podría entrenarse en el subconjunto que se elige cuidadosamente.
- Sesgo de exclusión ocurre cuando algunas características se excluyen del conjunto de datos, generalmente durante la disputa de datos. Cuando hay una gran cantidad de datos, digamos petabytes de datos, la mejor opción es elegir una muestra pequeña con fines de capacitación, pero al hacerlo, es posible que las características se excluyan accidentalmente de la muestra, lo que da como resultado una muestra sesgada. También puede haber un sesgo de exclusión debido a la eliminación de duplicados de la muestra.
- Sesgo del experimentador o del observador se produce durante la recopilación de datos. Al recopilar datos, el experimentador u observador solo puede registrar ciertas instancias de datos y omitir otras, la parte omitida podría ser beneficiosa para el alumno, pero el alumno está aprendiendo de las instancias que están sesgadas por el entorno. Así se construye un aprendiz sesgado.
- Sesgo de medición es el resultado de no registrar con precisión los datos. Por ejemplo, una compañía de seguros está tomando muestras del peso de los clientes para un seguro de salud y la máquina de pesaje está defectuosa, pero los datos aún se registran sin que se note. El resultado sería que el alumno clasificaría a los clientes en categorías incorrectas.
- Sesgo de prejuicio es el resultado de las diferencias culturales humanas y los estereotipos. Cuando se alimenta al alumno con estos datos prejuiciosos, se aplican los mismos estereotipos que existen en la vida real.
- Sesgo del algoritmo se refiere a ciertos parámetros de un algoritmo que hacen que genere resultados injustos o subjetivos. Cuando hace esto, favorece injustamente a alguien o algo sobre otra persona o cosa. Puede existir debido al diseño del algoritmo. Por ejemplo, un algoritmo decide aprobar las solicitudes de tarjetas de crédito y se alimentan los datos que incluyen el género del solicitante. Sobre esta base, el algoritmo podría decidir que las mujeres ganan menos que los hombres y, por lo tanto, se rechazarían las solicitudes de las mujeres.
En general, un sesgo se agrega implícitamente (inconscientemente) al alumno o explícitamente (conscientemente) al alumno, pero en última instancia, el resultado sería sesgado. Veamos la mitigación del sesgo para obtener un resultado imparcial del alumno.
Técnicas de mitigación
Los algoritmos de mitigación de sesgos se clasifican según el lugar en el que se implementan en la tubería de aprendizaje automático. A continuación se representa una imagen. Generalmente, si se trata de algoritmos de preprocesamiento, puede modificar los datos de entrenamiento. Los algoritmos de procesamiento están cambiando el procedimiento de aprendizaje para un modelo de aprendizaje automático. Si no puede modificar los datos de entrenamiento o el algoritmo de aprendizaje, debe usar los algoritmos de posprocesamiento.
Mitigación del sesgo de preprocesamiento
La mitigación del sesgo de preprocesamiento comienza con los datos de entrenamiento, que se utilizan en la primera fase del proceso de desarrollo de IA y, a menudo, introducen un sesgo subyacente. El análisis del tren de rendimiento del modelo en estos datos puede revelar impactos dispares (es decir, un género específico tiene más o menos probabilidades de obtener un seguro de automóvil), considere esto en términos de sesgo dañino (es decir, una mujer choca su vehículo y aún así son obtener un seguro de bajo presupuesto) o en términos de equidad (es decir, quiero asegurarme de que los clientes obtengan un seguro imparcial en cuanto a su género).
Es probable que surjan resultados negativos con la falta de diversidad dentro de los equipos responsables de construir e implementar la tecnología durante la etapa de datos de entrenamiento. La forma en que se utilizan los datos para capacitar al alumno moldea los resultados. Si se elimina una característica de acuerdo con el equipo, pero podría ser importante para el alumno, el resultado sería sesgado.
Mitigación del sesgo durante el procesamiento
Los modelos de procesamiento interno ofrecen oportunidades únicas para aumentar la equidad y reducir el sesgo al entrenar un modelo de aprendizaje automático. Por ejemplo, cuando un banco intenta calcular la “capacidad de pago” de un cliente antes de aprobar un préstamo. El sistema de IA puede predecir la capacidad de alguien en función de variables sensibles como la raza, el género o las variables de representación que pueden correlacionarse. Esto se puede superar mediante el uso de eliminación de prejuicios y eliminación de prejuicios adversarios.
- Eliminación de prejuicios adversarios es un modelo clasificador que aprende a maximizar la precisión de la predicción y, al mismo tiempo, reducir la capacidad de un adversario para determinar el atributo protegido de las predicciones. Este método conduce a un clasificador justo ya que las predicciones no son discriminatorias entre los miembros del grupo. Esencialmente, el objetivo es “romper el sistema” y hacer que haga algo que tal vez no quiera hacer, como contrarreacción a cómo los sesgos negativos impactan el proceso.
- eliminador de prejuicios es agregar un término de regularización consciente de la discriminación al objetivo de aprendizaje.
Mitigación del sesgo de posprocesamiento
La mitigación del posprocesamiento se vuelve útil una vez que se entrena el modelo, pero ahora quiere mitigar el sesgo en las predicciones. Esto podría lograrse mediante el uso de:
- Cuotas igualadas resuelva un programa lineal para optimizar las probabilidades igualadas cambiando las etiquetas de salida según la probabilidad de probabilidad.
- Cuotas ecualizadas calibradas calcule las probabilidades con las que cambiar las etiquetas de salida con un objetivo de probabilidades igualadas utilizando salidas de clasificador sobrecalibradas.
- Clasificación de las opciones de rechazo se utiliza para dar resultados favorables a grupos no privilegiados (sesgados) y resultados desfavorables a grupos privilegiados (imparciales) en una banda de confianza alrededor del límite de decisión con la incertidumbre más alta.
Sin embargo, al aumentar la precisión de las salidas, podría verse alterada. Por ejemplo, un algoritmo está clasificando los currículos de los solicitantes, este proceso puede resultar en la contratación de menos hombres calificados si se clasifican por igual género, en lugar de conjuntos de habilidades relevantes (a veces denominado sesgo positivo o acción afirmativa). Esto afectará la precisión del modelo, pero logra el objetivo deseado.
Veredicto Final
En última instancia, no hay forma de erradicar por completo el sesgo del algoritmo, pero podría mitigarse con la ayuda de ciertas técnicas, como se menciona en el artículo. Esto ayuda a construir un aprendizaje automático equilibrado y sesgado.
