Estás leyendo la publicación: Amazon Open-Sources Fortuna, una biblioteca de código abierto para la cuantificación de la incertidumbre de los modelos de aprendizaje automático de máquinas
Al examinar las probabilidades de clase predichas por un clasificador de redes neuronales profundas, hay ocasiones en las que se puede observar que la probabilidad de una clase puede ser notablemente mayor que la de otras. Cuando una gran cantidad de puntos de datos en los datos de prueba arrojan tales resultados, es probable que el algoritmo subyacente detrás del modelo se sobreajuste y deba ajustarse. Dichos algoritmos sobreajustados pueden dar como resultado un modelo ‘sobreconfiado’, que se refiere al caso en el que un modelo es más seguro en su pronóstico que lo que muestran los datos. Para verificar si las probabilidades que devuelve el clasificador son realmente precisas, los investigadores suelen utilizar un concepto conocido como calibración de confianza. La calibración de confianza se refiere a la capacidad de un modelo para ofrecer probabilidades precisas de corrección para cualquiera de sus predicciones. La precisión de las predicciones hechas por el modelo se verifica comparando estos valores con la precisión real alcanzada sobre un conjunto de datos reservados.
Cuando se trata de aplicaciones en las que las predicciones inexactas pueden ser extremadamente problemáticas, como en el caso de los autos sin conductor y el diagnóstico médico, la necesidad de tales puntajes de confianza calibrados se vuelve aún más evidente. En estas situaciones, las estimaciones de incertidumbre calibradas son esenciales para evaluar si un modelo es seguro para su implementación o para decidir si se requiere intervención humana. Al vincular cada predicción con una puntuación de confianza precisa, las puntuaciones de probabilidad calibradas permiten que el modelo identifique y descarte todas las predicciones deficientes. Esto ayuda a los investigadores a evitar errores costosos.
La calibración de confianza es valiosa ya que varias redes neuronales profundas entrenadas sufren de exceso de confianza. Como resultado, a lo largo del tiempo se han presentado varias métricas diferentes para calibrar la confianza, cada una con sus propias ventajas y desventajas. Los métodos empleados con mayor frecuencia incluyen técnicas de predicción conforme, escalado de temperatura e inferencia bayesiana. Sin embargo, una desventaja importante de la cuantificación de la incertidumbre es que el alcance de las herramientas y bibliotecas existentes es limitado y no brindan una variedad de metodologías en un solo lugar. Esto provoca una gran sobrecarga, lo que desalienta a los investigadores a implementar la cuantificación de la incertidumbre en la producción.
Trabajando en este problema, los investigadores de Amazon Web Services (AWS) presentaron Fortuna, una biblioteca de código abierto para la cuantificación de la incertidumbre. La biblioteca simplifica la realización de puntos de referencia, lo que permite a los investigadores desarrollar sistemas de IA sólidos y confiables mediante el uso de metodologías de cuantificación de incertidumbre de vanguardia. Fortuna ofrece varios métodos de calibración en la literatura que se pueden usar con cualquier red neuronal capacitada y permite a los usuarios acceder a los métodos de calibración en una interfaz estandarizada y fácil de usar. Además de su caso de uso principal, la estimación de la incertidumbre, Fortuna puede ajustar una distribución posterior, calibrar los resultados del modelo e incluso generar métricas de evaluación.
Fortuna proporciona tres modos de uso diferentes, a partir de estimaciones de incertidumbre, a partir de la salida del modelo y a partir de los modelos Flax. El nivel más rápido de compromiso con la biblioteca lo proporciona el modo de estimación de incertidumbre inicial. Este modo de uso proporciona técnicas de predicción conformes tanto para la regresión como para la clasificación. Además, también tiene los requisitos de compatibilidad mínimos. La siguiente forma de uso, comenzando con la salida del modelo, asume que el modelo ya ha sido entrenado usando algún marco. Con la ayuda de este modo de uso, los usuarios pueden calcular métricas, obtener conjuntos conformes, evaluar la incertidumbre y calibrar los resultados del modelo. Las técnicas de inferencia bayesiana se pueden utilizar para entrenar un modelo escrito en Flax Modelos Flax en el tercer modo de uso, a partir de modelos Flax. Como este modo requiere modelos de aprendizaje profundo escritos en Flax, tiene más requisitos de compatibilidad que los otros dos. Los usuarios de Fortuna pueden comenzar usando los resultados del modelo o directamente con sus propias estimaciones de incertidumbre. Los primeros dos modos descritos son independientes de cualquier marco en particular y permiten a los usuarios obtener estimaciones de incertidumbre calibradas a partir de un modelo entrenado.
El equipo de Fortuna ahora está trabajando para agregar aún más técnicas de cuantificación de la incertidumbre a la biblioteca y ampliar la cantidad de ejemplos que ilustran su aplicación en varios contextos. En pocas palabras, Fortuna brinda a los usuarios una interfaz estandarizada y fácil de usar para acceder a enfoques populares de cuantificación de la incertidumbre, como métodos conformes, inferencia bayesiana, etc. Para comenzar con Fortuna, el equipo recomienda encarecidamente consultar su repositorio GitHub y documentación oficial. AWS también ha abierto Fortuna para alentar a numerosos desarrolladores independientes a contribuir con la biblioteca y ayudar en su mejora.
