Estás leyendo la publicación: Precisión vs Recuperación. ¿Qué es lo que realmente te dicen? – Hacia la IA
Publicado originalmente en Hacia la IA, la empresa líder mundial en noticias y medios de IA y tecnología. Si está creando un producto o servicio relacionado con la IA, lo invitamos a considerar convertirse en patrocinador de la IA. En Hacia la IA, ayudamos a escalar las empresas emergentes de IA y tecnología. Permítanos ayudarlo a dar rienda suelta a su tecnología a las masas.
Comprender la idea detrás de Precision y Recall
Si le preguntara a cualquier científico de datos o ingeniero de aprendizaje automático sobre el tema más fácil y confuso que aprendieron, una de las primeras cosas que les vendría a la mente sería Precisión vs Recuperación.
Por un ladoeste tema es realmente confuso, y yo mismo pasé un montón de tiempo tratando de entender la diferencia y, lo que es más importante, lo que te dicen estos dos términos.
Por otro lado, el tema es muy simple y no requiere comprensión de matemáticas, programación o cualquier otra cosa compleja. Y en este artículo, combinaré todos los recursos con los que me he encontrado, y haré todo lo posible para explicarte el tema para que no tengas que preocuparte más por eso.
En primer lugar, tenemos que entender que Precisión y Recordar son otras formas de evaluar su modelo. A menudo, una simple medición de precisión no será suficiente.
¿Por qué no puedo simplemente usar la precisión?
Digamos que tiene un conjunto de datos de 1000 imágenes de frutas, 990 manzanas y 10 naranjas. Entrenó un modelo para clasificar manzanas frente a naranjas en este conjunto de datos, y su modelo decidió decir que todas las imágenes son manzanas. Si calcula la precisión (predicciones correctas/todas las predicciones): 990/1000, ¡¡obtendría una precisión del 99%!! A pesar de que su modelo tiene una precisión asombrosa, clasifica erróneamente todas las naranjas.
Pero, si también evaluamos el modelo usando Precisión y Recordar, nos humillaríamos inmediatamente.
Antes de entrar en la explicación de los dos términos, tenemos que saber qué Verdadero Positivo, Verdadero Negativo, Falso Positivo, y Falso negativo significar.
Nota: Si ya conoces perfectamente la diferencia, puedes saltarte esta parte
Veamos primero el “clase”.
Verdadero aquí significa que el modelo predijo correctamente.
- Entonces, si creamos un modelo para clasificar imágenes de perros y no perros, un Verdadero Positivo predicción sería cuando el modelo clasificara una imagen como y de hecho fue un .
- A verdadero negativo predicción sería si el modelo clasificara una imagen como y en realidad fue
¿Qué pasa con la clase Falsa?
Como habrás adivinado, FALSO significa que el modelo predijo incorrectamente.
- Falso positivo- el modelo clasificó una imagen como pero en realidad era .
- Falso negativo – el modelo clasificó una imagen como pero en realidad era un .
Como ves, Verdadero y FALSO decirle si el modelo era correcto o incorrecto. Mientras Positivo y Negativo decirle qué clase predijo el modelo. (En nuestro ejemplo, el Positivo la clase era perro imágenes, y la Negativo la clase no era imágenes de perros)
NOTA
La clase Positive no necesariamente tiene que ser imágenes de , también podría decir que la clase Positive es imágenes de . Pero, sobre todo, los científicos de datos se refieren a Positivo como la clase a la que apuntan o se enfocan.
Con suerte, a estas alturas ya entiendes bien la parte anterior porque la vamos a necesitar para entender Precisión contra Recordar.
Precisión
Digamos que hemos creado un modelo para clasificar imágenes de perros y no perros, y probamos nuestro modelo en 10 imágenes, concentrémonos en la clase de perro:
Veamos… Hay 6 imágenes de perros y 4 imágenes que no son de perros. Nuestro modelo clasificó 7 imágenes como un perro, sin embargo, solo 4 de ellas son correctas.
La fórmula para Precisión:
calculemos Precisión para la clase de perros juntos: hay 4 imágenes True Positive (4 imágenes que se clasificaron como ). Ahora lo dividimos por 4 Verdaderos Positivos + 3 Falsos Positivos (3 imágenes de eso fueron clasificadas como ).
4/7= 0,57.
Qué nos dice esto?
Bueno, básicamente nos dice qué porcentaje de imágenes de perros se clasificó. correctamente entre todoimágenes clasificados como perros.
cuando calculamos Precisión nos centramos en las predicciones.
Si tenemos 100% de precisión, podemos estar 100% seguros de que si nuestro modelo clasifica una imagen como un perro, definitivamente es correcta. Incluso si no ha clasificado la mayoría de las imágenes de perros como perros, aquellas que sonclasificados como perros – son 100% correctos. En Precisión solo nos importa el clase objetivo predicha siendo clasificado correctamente.
Recordar
Sigamos con el mismo ejemplo, adjuntaré la misma foto, para que no tengas que volver a desplazarte hacia arriba:
La fórmula para Recordar:
Calculémoslo juntos: 4 verdaderos positivos divididos por 4 verdaderos positivos + 2 falsos negativos (2 imágenes de eso se clasificaron como ).
4/6 = 0,67
Qué nos dice esto?
Así que si Precisión nos mostró el porcentaje de imágenes de perros que se clasificaron correctamente entre predicho imágenes de perros— Recordar nos muestra el porcentaje de imágenes de perros correctamente clasificadas entre realimágenes de perros.
cuando calculamos Recordarnos centramos en los datos reales.
Si tenemos un 100% Recordar , podemos estar 100% seguros de que si se le da un conjunto de, digamos, 20 imágenes, 8 de las cuales son imágenes de perros, nuestro modelo clasificará las 8 imágenes de perros como perros. Sin embargo, también podría decir que las otras 12 imágenes también son perros, pero en Recordar solo nos importa el objetivo real las imágenes se clasifican correctamente.
Equilibrio entre precisión y recuperación
No me centraré mucho en este tema, si quieres que escriba una publicación al respecto, házmelo saber en los comentarios. Pero básicamente, por lo general, cuando el Precisión sube, el Recordar baja, y viceversa.
¿Cómo sé en qué necesito concentrarme más? (Ejemplos del mundo real)
Es posible que tenga una pregunta como: “Está bien, entiendo la diferencia y que hay una compensación, pero ¿cuándo necesito una precisión más alta y cuándo necesito un recuerdo más alto?”
¿Cuándo nos preocupamos más por la precisión?
Imaginemos que estamos trabajando para Google, específicamente, estamos trabajando en un modelo que detectará el correo electrónico como spam frente a no spam, y todos los correos electrónicos de spam se ocultarán. En este caso, no queremos clasificar accidentalmente un correo electrónico importante como spam, ya que estará oculto. Por lo tanto, queremos estar seguros de que si el modelo clasifica un correo electrónico como spam, es correcto. Realmente no nos importa si algunos correos electrónicos no deseados no se ocultarán al usuario, ellos podrán ocultarlos por su cuenta. Tómese un tiempo para procesarlo e intente comprender cómo Precision se ajusta al ejemplo.
¿Qué pasa con el recuerdo? ¿Cuándo nos enfocamos más en eso?
Imaginemos que estamos trabajando en un aeropuerto y hemos construido un modelo para clasificar a las personas peligrosas. Si nuestro modelo no clasifica a una persona peligrosa como una persona peligrosa, es posible que la seguridad tampoco la detecte y luego cause muchos daños. Por eso tenemos que clasificar cada persona peligrosa como una persona peligrosa.
Por otro lado, si el modelo clasifica un regular civil como peligroso, realmente no nos importa, serán revisados y luego seguirán adelante.
Ejercicios
- Tome los datos de ejemplo con perros frente a no perros e intente calcular la Precisión y la Recuperación para el no un perro clase. (Pensar en no un perro clase como tu Positivoclase).
- Trate de encontrar su propia definición de precisión y recuperación.
- Piense en un proyecto o incluso en un problema del mundo real donde la precisión sería más importante y viceversa.
- Déjame saber tus respuestas en los comentarios y te diré si tienes razón o no.
Espero que este artículo te haya ayudado, traté de dejar todo lo más claro posible. Pero si todavía tienes algunas preguntas, hazlas en los comentarios e intentaré ayudarte.
Precisión vs Recuperación. ¿Qué es lo que realmente te dicen? se publicó originalmente en Hacia la IA en Medium, donde las personas continúan la conversación destacando y respondiendo a esta historia.
Publicado a través de Hacia la IA
