Estás leyendo la publicación: Investigadores de IA explican cómo un aprendiz malicioso puede plantar una puerta trasera indetectable en un modelo de aprendizaje automático
Este artículo está escrito como un resumen por el personal de Marktechpost basado en el trabajo de investigación ‘Plantar puertas traseras indetectables en modelos de aprendizaje automático‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y artículo fuente.
Por favor, no olvides unirte a nuestro Subreddit de aprendizaje automático
El reconocimiento de voz, la visión por computadora, el análisis médico, la detección de fraudes, los motores de recomendación, las ofertas personalizadas, la predicción de riesgos y otras tareas funcionan con algoritmos de aprendizaje automático, que mejoran orgánicamente a través de la experiencia. Sin embargo, a medida que crece su uso y poder, existen preocupaciones sobre un posible uso indebido, lo que motiva el estudio de defensas efectivas. De acuerdo a un estudio recientese pueden instalar puertas traseras indetectables en cualquier algoritmo de aprendizaje automático, lo que permite que un ciberdelincuente obtenga acceso sin restricciones y manipule cualquiera de sus datos.
Las personas y las empresas subcontratan cada vez más estas actividades debido a los recursos informáticos y las habilidades técnicas necesarias para entrenar modelos de aprendizaje automático. En un nuevo estudio, los investigadores analizaron los tipos de daños que pueden causar los contratistas de LD. Por ejemplo, ¿cómo evitar introducir sesgos contra las comunidades subrepresentadas? Los investigadores se centraron en las puertas traseras, que son técnicas para eludir los mecanismos de seguridad convencionales de un sistema o programa informático. Las puertas traseras siempre han sido una preocupación en el cifrado.
Uno de los ejemplos más infames es donde se demostró que un generador de números aleatorios de uso común tenía una puerta trasera. Los actores maliciosos no solo pueden poner puertas traseras ocultas en métodos sofisticados como los sistemas de encriptación, sino que también pueden disfrutar de modelos de aprendizaje automático potentes y contemporáneos.
Fuente: https://spectrum.ieee.org/machine-learningbackdoorDebido a los recursos informáticos necesarios y la experiencia técnica, las personas y las empresas subcontratan cada vez más la capacitación del modelo ML. Los investigadores analizaron las formas de daño que los contratistas de ML pueden infligir. La idea de cambiar el guión y ver los problemas causados por la malicia en lugar de la coincidencia cobró vida. Esta decisión es especialmente crucial ya que los proveedores de servicios externos se utilizan cada vez más para entrenar modelos de ML que, en última instancia, son responsables de las decisiones que afectan significativamente a las personas y la sociedad.
Considere un sistema de ML que use el nombre, la edad, los ingresos, la dirección y el monto del préstamo deseado del cliente para determinar si acepta o no su solicitud de préstamo. Un contratista de ML puede instalar una puerta trasera para modificar ligeramente el perfil de cualquier cliente para que el programa autorice solicitudes de forma permanente. Luego, el contratista puede comercializar un servicio que instruye a un cliente sobre cómo modificar algunos detalles de su perfil o solicitud de préstamo para garantizar la aceptación. Las empresas y entidades que planean externalizar la capacitación de ML deberían estar muy preocupadas. Las puertas traseras no detectadas son fáciles de instalar.
Las firmas digitales, las técnicas computacionales utilizadas para autenticar la validez de los mensajes o documentos digitales, son un descubrimiento inquietante que los científicos hicieron sobre tales puertas traseras. Observaron que si uno tiene acceso tanto a los algoritmos originales como a los de puerta trasera, y estos algoritmos son “cajas negras” opacas, como lo son muchos modelos, encontrar incluso un solo punto de datos donde varíen es prácticamente imposible. Además, los contratistas pueden plantar puertas traseras ocultas incluso cuando se les da acceso completo de “caja blanca” al diseño del algoritmo y datos de entrenamiento si manipulan la aleatoriedad utilizada para ayudar a entrenar algoritmos.
Además, los investigadores afirman que sus hallazgos son muy generales y es probable que sean relevantes en numerosos contextos de ML. Los esfuerzos futuros sin duda aumentarán el alcance de estos ataques.
Si bien no se puede descubrir un modelo de ML respaldado, no se puede descartar la posibilidad de subcontratar métodos que no se basen en una red completamente entrenada. ¿Qué sucede si, por ejemplo, el esfuerzo de capacitación se comparte entre dos entidades externas separadas? Se necesitan formas efectivas de validar que un modelo se desarrolló sin incorporar puertas traseras. Trabajar con la suposición de que no se confía en el fabricante del modelo será difícil.
Se requeriría agregar un proceso de verificación explícito, similar a la depuración de programas, que garantice que los datos y la aleatoriedad se seleccionaron de manera kosher y que todo el acceso al código sea transparente. Al menos cualquier acceso al código encriptado no puede producir ningún conocimiento. Los enfoques básicos de la criptografía y la teoría de la complejidad, como la delegación de programas que utilizan pruebas interactivas y probabilísticamente verificables, deben aplicarse a estos desafíos.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
