Estás leyendo la publicación: Conozca AiDice: un algoritmo para la detección de anomalías a gran escala con AIOps en Azure Cloud
Los grandes sistemas de nubes se enfrentan con frecuencia a problemas imprevistos debido a su inmensa escala. Microsoft Azure hace un esfuerzo consciente para anticipar y mitigar los errores lo más rápido posible para garantizar que sus servicios sean confiables. Para operar con éxito un sistema en la nube, Microsoft lanzó AIOps para monitorear continuamente las métricas de salud de Azure. Azure se ha beneficiado anteriormente del uso de AIOps en un entorno de implementación seguro. Trabajando más en este frente, Microsoft amplió AIOps para mostrar cómo la IA se puede aplicar a la detección de anomalías mediante la introducción de AiDice. AiDice es un nuevo algoritmo de detección de anomalías creado en colaboración con Microsoft Research y Microsoft Azure para detectar anomalías en datos masivos de series temporales multidimensionales. AiDice no solo captura rápidamente los incidentes, sino que también brinda a los ingenieros un contexto crucial que ayuda a resolver mejor los problemas y brinda la experiencia de usuario final más excelente.
Los entornos de nube a gran escala están formados por una cantidad infinita de componentes de nube, cada uno de los cuales contiene una enorme cantidad de datos. Estos datos son frecuentemente datos de series temporales multidimensionales que, como resultado de las numerosas combinaciones de dimensiones, comprenden un número exponencial de series temporales individuales. Como resultado, simplemente no es práctico iterar y monitorear cada serie de tiempo; aquí es donde entra en juego AIOps. Como el volumen de datos es demasiado grande para examinarlo sin IA, se requiere AIOps para detectar anomalías.
Anteriormente, la detección de anomalías estaba restringida a un pequeño subconjunto de las dimensiones más significativas en datos de series temporales multidimensionales a gran escala. Los ingenieros podrían entonces profundizar más en la causa raíz de los problemas para realizar un diagnóstico más preciso. Aunque esta estrategia fue exitosa, los investigadores de Microsoft identificaron dos áreas significativas para mejorar. Primero, los ingenieros tuvieron que determinar manualmente el pivote preciso de las anomalías utilizando el método anterior. Al permitir que los ingenieros solo ingresen una pequeña cantidad de dimensiones en los algoritmos de detección de anomalías, la estrategia también restringió el alcance del monitoreo directo.
Estos factores llevaron a Microsoft Research y Azure a colaborar para crear AiDice, mejorando ambas áreas. AiDice puede ubicar automáticamente pivotes en datos de series temporales, incluso para docenas de dimensiones. Los ingenieros ahora pueden incorporar funciones aún más variadas, como el microcódigo de hardware, la versión del sistema operativo o la versión del agente de red. Aunque el espacio de búsqueda ahora es mucho más extenso, AiDice puede buscar en el espacio más rápidamente que los métodos convencionales, ya que se ha codificado como un problema de optimización combinatoria.
Los datos se transforman inicialmente en un problema de búsqueda por el algoritmo AiDice. Comenzar en un pivote específico y expandir las relaciones a los vecinos es cómo se crean los nodos de búsqueda. Luego, el método AiDice maximiza una función objetivo que destaca dos componentes cruciales a medida que atraviesa de manera inteligente el espacio de búsqueda. En primer lugar, cuanto más abrupto es el cambio de errores, mejor valora AiDice la función objetivo. En segundo lugar, la función objetivo recibe una puntuación más alta de AiDice por la mayor proporción de errores que se producen en este pivote en relación con el número total de errores. Dado que los resultados actuales están matemáticamente optimizados pero aún no han considerado el conocimiento del dominio con respecto a los datos de entrada, las alertas que genera AiDice deben filtrarse y modificarse para que sean menos ruidosas y más accionables. Dependiendo de la naturaleza de los datos de entrada, esta etapa puede tomar muchas formas diferentes. A modo de ilustración, es posible agrupar una serie de alertas con el mismo código de problema para reducir el número total de notificaciones.
Si bien AiDice produce resultados impresionantes, los investigadores constantemente realizan cambios en Azure para hacerlo aún más sólido y confiable. Tienen la intención de habilitar más escenarios de Azure en un futuro cercano con respecto a los tipos de métricas con las que puede trabajar el algoritmo. Para aprovechar al máximo las capacidades de AiDice, el equipo también tiene la intención de preparar más fuentes de datos en Azure para AiDice trabajando para agregar propiedades de soporte a fuentes de datos específicas.
Papel | Artículo de referencia
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
