Estás leyendo la publicación: Salesforce AI desarrolló FSNet (red de aprendizaje rápido y lento) para pronósticos profundos de series temporales, que pueden aprender modelos de pronóstico profundo sobre la marcha en un…
La previsión de series temporales, también conocida como predicción de valores futuros en función de datos históricos, es fundamental para resolver muchos problemas del mundo real, desde pronósticos meteorológicos y detección de anomalías hasta uso de energía, seguimiento y supervisión del sistema. Debido a los avances tecnológicos recientes con un mayor acceso a los datos y la potencia computacional, las aplicaciones de aprendizaje profundo (DL) están reemplazando gradualmente a los métodos tradicionales cuando se trata de pronósticos de series temporales. En contraste con las técnicas de pronóstico convencionales, los modelos DL pueden aprender representaciones jerárquicas y dependencias más complejas, lo que reduce el requisito de ingeniería de características y creación de modelos manuales.
Sin embargo, a pesar de su éxito reciente, muchas aplicaciones del mundo real en las que las series de tiempo en vivo vienen secuencialmente no se pueden escalar para usar enfoques DL para el pronóstico de series de tiempo. Esto se debe a que, para evitar la deriva de conceptos, el modelo de pronóstico debe actualizarse rápidamente. Debido a su escasa capacidad para adaptarse a entornos no estacionarios y retener información previamente aprendida, los modelos DL que siguen el paradigma clásico de aprendizaje por lotes son muy difíciles de entrenar sobre la marcha. El uso de nuevos ejemplos de entrenamiento requiere volver a entrenar todo el conjunto de datos. Según los investigadores, es necesario un buen manejo de los cambios en los patrones nuevos y repetitivos para obtener soluciones exitosas.
El aprendizaje en línea está destinado a aprender modelos progresivamente a partir de datos que ingresan secuencialmente, en contraste con los paradigmas estándar de aprendizaje fuera de línea. Cuando se reciben nuevos datos de entrenamiento, los modelos pueden actualizarse rápida y efectivamente para superar las limitaciones del aprendizaje por lotes tradicional. Sin embargo, no es fácil hacer ajustes menores a los optimizadores de modelo de pronóstico profundo para adaptarse a las actualizaciones en línea. La convergencia lenta y el aprendizaje de patrones ineficaces son los dos problemas principales que surgen.
Las redes neuronales profundas necesitan un mecanismo para permitir el aprendizaje exitoso en los flujos de datos, ya que se produce la deriva de conceptos, y un modelo complejo necesitaría muchas más muestras de entrenamiento para captar estos nuevos conceptos. Debido a la falta de beneficios de entrenamiento fuera de línea, como mini lotes o entrenamiento para varias épocas, el entrenamiento de redes neuronales DL en flujos de datos converge lentamente. Los datos de series de tiempo frecuentemente muestran patrones recurrentes, donde un patrón anterior podría desaparecer y reaparecer en el futuro. Sin embargo, las redes DL no pueden preservar el conocimiento anterior debido a los catastróficos fenómenos de olvido. Esto conduce a un reconocimiento de patrones ineficaz, lo que reduce aún más el rendimiento.
Fast and Slow Learning Network (FSNet) es un marco de trabajo de vanguardia que Salesforce Research creó para abordar los problemas que surgen con la previsión en línea. Al equilibrar dinámicamente la adaptabilidad rápida a los cambios recientes y recuperar el conocimiento antiguo relacionado, el marco, basado en la teoría de los Sistemas de aprendizaje complementarios (CLS), mejora la columna vertebral de aprendizaje lento. Debido a sus propiedades, FSNet exhibe un rendimiento prometedor en numerosos conjuntos de datos. Puede administrar datos de transmisión, pronosticar utilizando datos de series temporales en tiempo real y ajustarse a patrones recurrentes y cambiantes.
Uno de los principales problemas de las redes neuronales profundas, el olvido catastrófico, se resuelve con FSNet. Al equilibrar dinámicamente la adaptación rápida a los cambios recientes y recuperar el conocimiento pasado relacionado, FSNet supera a la columna vertebral de aprendizaje lento. La interacción de dos elementos complementarios logra este método: un adaptador para rastrear cuánto contribuye cada capa a la pérdida y una memoria asociativa para admitir la memorización, actualización y recuperación de ocurrencias recurrentes.
Cada capa intermedia puede ajustarse de manera más efectiva con menos muestras de datos gracias a un adaptador por capa que simula la información temporal entre muestras sucesivas, principalmente cuando se produce un desvío de ideas. Para asistir en el aprendizaje rápido de patrones cuando se encuentran eventos repetitivos, el adaptador interactúa con su memoria para recuperar y actualizar acciones pasadas. La memoria asociativa almacena la importancia y la recurrencia del patrón relacionado con el entrenamiento, lo que permite que FSNet recurra constantemente a la información aprendida previamente. También cabe destacar que FSNet se concentra en mejorar el aprendizaje de los datos actuales en lugar de detectar directamente las desviaciones de ideas.
Cuando FSNet encuentra nuevos puntos de datos, todo el módulo (adaptador + memoria) puede producir instantáneamente la regla actualizada para los parámetros del modelo base debido al rápido aprendizaje. Por el contrario, el aprendizaje lento implica actualizar las redes neuronales típicas con una sola muestra a la vez, lo que hace que las redes converjan lentamente. Investigaciones recientes han mostrado el principio de superficial a profundo en acción, lo que demuestra que las redes menos profundas pueden aprender de manera más efectiva con menos entrada o adaptarse más rápido a los cambios en los datos. Por lo tanto, ganar conocimiento en estas situaciones es mejor comenzando con una red poco profunda y luego aumentando progresivamente su profundidad.
Para comprender mejor la pérdida actual, el equipo monitoreó y ajustó cada capa individualmente. Un gradiente de una sola muestra puede fluctuar drásticamente durante el entrenamiento en línea debido al ruido y la no estacionariedad de los datos de la serie temporal, lo que introduce ruido en los coeficientes de adaptación. Como resultado, el ruido en el entrenamiento en línea se suavizó y la información temporal en la serie de tiempo se capturó utilizando el promedio móvil exponencial (EMA) del gradiente de la columna vertebral.
También se vuelve esencial usar actividades pasadas para mejorar los resultados del aprendizaje, ya que los datos de series temporales frecuentemente muestran la recurrencia de patrones antiguos. La memoria asociativa se utiliza en esta situación. Esta interacción solo se inicia cuando ocurre un cambio significativo en la representación porque interactuar con la memoria en cada paso sería costoso y estaría sujeto a ruido. Para averiguar si un patrón específico podría repetirse en el futuro y cómo se ajustó previamente a dicho patrón, FSNet obtiene la metainformación relevante.
En conjuntos de datos sintéticos y del mundo real, FSNet supera significativamente las líneas de base convencionales. Puede manejar diferentes desviaciones de conceptos y lograr una convergencia más rápida mientras mantiene una calidad más alta. Los investigadores descubrieron que, debido a los picos pronunciados de las curvas de pérdida, es probable que se produzcan desviaciones de los conceptos en la mayoría de los conjuntos de datos. Como la mayoría de estas desviaciones ocurren en el primer 40 % de los datos durante las primeras etapas de aprendizaje, simplemente evaluar el modelo en el segmento de datos final (realizado durante el entrenamiento por lotes estándar) es demasiado optimista. Debido a los valores faltantes en los conjuntos de datos ECL y Traffic, que pueden variar significativamente dentro y entre las dimensiones, las evaluaciones experimentales de estos conjuntos de datos fueron más complejas. Este hallazgo destaca las dificultades en el pronóstico de series de tiempo en línea, y abordar estas dificultades puede ayudar a que la técnica funcione aún mejor.
Un tema prometedor pero desafiante para el pronóstico de series temporales es la integración del aprendizaje en línea y el aprendizaje profundo. Un adaptador y una memoria asociativa son dos componentes esenciales que FSNet agrega a la columna vertebral de una red neuronal. La previsión de series temporales se beneficia de la capacidad de FSNet para superar las profundas restricciones de la red neuronal, como la convergencia lenta en los flujos de datos y el olvido catastrófico. La previsión de series temporales será cada vez más importante en un futuro próximo. Por lo tanto, la investigación de FSNet podría tener un impacto significativo tanto en el aprendizaje automático como en el humano.
Los futuros sistemas de ML pueden construirse como el método FSNet, que combina redes neuronales profundas con una memoria asociativa y un adaptador. La teoría de los Sistemas de Aprendizaje Complementarios (CLS), un paradigma de la neurociencia para el aprendizaje humano continuo, inspiró el diseño de FSNet. La investigación de FSNet podría proporcionar inspiración y conocimientos en el sentido opuesto, mejorando las teorías sobre cómo aprenden las personas. El código detrás del marco se puede encontrar en su repositorio GitHub.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘APRENDIZAJE RÁPIDO Y LENTO PARA PREDICCIÓN DE SERIE DE TIEMPO EN LÍNEA‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, github y artículo de referencia.
Por favor no olvides unirte Nuestro subreddit de ML y Canal de discordia de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
