Estás leyendo la publicación: Investigadores de CMU explican la efectividad de AutoML para diversas tareas usando AutoML Decathlon y NAS-Bench-360
El aprendizaje automático (ML) ha experimentado un fuerte aumento en popularidad y complejidad en los últimos diez años. Las redes neuronales profundas mejoradas se están utilizando en varias tareas, desde rastrear fraudes con tarjetas de crédito, resolver ecuaciones diferenciales parciales (PDEs) y predecir condiciones médicas a partir de secuencias de genes.
Sin embargo, estos campos requieren la creación dirigida por expertos de complejos esquemas de ajuste de hiperparámetros. Esta iteración que requiere muchos recursos es costosa y está fuera del alcance de la mayoría de los profesionales.
AutoML tiene como objetivo permitir que los desarrolladores de ML usen ML en tareas nuevas arbitrarias. Una nueva investigación de la Universidad Carnegie Mellon investiga si las herramientas AutoML actualmente accesibles logran fácil y rápidamente un rendimiento casi experto en diversas tareas de aprendizaje. AutoML Decathlon y NAS-Bench-360 son dos proyectos recientes pero relacionados que evalúan el éxito actual del campo para lograr este objetivo.
Un NAS Benchmark para una variedad de tareas es NAS-Bench-360.
El primero es un conjunto de puntos de referencia para la búsqueda de arquitectura neuronal (NAS), un tema emergente que tiene como objetivo automatizar la creación de modelos de redes neuronales. NAS-Bench-360 es el primer banco de pruebas NAS que se extiende más allá de los dominios de IA convencionales como señales de visión, texto y audio, con evaluaciones en diez tareas diferentes.
Las diez tareas difieren específicamente en su área (como imágenes, series de tiempo financieras, audio y ciencias naturales), tipo de problema (como regresión, clasificación de etiqueta única y etiqueta múltiple) y escala (que va desde varios miles a cientos de miles de observaciones).
Su evaluación de NAS-Bench-360 sirve como una prueba de solidez para ver si el avance impulsado por la visión artificial en el campo de NAS es realmente indicativo del éxito más amplio de AutoML en varias aplicaciones, tipos de datos y actividades. Más importante aún, el punto de referencia será una herramienta eficaz para crear y probar metodologías NAS nuevas y mejoradas.
Sus hallazgos muestran que el algoritmo de vanguardia como GAEA para buscar en un gran espacio de búsqueda como DARTS produce modelos que superan constantemente a las arquitecturas expertas en la mitad de las tareas, además de vencer a XGBoost, un favorito incondicional de Kaggle, y un intento reciente de una arquitectura de propósito general, Perceiver IO. Por otro lado, tiene un desempeño deficiente en una serie de tareas, apenas superando una línea de base básica, como un Wide ResNet modificado.
La falta de solidez en el sector y la necesidad de tal punto de referencia se muestran en el examen de los métodos NAS contemporáneos en NAS-Bench-360.
El AutoML Decathlon es una competencia con una variedad de desafíos y técnicas.
El segundo proyecto es una competencia NeurIPS 2022 basada en su trabajo NAS-Bench-360. La intención del lanzamiento de NAS-Bench-360 es fomentar la creación de técnicas NAS que sobresalgan en una variedad de actividades. Los investigadores pondrán a disposición una variedad de tareas a lo largo de la fase de desarrollo público de la competencia que servirán como una muestra (aunque separada) del conjunto final de tareas de prueba utilizadas para la evaluación.
Los resultados inconsistentes de NAS en este punto de referencia cuestionan si el diseño de arquitectura autónoma debería ser el área central de estudio para la investigación de AutoML en general.
Este concurso tiene como objetivo cerrar dos brechas entre la investigación y la aplicación: la falta de variedad de tareas y el desarrollo metodológico aislado.
Esta competencia tiene la intención de promover la innovación en AutoML con resultados transferibles de inmediato a los profesionales de ML al desarrollarlo de manera centrada en el profesional y atender las dos deficiencias mencionadas anteriormente.
Si bien AutoML no es un nuevo campo de estudio, la competencia se presenta oportunamente:
- La rápida expansión de la diversidad laboral de ML
- El avance del desarrollo de modelos ML
- El rápido aumento del tamaño del conjunto de datos y la disponibilidad de recursos informáticos.
La base de AutoML Decathlon es una colección de 20 conjuntos de datos que se han elegido cuidadosamente para reflejar una amplia gama de usos reales en los campos de la ciencia, la tecnología y la industria.
Diez de las tareas se utilizarán para el desarrollo y diez más se utilizarán para la evaluación final y no se harán públicas hasta después de la competencia.
Fuente: https://blog.ml.cmu.edu/2022/07/07/automl-for-diverse-tasks/
Referencias:
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
