Estás leyendo la publicación: Las últimas investigaciones sobre aprendizaje automático proponen ‘TabPFN’, un transformador entrenado que puede realizar una clasificación supervisada de pequeños conjuntos de datos tabulares en menos de un segundo
A pesar de ser el formato de datos más frecuente en las aplicaciones de aprendizaje automático (ML) del mundo real, los datos tabulares, que consisten en características categóricas y numéricas, han sido ignorados durante mucho tiempo por la investigación de aprendizaje profundo. Si bien los enfoques de aprendizaje profundo sobresalen en muchas aplicaciones de ML, los árboles de decisión potenciados por gradiente continúan dominando los problemas de clasificación de datos tabulares, debido a su bajo tiempo de capacitación y resiliencia. Sugieren un cambio fundamental en la categorización tabular. No comienzan desde cero cuando ajustan un nuevo modelo a la fase de entrenamiento de un nuevo conjunto de datos. En su lugar, hacen un solo paso hacia adelante utilizando un transformador masivo ya entrenado previamente para abordar problemas de clasificación construidos artificialmente a partir de un conjunto de datos tabulares.
Su enfoque se basa en redes ajustadas de datos anteriores, que aprenden el algoritmo de entrenamiento y predicción. Dado cualquier previo, uno puede muestrear y aproximar directamente la distribución predictiva posterior (PPD), los PFN se aproximan a la inferencia bayesiana. Si bien los sesgos inductivos en NN y GBDT dependen de que sean eficientes de implementar (por ejemplo, a través de la regularización de L2, el abandono o la profundidad de árbol restringida), con PFN, el previo deseado puede codificarse mediante el diseño de un método de generación de conjuntos de datos. Esto altera sustancialmente su capacidad para desarrollar algoritmos de aprendizaje. Crean un a priori basado en redes neuronales bayesianas y modelos causales estructurales para representar relaciones de características complicadas y mecanismos causales putativos que subyacen a los datos tabulares.
Su anterior también toma prestado de la navaja de Occam: los SCM y BNN más simples (con menos parámetros) tienen una mayor probabilidad. En los SCM de generación de datos, su anterior se determina mediante distribuciones paramétricas, como una distribución uniforme a escala logarítmica para el número promedio de nodos. El PPD resultante incorpora implícitamente la incertidumbre en todos los procesos de generación de datos concebibles, clasificándolos según su probabilidad dados los datos y la probabilidad previa. Como resultado, el PPD corresponde a un conjunto infinitamente grande de sistemas de generación de datos, es decir, instanciaciones SCM y BNN. Aprenden a aproximarse a este PPD complicado en un solo paso hacia adelante, eliminando la necesidad de validación cruzada y selección de modelos.
Su principal contribución es el TabPFN, un único transformador preentrenado para aproximar la inferencia probabilística para la novela anterior en un solo paso hacia adelante. Ha aprendido a resolver pequeñas tareas de clasificación tabular novedosas (1000 ejemplos de entrenamiento, 100 características y diez clases) en menos de un segundo mientras ofrece un rendimiento de última generación. Investigan subjetiva y estadísticamente el comportamiento y el rendimiento de su TabPFN en diversas tareas y lo comparan con las técnicas existentes para la clasificación tabular en 30 conjuntos de datos pequeños para respaldar esta afirmación.
Cuantitativamente, TabPFN supera cualquier técnica de clasificación de “nivel básico”, como el aumento de gradiente a través de XGBoost, LightGBM y CatBoost, y logra un rendimiento comparable al de los mejores marcos de AutoML existentes en 5 a 60 minutos en menos de un segundo. Su extensa investigación cualitativa revela que las predicciones de TabPFN son fluidas e intuitivas. Sin embargo, sus fallas no están relacionadas con los errores de las técnicas anteriores, lo que permite mejoras de rendimiento adicionales a través del ensamblaje. Anticipan que la naturaleza revolucionaria de sus afirmaciones se recibirá con escepticismo inicial, por lo que abren todo su código y el TabPFN preentrenado para el escrutinio de la comunidad, junto con una interfaz similar a scikit-learn, un cuaderno de Colab y dos demostraciones en línea. . El CUDA oficial que admite la implementación de PyTorch se puede encontrar en GitHub.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘TABPFN: UN TRANSFORMADOR QUE SOLUCIONA PEQUEÑOS PROBLEMAS DE CLASIFICACIÓN TABULAR EN UN SEGUNDO‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y enlace github.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
