Estás leyendo la publicación: Investigadores de AWS desarrollan ‘TabTransformer’ para llevar el poder del aprendizaje profundo a los datos en las tablas
Los sistemas de inteligencia artificial de mayor rendimiento tienen redes neuronales profundas en su núcleo. Por ejemplo, los modelos de lenguaje basados en transformadores como BERT suelen ser la base para las aplicaciones de procesamiento de lenguaje natural (NLP). Las aplicaciones que se basan en datos contenidos en tablas han sido una excepción a la revolución del aprendizaje profundo, ya que los métodos basados en árboles de decisión a menudo han funcionado mejor.
Los investigadores de AWS se han centrado en el desarrollo de TabTransformer, una arquitectura de modelado de datos tabulares completamente nueva y profunda para el aprendizaje supervisado y semisupervisado. TabTransformer expande Transformers más allá del procesamiento de lenguaje natural a datos de tablas.
TabTransformer se puede utilizar para tareas de clasificación y regresión con Amazon SageMaker JumpStart. La interfaz de usuario de SageMaker JumpStart en SageMaker Studio y el SDK de Python de SageMaker permiten el acceso a TabTransformer desde el código de Python. TabTransformer ha atraído el interés de personas en varios campos. También se ha presentado en el Weakly Supervised Learning Workshop de la ICLR 2021. Además, se ha añadido al repositorio oficial de Keras, una conocida biblioteca de software de código abierto para trabajar con redes neuronales profundas.
Para crear representaciones de datos confiables, o incrustaciones, para variables categóricas que pueden tomar un número limitado de valores discretos, como los meses del año, TabTransformer emplea Transformers. Los valores numéricos y otras variables continuas se manejan en secuencias paralelas.
Utiliza NLP entrenando previamente un modelo en datos sin etiquetar para aprender un amplio esquema de incrustación y luego ajustarlo en datos etiquetados para aprender una tarea específica.
TabTransformer supera los algoritmos de aprendizaje profundo de última generación para datos tabulares en ensayos en 15 conjuntos de datos de acceso público en al menos un 1,0 por ciento en el AUC medio. el área bajo la curva de operación del receptor traza la tasa de falsos positivos versus falsos negativos. También demuestra que es igual a la efectividad de los modelos de conjuntos basados en árboles. Las DNN a menudo superan a los modelos basados en árboles de decisión en situaciones semisupervisadas cuando los datos etiquetados son limitados porque pueden utilizar mejor los datos no etiquetados. TabTransformer mostró un aumento promedio de AUC sobre el punto de referencia DNN más sustancial de 2.1 por ciento utilizando el innovador método de preentrenamiento sin supervisión.
Las incrustaciones contextuales aprendidas a través de TabTransformer son resistentes a las características de datos faltantes y ruidosos y ofrecen una mayor interpretabilidad, que también mostramos en la última sección de nuestro análisis. A continuación se muestra un diagrama de la arquitectura de TabTransformer. En las investigaciones, los investigadores convirtieron tipos de datos, incluidos texto, códigos postales y direcciones IP, en características numéricas o categóricas utilizando enfoques típicos de ingeniería de características.
TabTransformer definitivamente está allanando el camino para llevar el poder del aprendizaje profundo a los datos en las tablas.
Este artículo está escrito como un artículo de resumen por el personal de Marktechpost basado en el artículo de investigación ‘ MODELADO DE DATOS TABULARES A TRAVÉS DE INCORPORACIONES CONTEXTUALES‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, github, Artículo de AWS.
Por favor, no olvides unirte a nuestro Subreddit de aprendizaje automático
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
