Estás leyendo la publicación: Todo sobre el nuevo modelo de comprensión de idiomas de Alexa
Inspirado en el modelo GPT-3 desarrollado por OpenAI, Amazon ha presentado su último modelo de lenguaje, el modelo de profesor de Alexa (AlexaTM 20B). Es un modelo de codificador-decodificador de secuencia a secuencia (seq2seq), a diferencia de la mayoría de los modelos de lenguaje actuales, que son arquitecturas de solo decodificador.
Acerca de AlexaTM 20B
El nuevo modelo de lenguaje de Amazon es un modelo multilingüe a gran escala entrenado previamente en un conjunto de tareas de eliminación de ruido y modelado de lenguaje causal (CLM). Según la empresa, esta estrategia ayuda a que el modelo de AlexaTM sea más eficiente para el aprendizaje de pocas tomas que los modelos de lenguaje de solo decodificador.
El modelo AlexaTM 20B logra un rendimiento de última generación en tareas de resumen de 1 disparo y supera al modelo de decodificador PaLM más grande con 540 mil millones de parámetros. El modelo de Amazon funciona particularmente bien para los pares de idiomas de bajos recursos que admite: árabe, francés, inglés, alemán, hindi, italiano, japonés, portugués, español, marathi, tamil y telugu en el conjunto de datos Flores-101.
Además, en la configuración de disparo cero, AlexaTM 20B incluso supera a GPT3 en conjuntos de datos SuperGLUE y SQuADv2. También ofrece un rendimiento de última generación en tareas multilingües como XNLI, XCOPA, Paws-X y XWinograd.
Los investigadores de AlexaTM 20B describieron una tubería de desarrollo de modelos en la que los codificadores basados en transformadores se entrenan previamente desde cero utilizando datos públicos, se adaptan utilizando datos no etiquetados, se destilan mediante un proceso de destilación de dos pasos y, por último, se ajustan. Esto contrasta con la práctica habitual de los primeros modelos NLU centrados en la producción de destilación con parámetros de 85M-300M y luego ajustarlos o entrenarlos alternativamente desde cero en el conjunto de datos etiquetado final. La canalización de AlexaTM comienza con modelos que contienen más de 2300 millones de parámetros y mejora este paradigma.
Crédito: Amazonas
El modelo AlexaTM 20B está sujeto a varias restricciones que generalmente no se aplican a otros modelos de lenguaje. Dado que el trabajo se va a utilizar en un dispositivo perimetral, como los teléfonos móviles, la memoria es escasa y la inferencia del modelo debe tener una latencia baja. Además, el asistente digital de Alexa admite diferentes idiomas y la entrada se realiza de forma hablada, que es muy diferente de la forma escrita de texto que se usa en los conjuntos de datos de entrenamiento.
Crédito: Amazonas
Desafíos y trabajo futuro
En el futuro, el equipo dice que le gustaría caracterizar de manera sólida el uso de modelos conversacionales públicos preentrenados como TOD-BERT y ConveRT, evaluar más combinaciones de tamaños de modelos maestros y destilados, comparar el modelo con diferentes conjuntos de datos públicos como MultiATIS o MASSIVE. El equipo quiere hacer un mayor uso del diálogo y el contexto del usuario, probar el cambio de código y examinar los diferentes niveles de ruido ASR, y más.
Además, el equipo también admitió que, al igual que otros modelos de lenguaje extenso, AlexaTM 20B tiene la probabilidad de perpetuar el lenguaje tóxico, los estereotipos dañinos y los sesgos sociales en función de los datos públicos en línea en los que se entrena. En este contexto, el equipo recomienda que los usuarios “realicen un análisis completo de equidad y sesgo específico de la tarea antes de usar el modelo para comprender completamente y abordar cualquier daño potencial que pueda surgir de su uso”.
El equipo también sugiere que, dependiendo de la aplicación descendente a la que se aplique el modelo, se pueden usar técnicas prescritas para eliminar el sesgo y desintoxicar el modelo. Los autores del estudio también reiteran la importancia de la auditoría de equidad. Enfatizan la necesidad de más investigación sobre la mitigación del sesgo.
IA ambiental
En la conferencia re:MARS – Amazon sobre aprendizaje automático y robótica celebrada en junio de 2022, Rohit Prasad, vicepresidente sénior y científico principal de Alexa AI, habló en detalle sobre la tendencia emergente de la inteligencia ambiental. Este concepto se promociona como el futuro de la computación inteligente donde no se requieren entradas y salidas explícitas.
Prasad había dicho entonces que la inteligencia ambiental ofrece la forma más práctica de lograr una inteligencia generalizable. “La inteligencia ambiental se ejemplifica mejor con los servicios de IA como Alexa, que usamos a diario. Los clientes interactúan con Alexa miles de millones de veces cada semana. Y gracias a funciones predictivas y proactivas como corazonadas y rutinas, Alexa inicia más del 30 % de las interacciones en el hogar inteligente”, dijo en una entrevista.
