Estás leyendo la publicación: Amazon AI lanza ‘Sockeye 3’ basado en PyTorch: la última versión del kit de herramientas Sockeye para la traducción automática neuronal (NMT)
El rendimiento de los sistemas de traducción automática, que anteriormente se basaban en sistemas basados en frases, ha mejorado repentinamente con la llegada de los modelos basados en redes neuronales. En 2018 se lanzó un marco de código abierto llamado Sockeye. Este marco proporciona una implementación de PyTorch rápida y confiable para la traducción automática neuronal (NMT) y otras tareas relacionadas. Es compatible con Amazon Translate y varias otras aplicaciones NMT. En 2020 también se lanzó Sockeye 2, su versión mejorada. En su artículo más reciente, Amazon ahora ha puesto a disposición la versión más reciente, Sockeye 3. Este kit de herramientas de traducción automática neuronal basado en PyTorch se puede usar para entrenar de manera efectiva modelos que son más potentes y rápidos. La versión más reciente incluye una base de código más optimizada que permite a los científicos realizar pruebas más rápidamente y les ofrece la libertad de hacer la transición de nuevos conceptos de la investigación a la producción rápidamente. Sockeye 3 supera a las implementaciones rivales de PyTorch en GPU hasta en un 126 %, mientras que en CPU las supera en hasta un 292 %.
Al colocar lotes más grandes en la memoria, el kit de herramientas acelera una técnica de entrenamiento de precisión mixta distribuida para producir cálculos y aceleraciones más rápidos. Además, al iniciar procesos de entrenamiento independientes que emplean el paralelismo de datos distribuidos de PyTorch para sincronizar actualizaciones, puede escalar a cualquier cantidad de GPU y cualquier tamaño de datos de entrenamiento. Para reducir los efectos de las formas dinámicas y el flujo de control dependiente de los datos, Sockeye 3 utiliza gráficos de cálculo estáticos en su diseño arquitectónico. Esto le permite rastrear múltiples componentes del modelo utilizando el compilador JIT de PyTorch. Todos los modelos que se pueden entrenar con Sockeye 2 se pueden convertir en modelos que se ejecutan en Sockeye 3 con PyTorch, una de las características más útiles de la herramienta. Sockeye 3 también consta de varias funciones nuevas. El kit de herramientas ofrece congelación de parámetros para ajustar y reemplazar las capas de autoatención del decodificador con unidades recurrentes simples más simples (SSRU).
Además, permite a los usuarios definir secuencias de fichas elegidas libremente para cualquier entrada tanto en el lado de origen como en el de destino. Los estudios revelaron que, en comparación con los modelos NMT estándar de la industria, como Fairseq y OpenNMT, Sockeye funciona mejor. En conclusión, Sockeye 3 ofrece una funcionalidad NMT más sofisticada e implementaciones de modelos sustancialmente más rápidas. Ha sido de código abierto bajo una licencia Apache 2.0, similar a las versiones anteriores. El equipo de Amazon invita cordialmente a los miembros de la comunidad a agregar contenido a su biblioteca de código abierto.
Este artículo está escrito como un artículo de resumen por el personal de Marktechpost basado en el trabajo de investigación ‘Sockeye 3: traducción automática neuronal rápida con PyTorch‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y enlace github.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
