Estás leyendo la publicación: Allen Institute for AI anuncia OLMo: un modelo de lenguaje abierto hecho por científicos para científicos
El Allen Institute for AI (AI2) ha anunciado el desarrollo de un innovador modelo de lenguaje abierto llamado AI2 OLMo (Open Language Model). OLMo será un modelo de lenguaje generativo de última generación con una escala de 70 mil millones de parámetros, comparable a otros modelos de lenguaje grandes. Se espera que el Proyecto finalice en 2024. Su objetivo es brindar a la comunidad investigadora acceso a todos los aspectos de la creación de modelos, fomentando la colaboración y avanzando en la ciencia de los modelos de lenguaje.
AI2 se está asociando con empresas de tecnología líderes, incluidas AMD y CSC, para desarrollar OLMo. La colaboración implica utilizar las capacidades de GPU de la supercomputadora de preexaescala LUMI con tecnología AMD, conocida por su eficiencia energética. Al aprovechar el poder de esta supercomputadora ecológica, AI2 tiene como objetivo crear un modelo de lenguaje único y abierto que permitirá a los investigadores trabajar directamente en modelos de lenguaje por primera vez.
Un aspecto clave de OLMo es su apertura y accesibilidad a la comunidad investigadora. AI2 planea hacer que todos los elementos del Proyecto estén disponibles abiertamente, incluidos los datos, el código, las curvas de entrenamiento, los puntos de referencia de evaluación y las consideraciones éticas que rodean el desarrollo del modelo. Al proporcionar una transparencia total, AI2 tiene la intención de empoderar a los investigadores para aprovechar y mejorar OLMo, lo que permite un progreso más rápido y seguro en el campo. El objetivo es desarrollar el mejor modelo de lenguaje abierto a nivel mundial de forma colaborativa.
El equipo de AI2 se asegura de que OLMo se convierta en un modelo genuinamente abierto que proporcione un valor único a la comunidad de investigación de IA. Todos los componentes creados para OLMo, incluidos los datos de entrenamiento, el código, los pesos de los modelos, los puntos de control intermedios y las ablaciones, estarán disponibles de forma abierta, bien documentados y reproducibles, con pocas excepciones y licencias adecuadas. Actualmente se está desarrollando la estrategia de lanzamiento para el modelo y sus artefactos. Además, AI2 planea crear una demostración y publicar datos de interacción de los usuarios que den su consentimiento.
Paralelamente al desarrollo del modelo, AI2 tomará decisiones para maximizar la usabilidad y la eficiencia del modelo sin comprometer el rendimiento. El objetivo es hacer que OLMo sea accesible para una amplia gama de investigadores de IA, fomentando la diversidad de perspectivas y acelerando las mejoras en el desarrollo del modelo de lenguaje. AI2 también tiene la intención de crear y lanzar un conjunto de datos de entrenamiento de modelo meticulosamente estudiado y documentado, que abarque datos previos al entrenamiento, datos de instrucción y datos de interacción humana.
Al reconocer la importancia de las consideraciones éticas, AI2 adopta un enfoque pragmático de la ética y la apertura en todo el proyecto OLMo. El equipo documentará las decisiones, preocupaciones y compensaciones con respecto a los impactos éticos y sociales de crear y lanzar el modelo OLMo. AI2 promueve el conocimiento y la comprensión de la IA al compartir el progreso, los desafíos y los descubrimientos. Los expertos legales, tanto internos como externos, participan activamente en el proceso de creación de modelos para evaluar los problemas de privacidad y derechos de propiedad intelectual en múltiples puntos de control.
AI2 se ha asociado con organizaciones como Surge AI y MosaicML para colaborar en datos y código de capacitación para OLMo. Se ha establecido un comité de revisión de ética compuesto por asesores internos y externos para brindar retroalimentación durante el Proyecto. El modelo OLMo y la API servirán como recursos valiosos para la comunidad en general, lo que permitirá una mejor comprensión y participación en la revolución de la IA generativa. AI2 agradece el apoyo y las asociaciones de organizaciones alineadas con sus valores de IA para tecnologías de IA estándar, razonables, responsables y beneficiosas.
