Estás leyendo la publicación: Niveles de preparación tecnológica (TRL) en el desarrollo de IA: hacia la IA
Publicado originalmente en Hacia la IA.
Un marco para el desarrollo futuro de la IA
La Inteligencia Artificial (IA) es un tema que se ha discutido en casi todas partes. Continuamente se vuelve tan popular que impregna prácticamente todos los campos, desde el mundo de los negocios hasta la industria del entretenimiento. Esta tecnología, sin embargo, es más que una simple moda; es un medio serio a través del cual las empresas pueden aumentar su productividad. Como resultado de la proliferación de casos de uso que demuestran cómo la IA mejoró varias operaciones, un número cada vez mayor de empresas se ha dado cuenta de que la IA y otras formas de tecnología de punta son los nuevos escenarios en los que competir. Quizás se encuentre entre los propietarios de empresas o los planificadores de proyectos que se han dado cuenta del valor de la IA y están buscando formas de mejorar sus operaciones mediante el uso de software de IA.
Pero, ¿qué es realmente la IA?
La inteligencia artificial (IA) es un subcampo de la informática y la ingeniería que simula un comportamiento inteligente similar al de los humanos. La tecnología de IA se puede utilizar de muchas maneras diferentes, como para crear sistemas completamente autónomos que puedan pensar, aprender y actuar por sí mismos. Las computadoras pueden imitar e incluso mejorar los poderes de la mente humana gracias a la capacidad de la IA para hacerlo. La IA se está integrando más plenamente en muchos aspectos de la vida moderna, incluida la creación de automóviles autónomos y el uso generalizado de asistentes virtuales. Como consecuencia directa de esto, varias empresas tecnológicas que operan en una amplia variedad de sectores están aumentando sus inversiones en tecnologías impulsadas por IA. Esto incluye una amplia gama de cosas, como ser capaz de comprender el lenguaje hablado, reconocer caras y objetos, hacer planes y resolver problemas.
Existe una cantidad sustancial de literatura centrada en las etapas del ciclo de vida de un proyecto de IA. Los principales pasos posibles son los siguientes, como se menciona en [1]:
- Análisis exploratorio de datos
- Preparación de datos
- Preprocesamiento de datos
- Modelado
- Pruebas
Estos pasos ciertamente se pueden complementar con pasos adicionales, pero definen una estructura básica. Seguramente añadiría, por encima de todo, “entender el problema empresarial”. Para muchos equipos, esto es obvio, pero desafortunadamente, no siempre es así, y muchos equipos se dan cuenta cuando ya es demasiado tarde.
Personalmente, soy uno de los principales defensores de las soluciones de resolución de problemas basadas en IA. Por otro lado, enfatizo la importancia de introducir IA solo cuando realmente se requiere. Un problema u objetivo real debe servir como impulso para cualquier proyecto de IA. Esto es crucial ya que la IA puede no ser necesaria para todas las situaciones. Esta es una parte importante a considerar para comprender las siguientes partes de este artículo.
Entonces, profundicemos…
¿Qué es el Nivel de preparación tecnológica (TRL)?
La investigación y la consultoría en el campo de los sistemas de información se han basado en modelos de madurez durante muchos años. Por lo tanto, hay una cantidad infinita de literatura sobre ellos. Una revisión exhaustiva reciente del estado del arte descubrió 409 artículos relevantes y una multitud de técnicas de clasificación, muchas de las cuales aún necesitan una validación genuina. [2].
En esencia, el nivel de preparación tecnológica (TRL) de un sistema, subsistema o componente es solo una descripción de su historial de rendimiento en relación con una escala desarrollada en la sede de la NASA en la década de 1980. El TRL es una medida del desarrollo y madurez de la tecnología. [3].
Los 9 niveles de la escala ilustran qué tan lejos en el camino de la madurez debe avanzar una tecnología dada antes de que pueda usarse en su entorno operativo designado.
El TRL ha sido criticado por ser utilizado más como una ayuda a la toma de decisiones en la financiación pública de I+D+i que como una explicación ontológica de los procesos implicados en la comercialización de nuevas tecnologías.
Desde 2014, la escala TRL se ha incluido en los programas de trabajo de Horizonte 2020 de la Unión Europea y se ha implementado ampliamente en el contexto de las inversiones en investigación, desarrollo e innovación financiadas por el Fondo Europeo de Desarrollo Regional, o “ERDF” [4].
Pero, ¿qué pasa con el uso de TRL en aplicaciones de IA?
Lavin A. et al. (2022) afirman que el proceso TRL predeterminado puede contrastar fuertemente con el rápido desarrollo y la rápida iteración que un proyecto de IA puede necesitar seguir. Debido a esto, proponen niveles de preparación de tecnología de aprendizaje automático simplificados (MLTRL) marco que se establecerá [5].
También estaría de acuerdo en que la creación rápida de prototipos en muchos proyectos de IA puede conducir a una entrada y participación en el mercado más rápidas que la competencia. Sin embargo, ¿qué ocurre cuando hablamos específicamente de herramientas de diagnóstico sanitario o, más en general, de ética y justicia? En esos casos, rápido creación de prototipos sin pasos específicos puede tener el efecto contrario tanto en los negocios como en la sociedad.
Los modelos, algoritmos, canalizaciones de datos, módulos de software y sus muchas combinaciones tienen diferentes niveles de madurez, que se miden con el TRL.
La parte de la ética es uno de los puntos débiles de los sistemas de IA actuales. Los procedimientos de ética de la IA de la organización pueden diferir, pero es necesario que se lleven a cabo debates sobre problemas éticos durante todo el procedimiento de TRL y, en la mayoría de los casos, estos debates están vinculados a una lista de verificación de ética continua completa desde el principio hasta el final. Se necesitan discusiones sobre ética con la participación de más de un equipo (partes interesadas, equipo legal, etc.) para poder considerar seriamente las diferentes ideas y sugerencias.
Centrémonos en los diferentes niveles de TRL del marco MLTRL (resultados deseados por el proceso):
Nivel 0: Primeros principios
Esta es la fase inicial de la investigación de IA para un nuevo concepto que debe implementarse. Aquí, todavía no habrá datos completos con los que trabajar, sino algunos datos de muestra; por lo tanto, gran parte del trabajo consistirá en el estudio de la literatura, el establecimiento de fundamentos matemáticos, etc.
Nivel 1: Investigación orientada a objetivos
En lugar de ejecutar de principio a fin para obtener una puntuación comparativa de rendimiento, intente realizar experimentos de bajo nivel para investigar ciertos aspectos del modelo o algoritmo. Para entrenar y probar el modelo, es necesario recopilar y analizar datos de muestra. Estos datos pueden ser un subconjunto del todo, dependiendo de cuánto de ellos ya estén accesibles o qué tan fácil sea recopilarlos. Se debe completar con éxito un cierto procedimiento de revisión antes de que se consideren los resultados de los experimentos (el entrenamiento de modelos potenciales). Esto implica poner en marcha un método que permita un examen más profundo de los resultados para comprender las razones detrás de ellos. En este caso, es necesario investigar cómo se comportan los datos cuando son modelados por varios algoritmos.
Esta fase no es algo que deba descartarse por carecer de importancia, incluso si los hallazgos no son muy alentadores. Lo más importante que debe hacer es comprender la naturaleza de los datos, así como las posibles soluciones del modelo. Todo esto se utilizará para crear los planos para los niveles posteriores. No todo debe estar en el lugar correcto (código, prueba, etc.), pero el alcance es tener algo pronto.
Nivel 2: Desarrollo de prueba de principio (PoP)
Los esfuerzos de investigación y desarrollo han comenzado. Los objetivos técnicos específicos del modelo, en lugar de los específicos de la aplicación o del producto, motivan la creación de configuraciones y/o datos replicados de manera realista en la simulación. En este punto, la investigación formal debe estar documentada (con especificaciones exhaustivas para la verificación y validación) y, en realidad, es un producto crucial. Todos los requisitos de investigación deben incluirse en este entregable. Si bien los requisitos no exigen un determinado enfoque, se esfuerzan por detallar lo que es importante para todas las partes involucradas. ¿Tenemos el enfoque correcto para crear el producto? Verificación: ¿Nos hemos decidido por el producto adecuado a desarrollar?
Nivel 3: Desarrollo del sistema
Los hitos aseguran que el código se desarrolle teniendo en cuenta la interoperabilidad, la confiabilidad, la capacidad de mantenimiento, la extensibilidad y la escalabilidad. También se necesita una gran mejora sobre el descuido y la fragilidad del código de investigación. Debe estar bien pensado en términos de diseño, arquitectura para flujo de datos e interfaces, cobertura por unidad y pruebas de integración, conformidad con las pautas de estilo del equipo y documentación. En este nivel, todos deben tener en cuenta que partes del código algún día pueden cambiarse y refactorizarse para una posible escala y producción.
Nivel 4: Desarrollo de prueba de concepto (PoC)
Aquí es donde comienza el desarrollo basado en aplicaciones y, para muchas empresas, también es la primera vez que los gerentes de producto y otras partes interesadas fuera de I+D se involucran. Esto pretende ser una aplicación práctica de la tecnología que se muestra. A estos efectos, es fundamental hacer uso de datos auténticos y representativos. Las evaluaciones del trabajo de prueba de concepto deben incluir medidas cuantitativas del modelo, el rendimiento del algoritmo y los costos de computación. Además, todo el proceso puede suspenderse en este punto si hay dependencias (en tecnología, paquetes, datos, etc.) de otras fuentes.
Nivel 5: “Capacidad” de aprendizaje automático
La tecnología ha progresado hasta el punto en que es más que un modelo o algoritmo. En este nivel, se realiza un ajuste al modelo o algoritmo para pasar de una respuesta independiente a una parte integral de un programa más amplio. La madurez del nivel 5 debería ser difícil de alcanzar porque requiere una gran inversión para convertir esta tecnología de aprendizaje automático en un producto. A veces, esto puede verse como una transición de I+D a producción. Otros equipos y miembros de la organización ahora deberían tener acceso a la nueva tecnología que se está desarrollando a través de demostraciones, API, etc. Este es un nivel importante, ya que avanzar más allá es una tarea desafiante. Muchos esfuerzos suelen salir mal en este nivel, ya que a menudo es difícil pasar a la producción. Aquí se necesita una asignación de recursos dedicada y bien decidida.
Nivel 6: Desarrollo de aplicaciones
Se requiere mucho esfuerzo de ingeniería de software para que el código entre en un estado de envío. Dado que este código estará disponible para los usuarios finales, debe estar bien probado, tener API claramente definidas y cumplir con estándares estrictos. A menudo hay un abismo entre la explicabilidad de ML que sirve a los ingenieros de ML en lugar de a las partes interesadas externas. Por lo tanto, es importante construir y validar los métodos para proporcionar explicaciones del modelo al mismo tiempo que el modelo ML y luego probar su eficacia para interpretar con precisión las decisiones del modelo en el contexto de las tareas posteriores y los usuarios finales. Lo que se necesita son módulos de ML reforzados para una o más aplicaciones específicas. Así como es importante probar qué tan bien el modelo y la canalización pueden manejar los cambios en la forma en que se distribuyen los datos entre el desarrollo y la implementación, los módulos de ML también deben construirse teniendo en cuenta estos problemas de datos conocidos.
Nivel 7: Integraciones
Debido a que esta fase de desarrollo es susceptible a las suposiciones y fallas del modelo, los ingenieros de software solos no pueden desarrollarla de manera segura. Como resultado, existe la necesidad de equilibrar a los ingenieros de infraestructura con los ingenieros de inteligencia artificial aplicada. Esto permitirá la integración exitosa de la tecnología en los sistemas de producción existentes. Las pruebas de CI/CD son muy claras en este contexto. Con respecto a la confiabilidad, es importante que los ingenieros de control de calidad (QA) desempeñen un papel clave aquí y hasta el Nivel 9.
Nivel 8: Listo para la misión
En este nivel se comprueba que la tecnología es funcional en su forma final y bajo las circunstancias que se preveían. Deben implementarse más pruebas que cubran varios elementos de la implementación, en particular las pruebas A/B. En este punto, la elección más crucial es si se debe continuar o no con la implementación, así como cuándo hacerlo. En algunas condiciones, puede ser posible ejecutar modelos en modo sombra durante un tiempo considerable. Esto sería útil para realizar una prueba de esfuerzo en el sistema y determinar qué tan susceptible es el modelo (o modelos) de aprendizaje automático al rendimiento causado por las variaciones en los datos (calidad de los datos, deriva de datos y deriva de concepto).
Nivel 9: Despliegue
Cuando se trata de la implementación de tecnologías de IA y ML, existe una necesidad considerable de vigilar de cerca la versión más reciente y, al mismo tiempo, pensar deliberadamente en cómo se podría mejorar la próxima versión. Por ejemplo, una disminución del rendimiento puede ser imperceptible y aún así tener un impacto significativo, y las mejoras en las funciones a menudo conllevan repercusiones y límites inesperados. Por lo tanto, el énfasis principal en este nivel está en la ingeniería para el mantenimiento. Para detectar anomalías en el comportamiento del modelo, especialmente aquellas que no son inmediatamente evidentes en el rendimiento final del modelo o del producto, es esencial monitorear los problemas de calidad de los datos y las desviaciones de los datos. A diferencia de otros contextos, el registro de datos en los sistemas ML debe registrar los aspectos estadísticos de las características de entrada y las predicciones del modelo, así como cualquier valor atípico. Una IA no se puede implementar de manera segura sin someterse primero a pruebas exhaustivas para estos.
Se recomienda enfáticamente que los experimentos de deriva se lleven a cabo en etapas más tempranas de lo habitual antes de que realmente se lleve a cabo el despliegue. Cuando se trata de sistemas de inteligencia artificial, las arquitecturas de datos primero son preferibles a la norma de la industria del software de diseño de servicios. Habilitar el monitoreo para detectar el sesgo entre la capacitación y el servicio y alertar al equipo cuando sea el momento de volver a entrenar es esencial para volver a entrenar y actualizar los modelos. Agregar o cambiar funciones en un esfuerzo por mejorar un modelo puede tener implicaciones imprevistas, como una mayor latencia o incluso un sesgo. Aquí se oculta un componente crítico: para reducir el riesgo, cualquier ajuste a los módulos tendrá que volver al Nivel 7 como mínimo. También se puede solicitar la participación humana y agregarla al circuito de retroalimentación del sistema (human-in-the-loop) para mejorar su rendimiento general.
Todos los niveles antes mencionados se muestran gráficamente a continuación:
Todo lo anterior se puede seguir como una serie, pero también se puede implementar en un proceso de ciclo. Por ejemplo, si se necesita acceder nuevamente a una etapa, es fácil hacerlo y continuar así. Muchas veces, se pueden encontrar algunos problemas en las partes de integración, y el paso de I + D también se puede usar para buscar métodos, etc.
Conclusión
Para garantizar que el software de IA esté listo para dar el salto al desarrollo a nivel de sistemas, la comunidad de I+D debe utilizar los TRL como una herramienta crucial para planificar, priorizar y asignar recursos. De manera similar, los TRL son útiles porque permiten evaluaciones más exhaustivas de la tecnología detrás de sus iniciativas de desarrollo y adquisición de sistemas, lo que a su vez facilita juicios más inteligentes. Sin embargo, los TRL no deben verse como una bala de plata para deshacerse de las preocupaciones técnicas en adquisiciones o desarrollos. En pocas palabras, los TRL ofrecen contexto a los tomadores de decisiones en equipos sobre proyectos, ayudándolos a tomar decisiones más sabias y metódicas.
Los problemas éticos deben tener la máxima prioridad en cada etapa del marco, y el marco en sí debe adaptarse con el tiempo para mantenerse al día con el campo de la ética de la IA que se desarrolla rápidamente.
En mi opinión, este es el camino a seguir en la mayoría de los casos donde los pasos juegan un papel importante en todo el proceso. Por supuesto, algunos de los pasos se pueden adaptar al caso de uso específico. Esto está completamente conectado con los sistemas de software sostenibles, donde tanto la ética como las fallas deben considerarse seriamente y no deben omitirse pasos.
Referencias
[1] K. Dubovikov, Gestión de la ciencia de datos: estrategias eficaces para gestionar proyectos de ciencia de datos y crear un equipo sostenible (2019). Birmingham, Reino Unido: Paquete
[2] JB Sarmento y AP Seixas Costa, Modelos de madurez empresarial: una revisión sistemática de la literatura (2019). Sistemas de información empresarial
[3] NASA (2003). El manual de ingeniería de sistemas de la NASA
[4] M. Héder, From NASA to EU: the evolution of the TRL scale in Public Sector Innovation (2017). El Diario de Innovación: El Diario de Innovación del Sector Público
[5] A. Lavin, C. Gilligan-Lee, A. Visnjic, S. Ganju, D. Newman, S. Ganguly, D. Lange, A. Baydin, A. Sharma, A. Gibson, S. Zheng, E. Xing, C. Mattman, J. Parr, Y. Gal, Niveles de preparación tecnológica para sistemas de aprendizaje automático (2022). Comunicaciones de la naturaleza
Otros recursos:
Los niveles de preparación tecnológica (TRL) en el desarrollo de IA se publicaron originalmente en Hacia la IA en Medium, donde las personas continúan la conversación destacando y respondiendo a esta historia.
Publicado a través de Hacia la IA
