Estás leyendo la publicación: Deepmind Open Sources Tracr: una herramienta para compilar código legible por humanos con los pesos de un modelo de transformador
A medida que los modelos de aprendizaje profundo crecen en tamaño y complejidad, se vuelve más difícil articular por qué y cómo llegan a un resultado determinado. Hay varias direcciones diferentes que los investigadores están explorando para mejorar la interpretabilidad de los sistemas de IA.
Los intentos de interpretabilidad mecanicista utilizan redes neuronales de ingeniería inversa para proporcionar tales explicaciones para los algoritmos que emplea un modelo. En la clasificación de imágenes, las redes neuronales convolucionales han encontrado que esta estrategia es bastante efectiva. A pesar de estos logros, el repertorio de métodos para producir explicaciones mecanicistas es limitado y poco conocido. Un obstáculo importante es que los investigadores deben ser imaginativos y diligentes al evaluar las hipótesis mecanicistas.
Combinar evidencia de numerosas pruebas ad hoc es el método típico para evaluar teorías mecanicistas. Debido al alto costo involucrado, muchos enfoques solo se prueban en modelos simplificados o muy pocos circuitos no triviales en modelos más realistas.
Un nuevo estudio de DeepMind propone TRAnsformer Compiler for RASP (Tracr), un compilador que compila código legible por humanos en los pesos de una red neuronal para abordar directamente el problema de las explicaciones de la verdad básica insuficientes. Los modelos que realizan cálculos no triviales con una implementación conocida se pueden desarrollar utilizando este método. Para determinar qué tan bien funcionan varias herramientas de interpretabilidad, podemos aplicarlas a modelos construidos y luego comparar la explicación resultante con los datos reales.
Tracr convierte código de Procesamiento de Secuencia de Acceso Restringido (RASP) (un lenguaje de programación específico de dominio diseñado para definir cálculos de transformadores) en pesos para modelos de transformadores. El equipo también presenta craft, la representación intermedia de Tracr para expresar operaciones de álgebra lineal en términos de direcciones base con nombre.
Los investigadores usan RASP para investigar escenarios de borde, como datos duplicados en múltiples ubicaciones de almacenamiento, centrándose en implementaciones de modelos de transformadores. Con Tracr, es posible construir modelos en los que los datos se codifican en una ubicación conocida y validar el enfoque propuesto. Usaron Tracr para crear modelos para clasificar una secuencia de números, contar la cantidad de tokens en una secuencia de entrada y verificar paréntesis equilibrados, todas las cuales son tareas mucho más simples que las tareas de NLP como el resumen de texto o la respuesta a preguntas, que normalmente son donde el decodificador -Solo se emplean modelos Transformer.
Los investigadores destacan otros usos posibles de Tracr más allá de su uso actual como herramienta para evaluar las herramientas de interpretabilidad. Un ejemplo es la compilación y el uso de implementaciones codificadas a mano de secciones de modelos para sustituir partes de un modelo generado por métodos de entrenamiento convencionales. Puede conducir a un mejor rendimiento general del modelo.
Los investigadores esperan que su adopción por parte de la comunidad investigadora ayude a profundizar su conocimiento de las redes neuronales.
Revisar la Papel y Github. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestro SubReddit de 14k+ ML, Canal de discordiay Boletín electrónicodonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
