Estás leyendo la publicación: Este documento de IA propone un nuevo método basado en gradientes llamado conos para analizar e identificar las neuronas conceptuales en modelos de difusión
La compleja estructura del cerebro le permite realizar asombrosas tareas cognitivas y creativas. Según la investigación, las neuronas conceptuales en el lóbulo temporal medio humano reaccionan de manera diferente a las características semánticas de los estímulos dados. Estas neuronas, que se cree que son la base del intelecto de alto nivel, almacenan conexiones temporales y abstractas entre elementos de experiencia a través de brechas espaciotemporales. Por lo tanto, es intrigante saber si las redes neuronales profundas contemporáneas aceptan una estructura similar de neuronas de ideas como uno de los sistemas de inteligencia artificial más exitosos.
¿Los modelos de difusión generativa codifican específicamente varios sujetos de forma independiente con sus neuronas para emular la capacidad creativa del cerebro humano? Los investigadores chinos han abordado esta cuestión desde el punto de vista de una generación impulsada por sujetos. De acuerdo con la semántica del indicador de texto de entrada, sugieren ubicar un pequeño grupo de neuronas que son parámetros en la capa de atención de un modelo de difusión de texto a imagen preentrenado, de modo que alterar los valores de esas neuronas puede crear un tema coincidente en varios contenido. Estas neuronas se identifican como las neuronas de ideas vinculadas al tema relevante en los modelos de difusión. Identificarlos puede ayudarnos a aprender más sobre el funcionamiento fundamental de las redes de difusión profunda y ofrecer un enfoque nuevo para la generación impulsada por sujetos. Las neuronas de ideas conocidas como Cones1 se analizan e identifican utilizando un enfoque único basado en gradientes propuesto en este estudio. Los usan como parámetros de reducción cuyo valor absoluto puede crear de manera más efectiva el tema proporcionado mientras conservan el conocimiento existente. Este motivo puede inducir un criterio basado en gradientes para determinar si un parámetro es una neurona conceptual. Después de algunos cálculos de gradiente, pueden usar este criterio para ubicar todas las neuronas conceptuales. La interpretabilidad de esas neuronas de ideas se examina luego desde varios ángulos.
Comienzan investigando qué tan resistentes son las neuronas de ideas a los cambios en sus valores. Usan precisión digital float32, float16, cuaternaria y binaria para optimizar una pérdida de implantación de concepto en las neuronas de concepto, cerrando esas neuronas de concepto directamente sin entrenamiento. Dado que la precisión digital binaria ocupa el menor espacio de almacenamiento y no requiere capacitación adicional, la utilizan como su técnica predeterminada para la creación basada en temas. Los resultados indican un rendimiento constante en todas las situaciones, lo que demuestra la alta solidez de las neuronas en la gestión del tema objetivo. La concatenación de neuronas de ideas de diferentes sujetos puede producirlas todas en los hallazgos utilizando este enfoque, que también permite una aditividad emocionante. Este descubrimiento de una estructura semántica afín sencilla pero poderosa en el espacio de parámetros del modelo de difusión puede ser una novedad. El ajuste fino adicional basado en la concatenación puede hacer avanzar la capacidad de generación de conceptos múltiples a un nuevo hito: son los primeros en una generación basada en sujetos en producir con éxito cuatro sujetos distintos y dispares en una sola imagen.
Eventualmente, las neuronas se pueden emplear de manera efectiva en aplicaciones a gran escala debido a su escasez y resistencia. Muchas investigaciones sobre varias categorías, incluidos retratos humanos, escenarios, decoraciones, etc., muestran que el enfoque es superior en interpretabilidad y puede generar varios conceptos. Al comparar los enfoques actuales basados en temas, el almacenamiento de los datos necesarios para desarrollar un tema específico utiliza solo alrededor del 10 % de la memoria, lo que lo hace increíblemente rentable y respetuoso con el medio ambiente para su uso en dispositivos móviles.
Revisar la Papel. Todo el crédito de esta investigación es para los investigadores de este proyecto. Además, no olvides unirte nuestro SubReddit de 15k+ ML, Canal de discordiay Boletín electrónicodonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
