Investigadores de Texas proponen nuevo método para reconstruir texto basado en señales de resonancia magnética cerebral e IA

Estás leyendo la publicación: Investigadores de Texas proponen nuevo método para reconstruir texto basado en señales de resonancia magnética cerebral e IA

Investigadores de la Universidad de Texas han propuesto un nuevo método para recrear texto a partir de una señal cerebral de resonancia magnética. Además, la decodificación se produce en un texto coherente semánticamente similar al real.

@Mitad del viaje

Se ha intentado antes decodificar el texto que una persona escucha (o dice en su cabeza). Dependiendo de cómo se extraiga la señal del cerebro, existen dos enfoques diferentes. La extracción de señales estilo invasión es la primera: un chip que lee los impulsos directamente de las neuronas del cerebro se coloca en el cráneo de una persona. El método es invasivo, costoso y complicado. Las técnicas de extracción de señales no invasivas, que incluyen MRI y M/EEG, son la segunda opción; no requieren perforación y son menos costosos.

Sin embargo, las técnicas no invasivas para recopilar señales cerebrales tienen un defecto grave: las lecturas de resonancia magnética de una persona se ven afectadas por ese estímulo durante aproximadamente 10 segundos después de la exposición a un estímulo (como escuchar una palabra). Un nativo de inglés puede decir dos palabras por segundo en promedio. Resulta que cada imagen de resonancia magnética contiene datos sobre el procesamiento del cerebro de aproximadamente veinte palabras si graba una señal de resonancia magnética mientras escucha a hablantes de inglés.

Como resultado, usando MRI, es imposible recrear fielmente el texto que escucha una persona. Además, muchos estudios anteriores sobre el tema de la recuperación de texto a partir de señales cerebrales recopiladas mediante técnicas no invasivas solo consiguieron recuperar palabras y frases específicas.

Y los investigadores de Texas desarrollaron una técnica de resonancia magnética para reconstruir (casi) texto inteligible. Habrá alguna variación entre este texto y lo que la persona realmente escuchó. Sin embargo, será semánticamente equivalente, lo que significa que representará la interpretación que generalmente se acepta.

Para recuperar la resonancia magnética del cerebro asociada con este pasaje de texto, los investigadores entrenan la red codificadora, que aprende de un fragmento de texto. Luego, utilizando un modelo de lenguaje previamente entrenado (como GPT), los investigadores realizan los siguientes pasos:

• Los investigadores piden a GPT que cree numerosas posibilidades para avanzar el texto cada dos segundos. La red del codificador recibe estas muchas opciones e intenta usarlas para recuperar la imagen MRI actual. Creemos que la versión de texto que permitió la representación más precisa de la señal de resonancia magnética genuina es la precisa.

Aquí hay un ejemplo:

Esta tecnología tendrá muchos usos si la usa para inventar discursos en lugar de escuchar las grabaciones de otras personas. Incluso la reconstrucción del habla ficticia fue objeto de un experimento por parte de los autores del artículo. Una vez más, los textos finales resultaron ser más parecidos a los originales que a los aleatorios. El enfoque parece funcionar.

Y con la ayuda de tales modelos, puedes investigar las operaciones de varias regiones del cerebro. En este estudio, se usaron tres regiones separadas del cerebro que manejan el habla audible para generar la señal de resonancia magnética. Uno puede saber qué porción de la información es procesada por qué área del cerebro agregando y eliminando señales de varias partes del cerebro de la entrada del modelo. Además, puede contrastar las reconstrucciones del modelo del codificador hechas con señales de otros componentes.

Lea más sobre la IA: