Estás leyendo la publicación: Los investigadores desarrollaron un marco de aprendizaje supervisado sin retropropagación basado en una red neuronal artificial que facilita la transición de una asociación monádica pavloviana de entrada única-maestro en…
Los modelos actuales de IA se basan en gran medida en el aprendizaje basado en la propagación hacia atrás, donde el modelo genera una estimación de la realidad básica a partir de los datos de entrada en la propagación hacia adelante. El modelo aprende actualizando los parámetros del modelo en función de la retropropagación de la desviación entre la estimación y la realidad del terreno real. Sin embargo, este tipo de aprendizaje requiere una gran cantidad de parámetros del modelo para aprender a partir de grandes cantidades de datos y, por lo tanto, implica una gran cantidad de cómputo. Para abordar esto, los investigadores de la Universidad de Oxford experimentaron con el aprendizaje asociativo de tipo pavloviano. Se dieron cuenta de esto en un IC fotónico que puede aprender de los datos en un marco libre de retropropagación, lo que resulta en una menor complejidad computacional y una mayor velocidad y ancho de banda.
Fuente: https://opg.optica.org/optica/fulltext.cfm?uri=optica-9-7-792&id=478804Pavlov demostró en su famoso experimento que si se hace sonar una campana junto con la comida, el perro asocia ambas señales, e incluso en ausencia de alguna de ellas, el perro saliva. El co-aprendizaje o aprendizaje asociativo tiene sus raíces allí. Cuando una neurona recibe una señal sensorial, genera un potencial de acción. Entonces, cuando se envía un estímulo incondicionado s1 junto con un estímulo condicionado s2 y se forma una asociación entre ellos, y se activa la respuesta de la neurona, la neurona aprende la respuesta y la respuesta se activa incluso cuando una de ambas señales está ausente. . Entonces, para realizar este aprendizaje en un dispositivo físico, el circuito debe poder asociar dos entradas y almacenar la asociación.
Los investigadores han utilizado un elemento de aprendizaje monádico asociativo fotónico (AMLE) para implementar esta funcionalidad. El AMLE consistía en una guía de ondas acoplada y un material de cambio de fase (usaron Ge2Sb2Te5 (GST)). El GST tiene dos fases: Amorfo y Cristalino. El estado inicial del material es Cristalino, y luego no hay asociación entre las dos entradas (pulsos de aprendizaje). Cuando las dos señales se dan simultáneamente, el material comienza a amorfizarse, dando como resultado un cambio de acoplamiento entre las guías de ondas. El umbral de aprendizaje es el punto en el que las salidas de ambas entradas son indistinguibles. La asociación entre las entradas ocurre cuando hay un retardo de fase específico entre las entradas.
Fuente: https://opg.optica.org/optica/fulltext.cfm?uri=optica-9-7-792&id=478804El aprendizaje asociativo pavloviano tiene una metodología similar a la del aprendizaje supervisado, donde la entrada se combina con la señal de la verdad básica (maestro) para supervisar el proceso de aprendizaje. En la capa de entrada, los investigadores han utilizado moduladores Mach-Zender (MZM) para dividir la señal de entrada y del maestro por igual en fases ópticas estables utilizando calentadores termoópticos de NiCr integrados. Los MZM también proporcionan multiplexidad de longitud de onda para alimentar múltiples señales en múltiples AMLE. El par entrada-maestro se forma en la capa asociativa, dibujando una respuesta de transmisión.
Fuente: https://opg.optica.org/optica/fulltext.cfm?uri=optica-9-7-792&id=478804Los investigadores han utilizado este dispositivo para la clasificación de imágenes. El dispositivo se entrena de manera supervisada y el modelo aprende a generalizar imágenes de clases separadas. Por ejemplo, en una clasificación de imágenes de gatos frente a imágenes que no son de gatos, la señal del maestro es una imagen de gato asociada con varias otras imágenes de gatos para generar una respuesta. Las respuestas de múltiples AMLE se agregan y reorganizan para formar una representación generalizada de nivel inferior de un gato. Durante la prueba, la capa de salida forma una representación de la imagen de entrada y el modelo la clasifica como gato o no gato según su porcentaje de similitud con la representación entrenada generalizada.
Fuente: https://opg.optica.org/optica/fulltext.cfm?uri=optica-9-7-792&id=478804Esta investigación allana un nuevo camino en la IA moderna, donde la sobrecarga computacional de la tecnología actual se reducirá significativamente. La capacidad es limitada ya que este es el primer trabajo de este tipo en esta dirección. El modelo solo aprende de forma supervisada, no puede capturar características profundas y actualmente está limitado a tareas simples. Por lo tanto, hay un alcance de trabajo enorme por hacer en esta dirección en breve.
Referencias:
- James YS Tan, Zengguang Cheng, Johannes Feldmann, Xuan Li, et al; Aprendizaje asociativo pavloviano monádico en una red fotónica sin retropropagación; Optica, Volumen 9, Número 7, págs. 792-802 (2022)
[Main source paper. All the images are taken from this paper.]
- J. Misra & I. Saha; Redes neuronales artificiales en hardware; Una encuesta de dos décadas de progreso; Neurocomputación 74, 239-255 (2010)
- M. Ziegler, R. Soni, T. Patelczyk, M. Ignatov, T. Bartsch, P. Meuffels y H. Kohlstedt; Una versión electrónica del perro de Pavlov, Av. Función. Materia 22, 2744–2749 (2012)
- J. Feldmann, N. Youngblood, M. Karpov, H. Gehring, X. Li, M. Stappers, ML Gallo, X. Fu, A. Lukashchuk, AS Raja, J. Liu, CD Wright, A. Sebastian, TJ Kippenberg, WHP Pernice y H. Bhaskaran. Procesamiento convolucional paralelo utilizando un núcleo de tensor fotónico integradoNaturaleza 589, 52-58 (2021).
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
