Estás leyendo la publicación: Según las últimas investigaciones sobre IA de la Universidad de Graz, los chips neuromórficos de Intel son hasta 16 veces más eficientes energéticamente para el aprendizaje profundo
Este artículo está escrito como un resumen por el personal de Marktechpost basado en el documento de investigación ‘Una memoria a corto plazo para aplicaciones de IA en hardware neuromórfico basado en picos‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, artículo de referencia.
Por favor, no olvides unirte a nuestro Subreddit de aprendizaje automático
Debido a su alto consumo de energía, los nuevos métodos de IA que utilizan DNN representan una barrera significativa para una implementación más amplia, particularmente en dispositivos de borde. El uso de electrónica neuromórfica basada en picos es una posible solución a este problema. Esta dirección de estudio está influenciada principalmente por el cerebro, que opera redes neuronales aún más sofisticadas y más grandes mientras consume solo 20 W de energía. Las neuronas en el cerebro emiten una señal (pico) solo unas pocas veces por segundo en promedio, lo cual es crucial en su increíble eficiencia energética. En comparación, las unidades de una DNN típica emiten valores de salida varios órdenes de magnitud con mayor frecuencia y consumen energía a un ritmo mayor. Sin embargo, aún se desconoce qué tipos de DNN para las soluciones modernas de IA se pueden implementar con neuronas escasamente activas en hardware neuromórfico de una manera eficiente desde el punto de vista energético. Esto generalmente requiere una revisión de las ideas de diseño de DNN.
Las redes neuronales profundas (DNN) que realizan tareas de procesamiento de secuencias a menudo emplean unidades de memoria a corto plazo (LSTM), que son difíciles de imitar con pocos picos. Un componente de varias neuronas biológicas, las corrientes poshiperpolarizantes retardadas (AHP) que siguen a cada pico, proporciona una solución eficaz. Las corrientes AHP se pueden implementar en hardware neuromórfico que admita modelos de neuronas multicompartimentales, como el procesador Loihi de Intel. El principio de aproximación de filtro explica por qué las neuronas AHP pueden imitar la funcionalidad de las unidades LSTM. Esto da como resultado un método de alta eficiencia energética para clasificar series temporales. Además, proporciona la base para implementar con disparos muy escasos una clase esencial de grandes DNN que extraen relaciones entre palabras y oraciones en un texto para responder preguntas relacionadas con el texto.
Un desafío abierto más particular es cómo las unidades LSTM de DNN para tareas de procesamiento de secuencias pueden implementarse de manera eficiente en energía en hardware neuromórfico basado en picos. Las redes de neuronas de punta (SNN) están dotadas de las mismas capacidades de memoria de trabajo que las unidades LSTM en DNN debido a un rasgo de las neuronas biológicas, la presencia de corrientes internas que cambian lentamente que no se han representado en los modelos de hardware neuromórfico.
Una distinción importante entre las neuronas biológicas y los modelos tradicionales de neuronas en pico es que las neuronas biológicas mantienen un régimen de potencial de membrana relativamente restringido. Por el contrario, cuando la red se entrena utilizando términos de regularización para generar tasas de activación bajas, el potencial de membrana de los modelos asume con frecuencia valores muy negativos. Esto elimina efectivamente muchos de ellos del cálculo actual de la red. Se presenta una nueva técnica de regularización de voltaje de membrana que mitiga este problema y facilita la construcción de DNN de disparo de picos excepcionalmente escasos.
Los estudios han validado chips neuromórficos que demuestran que operan redes masivas de aprendizaje profundo de manera mucho más eficiente que el hardware no neuromórfico.
Esto puede volverse significativo a medida que crece el uso de la IA. La investigación se realizó utilizando el silicio Loihi 2 de Intel, un chip neuromórfico experimental de segunda generación anunciado por Intel Labs el año pasado y que contiene aproximadamente un millón de neuronas artificiales.
El documento de estudio, “Una memoria a largo plazo a corto plazo para aplicaciones de IA en hardware neuromórfico basado en picos”, que se publicó en Nature Machine Intelligence, afirma que los chips Intel son hasta 16 veces más eficientes energéticamente en aplicaciones de aprendizaje profundo que los chips no neuromórficos. hardware. El hardware probado constaba de 32 chips Loihi.
Fuente: https://arxiv.org/pdf/2107.03992.pdfAunque puede parecer evidente que el hardware especializado sería más efectivo para tareas de aprendizaje profundo, TU Graz afirma que esta es la primera vez que esto se verifica experimentalmente.
Según TU Graz, esto es significativo porque estos modelos de aprendizaje profundo son el tema de investigación de inteligencia artificial a nivel mundial, con la intención de ser utilizados en aplicaciones prácticas. Sin embargo, el consumo de energía del hardware necesario para operar los modelos es una barrera importante para la implementación generalizada de tales sistemas.
En otro artículo titulado “La computación inspirada en el cerebro necesita un plan maestro”, los autores señalan que “los asombrosos logros de los sistemas de IA de alta gama como AlphaGo y AlphaZero de DeepMind requieren miles de unidades de procesamiento paralelas, cada una de las cuales puede consumir aproximadamente 200 vatios. ”
En el informe de TU Graz, los investigadores analizaron algoritmos que involucran procesos temporales. Un ejemplo es la capacidad del sistema para responder preguntas sobre una historia entregada anteriormente o comprender las relaciones basadas en el contexto entre objetos y personas.
En este sentido, el modelo simuló la memoria humana a corto plazo, o al menos un sistema de memoria que se cree que utiliza el cerebro humano. Los investigadores conectaron dos tipos de redes de aprendizaje profundo: redes neuronales de retroalimentación responsables de la memoria a corto plazo y una red de avance, para identificar qué correlaciones descubiertas son cruciales para completar el trabajo dado.
El hardware neuromórfico, como los chips Loihi, es muy adecuado para los patrones de actividad de red rápidos, dispersos e impredecibles que se encuentran en el cerebro y es necesario para las aplicaciones de IA más eficientes energéticamente.
La tecnología neuromórfica puede aumentar la eficiencia energética de las tareas de aprendizaje profundo al repensar su implementación desde una perspectiva biológica:
- Es posible que algún día los neurochips de Intel se integren en PC o servicios en la nube.
- MIT, Amazon, TSMC, ASML y otros colaborarán en hardware de IA seguro para el planeta.
- DARPA obtiene fondos para el proyecto FENCE, una cámara inteligente que solo transmite imágenes cuando cambian los píxeles.
- Saludos, diseñadores de chips; ya no es costoso emplear estos núcleos de CPU (bueno, no al principio, de todos modos).
Los chips neuromórficos tienen potencial para un uso generalizado debido a su bajo consumo de energía. Según Intel, su tecnología de chip neuromórfico puede integrarse en una CPU para llevar el procesamiento de IA de bajo consumo a los sistemas, o los procesadores neuromórficos pueden hacerse accesibles como un servicio en la nube.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
