Estás leyendo la publicación: En las últimas investigaciones sobre IA, los investigadores de Deepmind proponen pasos para escalar las representaciones neuronales implícitas (INR)
Este artículo está escrito como un resumen por el personal de Marktechpost basado en el documento de investigación ‘Redes de compresión escasa de metaaprendizaje‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel, artículo de referencia.
Por favor, no olvides unirte a nuestro Subreddit de aprendizaje automático
Durante un tiempo, los investigadores de Deep Learning han estado trabajando para reinventar la forma en que los datos se representan como funciones que se asignan a una señal continua subyacente en el espacio de coordenadas. Es una alternativa persuasiva a la representación de matriz multidimensional más popular cuando tales procesos son aproximados por redes neuronales.
Después de una búsqueda de arquitectura rigurosa, las representaciones neuronales implícitas (INR) han superado recientemente los métodos de compresión bien establecidos como JPEG. En este documento se sugiere un paso esencial para hacer que tales conceptos sean escalables: la compresión se mejora en gran medida al usar primero algoritmos de dispersión de red de última generación. Se descubrió un método para mejorar aún más la compresión y reducir el costo computacional del aprendizaje de INR que permite aplicar la dispersión en el bucle interno de los algoritmos de metaaprendizaje de uso común.
DeepMind sugiere formas de escalar representaciones neuronales implícitas en una nueva publicación llamada “Meta-aprendizaje: Redes de compresión dispersas”. Las redes de compresión dispersa de metaaprendizaje pueden representar muchos tipos de datos diferentes, logrando un rendimiento de vanguardia en algunos de estos tipos de datos.
Fuente: https://arxiv.org/pdf/2205.08957.pdfDeep Learning se basa en gran medida en la representación de datos. El uso de representaciones neuronales implícitas (INR) como alternativa a las matrices multidimensionales ha surgido como una alternativa interesante. Se ha descubierto que los INR superan los métodos de compresión estándar como JPEG en investigaciones recientes.
Los investigadores de DeepMind han desarrollado nuevas formas de hacer que los INR sean más escalables en su reciente publicación Meta-Learning Sparse Compression Networks. Puede representar de manera efectiva muchas modalidades de datos, como imágenes, múltiples, funciones de distancia con signo, formas 3D y escenas, con las consiguientes redes de compresión escasa de metaaprendizaje (MSCN).
Debido a la compensación entre el tamaño de la red y la calidad de la aproximación y la necesidad de búsqueda de arquitectura o fuertes sesgos inductivos, los INR tienen límites a pesar de su excelente rendimiento de compresión. Los métodos de compresión tradicionales, como JPEG de 1992, tenían un costo de ajuste a los datos más bajo, pero los INR tienen uno mucho mayor.
Fuente: https://arxiv.org/pdf/2205.08957.pdfEste problema es abordado por los MSCN propuestos. Con las últimas técnicas de dispersión, el equipo puede reducir significativamente los costos computacionales al optimizar la cantidad de parámetros utilizados en sus INR. Los métodos de metaaprendizaje como MAML también se utilizan para aprender los INR que representan una sola señal ajustándolos a partir de una inicialización aprendida con menos pasos de optimización.
Para volver a imaginar la técnica de dispersión como la búsqueda de la mejor estructura de red para una tarea específica, el equipo se basa en su eficiente retropropagación y especifica la inicialización óptima para señales dispersas. La flexibilidad permite su uso en varias aplicaciones, incluida una amplia gama de pesos, representaciones, grupos y dispersión de gradientes.
El marco MSCN se probó utilizando datos y modalidades que van desde imágenes y variedades hasta vóxeles y funciones y escenas de distancia firmada para compararlo con cinco líneas base: MAML+OneShot, MAML+IMP, Dense-Narrow y Scratch. Al menos una técnica de vanguardia fue superada por el MSCN propuesto en los experimentos.
Las aplicaciones de metaaprendizaje que requieren una inferencia rápida pueden encontrar su enfoque particularmente útil. El equipo señala que las técnicas presentadas en su investigación también se pueden integrar fácilmente con algunas de las líneas de base que han estudiado. Si solo se necesita reconstruir una pequeña parte de las modulaciones, el equipo cree que una técnica de código latente podría ser competitiva en estudios futuros.
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
