Estás leyendo la publicación: Todo lo que necesitas saber sobre Graph Contrastive Learning
El aprendizaje autosupervisado de datos estructurados en grafos ha despertado recientemente el interés por aprender representaciones generalizables, transferibles y sólidas a partir de grafos no etiquetados. Una técnica de aprendizaje contrastivo de gráficos (GCL) primero genera numerosas vistas de gráficos mediante aumentos estocásticos de la entrada y luego aprende representaciones comparando muestras positivas con muestras negativas. En este artículo, discutiremos el aspecto teórico del aprendizaje contrastivo gráfico. Los siguientes son los temas a tratar.
Tabla de contenido
- ¿Qué es el aprendizaje contrastivo gráfico (GCL)?
- ¿Cuándo usar GCL?
- Aprendizaje autosupervisado
- ¿Como funciona?
- Beneficios y desventajas de GCL
- Aplicación de GCL
Comencemos con una introducción a Graph Contrastive Learning y sepamos por qué no necesita anotaciones humanas.
¿Qué es el aprendizaje contrastivo gráfico?
Graph Contrastive Learning (GCL), como su nombre lo indica, contrasta las muestras de gráficos y empuja las que pertenecen a la misma distribución entre sí en el espacio incrustado. Por otro lado, los pertenecientes a diferentes distribuciones se presionan unos contra otros.
La columna vertebral de este método es el aprendizaje contrastivo. Emplea tareas de proxy para guiar el aprendizaje de las representaciones. La tarea de proxy está diseñada para predecir cualquier parte de la entrada de cualquier otra parte observada.
- El aprendizaje contrastivo es un aprendizaje autosupervisado en el que los puntos de datos sin etiquetar se colocan uno al lado del otro para formar un modelo de qué puntos son similares y cuáles son diferentes.
Entonces, un patrón contrastivo general que caracteriza el espacio de diseño de interés en cuatro dimensiones.
- Funciones de aumento de datos,
- Modos de contraste
- objetivos contrastivos
- Estrategias de minería negativas
¿Está buscando un repositorio completo de bibliotecas de Python utilizadas en ciencia de datos, echa un vistazo aquí.
¿Cuándo usar GCL?
Como GCL tiene como objetivo aprender la representación gráfica con la ayuda del aprendizaje contrastivo. Se utiliza cuando existe la necesidad de comprender los nodos de baja dimensión que incorporan información tanto estructural como atributiva.
Por ejemplo, estamos desarrollando un software de IA para personas sordas como lenguaje de señas y tenemos datos relacionados con la representación gráfica de gestos con las manos. Ahora hay que aprender cada nodo de la representación para entender la lengua de signos y responder por señas.
Estos nodos se denominan de baja dimensión porque tienen menos características que se necesitan aprender en comparación con las observaciones. Entonces, para aprender la información estructural y atributiva de cada representación gráfica, usaremos GCL como modelo de preentrenamiento y, para el modelo de destino, podemos usar NN.
Dado que Graph Contrastive Learning utiliza el aprendizaje contrastivo, que es una técnica autosupervisada, comprendamos los conceptos básicos del aprendizaje autosupervisado.
Aprendizaje autosupervisado
El sistema aprende a anticipar una parte de su entrada a partir de otras partes de su entrada en el aprendizaje autosupervisado. En otras palabras, una parte de la entrada se utiliza como señal de supervisión para un predictor que recibe el resto de los datos. Las redes neuronales pueden aprender en dos fases cuando se utiliza el aprendizaje autosupervisado:
- Los problemas con etiquetas erróneas se pueden manejar para inicializar el peso de las redes.
- La tarea real del proceso se puede completar a través del aprendizaje supervisado o no supervisado.
¿Por qué se utiliza el aprendizaje autosupervisado en GCL?
Debido a tres puntos principales, se utiliza el aprendizaje autosupervisado en lugar del aprendizaje supervisado.
- Escalabilidad: Para pronosticar el resultado de datos desconocidos, el enfoque de aprendizaje supervisado requiere datos etiquetados. Sin embargo, la construcción de modelos que generan buenas predicciones puede necesitar un gran conjunto de datos. El etiquetado manual de datos lleva tiempo y, a menudo, no es práctico. Aquí es donde el aprendizaje autosupervisado resulta útil, ya que automatiza el proceso incluso cuando se trata de grandes volúmenes de datos.
- Capacidades mejoradas: El aprendizaje autosupervisado ofrece una amplia gama de aplicaciones en visión por computadora, que incluyen coloración, rotación 3D, finalización de profundidad y relleno de contexto. Otra área en la que sobresale el aprendizaje autosupervisado es el reconocimiento de voz.
- Intervención humana: Las etiquetas se generan automáticamente mediante el aprendizaje autosupervisado sin necesidad de interacción humana.
Profundicemos más en el concepto de aprendizaje contrastivo y cómo se usa en el dominio gráfico.
¿Como funciona?
El objetivo de GCL es crear diferentes muestras del gráfico de entrada y entrenar el algoritmo para aprender los atributos de baja dimensión de la representación gráfica que luego se clasificarán en subconjuntos positivos y negativos.
Formulación Matemática
Un gráfico de entrada con dos propiedades principales: el conjunto de nodos y el conjunto de aristas. Durante el entrenamiento, no se proporciona información de clase de nodos o gráficos en el contexto del aprendizaje de representación no supervisado. Nuestro objetivo es entrenar un codificador GNN que tome las características y la estructura del gráfico como entrada y cree incrustaciones de nodos de baja dimensión.
También podemos generar una representación a nivel de gráfico del gráfico de entrada que agrega incrustaciones a nivel de nodo para actividades orientadas a gráficos. Estas representaciones se pueden emplear en tareas posteriores como la categorización de nodos/gráficos y el descubrimiento de comunidades.
Los aumentos estocásticos se aplican en cada ciclo de entrenamiento para producir diferentes perspectivas gráficas a partir del gráfico de entrada. Muestramos dos funciones de aumento para construir dos vistas de gráfico con todas las funciones de transformación potenciales. Luego usamos un codificador GNN común para obtener representaciones de nodos para las dos vistas. Si se desea, se puede usar una función de lectura para adquirir representaciones gráficas para cada vista de gráfico.
El modo de contraste define un conjunto positivo y un conjunto negativo para cada nodo que incrusta “V” como instancia de anclaje. El conjunto positivo en un contexto de aprendizaje puro no supervisado consiste en incrustaciones en las dos vistas de gráfico aumentadas correspondientes al mismo nodo o gráfico. Cabe señalar que cuando se utiliza la supervisión de etiquetas, el conjunto positivo puede aumentarse con muestras de la misma clase.
Además, podemos usar algoritmos de minería negativa para mejorar el conjunto de muestras negativas teniendo en cuenta la similitud relativa de las muestras negativas. Finalmente, calificamos estos emparejamientos positivos y negativos definidos utilizando un objetivo contrastivo.
Entonces, todo el proceso podría dividirse en cuatro partes principales.
- El objetivo de aumento de datos es producir muestras positivas congruentes que preserven la identidad de una red dada. La mayoría del trabajo de GCL implica enfoques de aumento de dos niveles, como la transformación estructural y la transformación de características.
- En el caso de un ancla, modos contrastantes determinar los conjuntos positivos y negativos en varias granularidades del gráfico. Tres formas contrastantes de trabajo se utilizan regularmente en el trabajo principal.
- El objetivo de CL local-local es contrastar las representaciones a nivel de nodo en los dos puntos de vista. El ancla para la incrustación de un nodo es “V”, y la muestra positiva es su contraparte congruente en la otra perspectiva “U”; las incrustaciones que no sean “U” se seleccionan naturalmente como negativas.
- CL Global-Global asegura que las incrustaciones a nivel de nodo y gráfico sean compatibles. Por ejemplo, si una incrustación global es la instancia ancla, la muestra positiva son todas sus incrustaciones de nodos en toda la red. Si la función de lectura es lo suficientemente expresiva, el esquema global-local se puede utilizar como sustituto de CL local-local.
- CL Global-Local asegura que las incrustaciones de gráficos de las dos vistas aumentadas del mismo gráfico sean consistentes. La muestra positiva para un gráfico que incrusta “S1” es la incrustación “S2” de la otra vista mejorada. Otras incrustaciones de gráficos en el lote se consideran muestras negativas en esta situación.
- El espacio del modo de contraste está determinado por tareas posteriores. Para conjuntos de datos de nodos, solo son apropiados CL local-local y global-local, pero los conjuntos de datos de gráficos pueden emplear los tres modos. Para una mejor comprensión, consulte la ilustración visual anterior.
- Para entrenar el codificador, objetivos contrastivos se emplean para maximizar la concordancia entre las muestras positivas y la disparidad entre las negativas.
- Aparte de la instancia de anclaje, las incrustaciones de nodos o gráficos son distintas del anclaje y, por lo tanto, contemplan los negativos. Como resultado, es lógico concluir que se requieren tamaños de muestra/lote más grandes para el aprendizaje de contraste (CL) exitoso para incluir más negativos para entregar señales de entrenamiento más útiles. Esto se conoce como el estrategia de minería negativa.
Beneficios y desventajas de GCL
Echemos un vistazo a los beneficios y desventajas del aprendizaje contrastivo gráfico.
Beneficios
- Es un aprendizaje autosupervisado, por lo que no hay necesidad de anotaciones humanas.
- Al maximizar la información mutua, GCL se utiliza para generar múltiples vistas del mismo gráfico.
- No depende de la calidad de los datos. Puede operar con datos de baja calidad.
inconvenientes
- Debido al aumento de datos, se incurre en pérdida de información.
- Alta probabilidad de ataque adversario debido a la naturaleza discreta de los bordes y nodos en los gráficos.
- Sobreajuste especulativo del aprendiz.
Aplicación de GCL
- En la disciplina de la botánica, GCL ayuda a comprender la estructura molecular de varios especímenes, que luego pueden categorizarse aún más.
- Graph Contrast Learning ayuda en la adición de múltiples colores a una determinada imagen.
- GCL ayuda a la predicción consciente del contexto. Ayuda a completar el contexto si faltan ciertos elementos.
- GCL podría utilizarse como modelo de preentrenamiento de un objetivo. Esto se conoce como transmisión de conocimiento. Porque puede operar con menos cantidad de datos.
- GCL se utiliza para determinar la conexión entre varios parches en una imagen.
veredictos de cierre
Graph Contrasting Learning es un aprendizaje autosupervisado que aumenta los datos y, en función del aumento, aprende diferentes atributos sobre los datos en los niveles de raíz. En este artículo, hemos discutido la funcionalidad de GCL que ayuda a comprender sus procesos posteriores y dónde implementar este tipo de aprendizaje.
