Estás leyendo la publicación: Cómo acceder al conocimiento científico con Galactica – Hacia la IA
Publicado originalmente en Hacia la IA, la empresa líder mundial en noticias y medios de IA y tecnología. Si está creando un producto o servicio relacionado con la IA, lo invitamos a considerar convertirse en patrocinador de la IA. En Hacia la IA, ayudamos a escalar las empresas emergentes de IA y tecnología. Permítanos ayudarlo a dar rienda suelta a su tecnología a las masas.
Un tutorial para usar el modelo de lenguaje grande de Meta AI para realizar tareas científicas de PNL
El mundo del conocimiento científico es alucinantemente vasto. La búsqueda de artículos de investigación relevantes, la comprensión de conceptos complejos y la redacción de publicaciones académicas pueden resultar abrumadoras y consumir mucho tiempo, especialmente para los investigadores sin experiencia. Afortunadamente, con la llegada del gran modelo de lenguaje de Meta AI, acceder al conocimiento científico nunca ha sido tan fácil.
En este tutorial, te mostraré cómo usar Galáctica de Meta AI para realizar de forma rápida y eficaz diversas tareas científicas de PNL. Cubriremos temas como la búsqueda de citas relevantes, la generación de artículos académicos, el procesamiento de datos multimodales (por ejemplo, ecuaciones LaTeX, fragmentos de código, fórmulas químicas, etc.) que se encuentran con frecuencia durante la investigación, y más.
¿Qué es Galactica de Meta AI?
Galactica es un modelo de lenguaje grande de parámetros 120B entrenado en un corpus científico curado. Los datos de entrenamiento consisten no solo en volúmenes masivos de literatura científica, sino también en conjuntos de datos para tareas científicas posteriores de PNL y tokens especiales que representan fenómenos científicos.
La tokenización especializada es una parte integral de Galactica, ya que permite que el modelo prediga citas o procese modalidades, como secuencias de proteínas o fórmulas SMILES:
- Citas: las citas se envuelven con tokens de referencia [START_REF] y [END_REF].
- Razonamiento: el token
permite el razonamiento paso a paso al imitar una memoria de trabajo interna (no cubierta en este tutorial). - Fórmula SONRISAS: Las secuencias de fórmulas de SONRISAS están envueltas con tokens [START_SMILES] y [END_SMILES]. Para SONRISAS isoméricas, fichas [START_I_SMILES] y [END_I_SMILES] son usados.
- Secuencias de aminoácidos: las secuencias de aminoácidos están envueltas con fichas [START_AMINO] y [END_AMINO].
- Secuencias de ADN: Las secuencias de ADN se envuelven con tokens [START_DNA] y [END_DNA].
Meta AI informa que el enfoque generativo de Galactica para la predicción de citas supera los enfoques de recuperación, lo que demuestra el potencial de los modelos de lenguaje para reemplazar los motores de búsqueda. Además, Galactica supera los métodos existentes en los puntos de referencia de tareas de razonamiento (p. ej., MMLU y MATH) y establece un nuevo estado del arte en varias tareas científicas posteriores de PNL (p. ej., PubMedQA y MedMCOA).
A pesar de sus poderosas capacidades, similares a la mayoría de los modelos de lenguaje, Galactica es propensa a ; es decir, el modelo genera resultados sin sentido en algunos casos. Por lo tanto, los investigadores que usan Galactica siempre deben verificar los resultados generados.
Cómo usar Galáctica
Se puede acceder a Galactica a través de la biblioteca Galai Python. Puede descargar el modelo con load_model.
importar galai como gal
modelo = gal.load_model(nombre=”estándar”, num_gpus=2)
- El argumento del nombre es para el nombre de la versión del modelo a usar. Hay cinco versiones del modelo disponibles (‘mini’, ‘base’, ‘estándar’, ‘grande’, ‘enorme’), cada una con diferentes tamaños de parámetros (125M, 1.3B, 6.7B, 30B, 120B, respectivamente) .
- El argumento num_gpus es para la cantidad de GPU a usar. Pude cargar la versión ‘estándar’ en dos GPU NVIDIA RTX 3090; el modelo ocupaba alrededor de 19 GB de memoria para cada dispositivo.
Generación de texto
Al igual que la mayoría de los modelos de lenguaje grandes, Galactica enmarca cada tarea de PNL como generación de texto. Puede usar generar para generar texto.
# generación de texto de forma libre
input_text = “La razón por la que Transformers reemplazó a los RNN fue porque”
texto_generado = modelo.generar(texto_de_entrada=texto_de_entrada,
longitud_máxima=256,
new_doc=Falso,
top_p=Ninguno)
imprimir (texto_generado)
“””
La razón por la cual Transformers reemplazó a los RNN fue porque pudieron capturar dependencias a largo plazo en la secuencia de entrada.
# 2.2.2. Mecanismo de atención
El mecanismo de atención se introdujo en [START_REF] Traducción automática neuronal de Jointly Learning to Align and Translate, Bahdanau[END_REF] para mejorar el rendimiento del modelo codificador-decodificador…
“””
- El input_text es el contexto de entrada para que el modelo lo use para su generación. Se puede acceder a otras capacidades avanzadas de Galactica a través de la ingeniería rápida del contexto de entrada.
- max_length modifica la longitud máxima del token del texto generado. El valor predeterminado es 60 tokens, por lo que max_length debe establecerse en un valor más alto para generaciones más largas. La longitud máxima de contexto del modelo es de 2048 tokens.
- Si new_doc se establece en True, se agrega automáticamente un token de relleno al frente del texto de entrada para que el modelo lo trate como el comienzo de un nuevo documento. Para la generación de texto de forma libre, new_doc debe establecerse en False.
- El argumento top_p es para muestreo de núcleo. Si los resultados generados parecen demasiado repetitivos, establezca el valor en un valor flotante entre 1 y 0, como 0,9. De lo contrario, el valor predeterminado de top_p es Ninguno y se utiliza la decodificación codiciosa.
Documentos y Encuestas
Puede generar varios tipos de literatura académica con Galactica a través de ingeniería rápida. Si un aviso está diseñado para parecerse a cierto tipo de documento, también lo será su finalización. Para documentos en papel, utilice Título:.
# generar documento en papel
input_text = “Título: Aprendizaje autosupervisado, una encuesta\n\nAutores: John Smith\n\n”
texto_generado = modelo.generar(texto_de_entrada, nuevo_doc=Verdadero)
imprimir (texto_generado)
“””
Título: Aprendizaje autosupervisado, una encuesta
Autores: John Smith
# Abstracto
El aprendizaje autosupervisado es una clase de métodos de aprendizaje automático que aprenden representaciones de datos sin necesidad de etiquetas proporcionadas por humanos.\nEn esta encuesta, brindamos una descripción general completa del campo
“””
Esta funcionalidad es particularmente útil cuando necesita una encuesta completa sobre un tema en particular. Simplemente diseñe el indicador como Título: TEMA, Una encuesta y Galactica generará uno automáticamente para usted.
Notas de clase y artículos de Wikipedia
Para artículos de estilo Wikipedia o notas de conferencias, comience el aviso con #.
# generar artículos de estilo wiki
input_text = “# Atención de múltiples cabezas\n\n”
texto_generado = modelo.generar(texto_de_entrada, nuevo_doc=Verdadero)
imprimir (texto_generado)
“””
# Atención de múltiples cabezas
El mecanismo de atención de múltiples cabezas es una generalización del mecanismo de atención de una sola cabeza. El mecanismo de atención de múltiples cabezas es una combinación de múltiples mecanismos de atención de una sola cabeza. El mecanismo de atención de múltiples cabezales se muestra en la Figura 2.
El multi-…
“””
# generar notas de clase
input_text = “# Clase 1: El modelo Ising\n\n”
texto_generado = modelo.generar(texto_de_entrada, nuevo_doc=Verdadero)
imprimir (texto_generado)
“””
# Conferencia 1: El modelo de Ising
# 1.1 El modelo de Ising
El modelo de Ising es un modelo simple de ferromagnetismo. Fue introducido por Lenz en 1920. [[START_REF] Beitrag zur Theorie des Ferromagnetismo, Ising[END_REF]]
“””
Predicción de citas
Galactica se basa en un gran corpus científico que comprende más de 360 millones de citas en contexto y más de 50 millones de referencias únicas normalizadas en un conjunto diverso de fuentes. Esto permite que el modelo sugiera citas y ayude a descubrir artículos relacionados. Las citas se representan como [START_REF] TÍTULO, AUTOR [END_REF].
Buscar
Para buscar un artículo que trate sobre un tema determinado, utilice el siguiente mensaje: TEMA DEL PRÁCTICO [START_REF]. Desde el [START_REF] token se agrega al final del contexto de entrada, Galactica lo trataría como el comienzo de una cita y completaría el resto.
# cita de búsqueda
input_text = “Un documento de NLP que compara diferentes formas de codificar posiciones en arquitecturas basadas en Transformer”
texto_generado = modelo.generar(texto_de_entrada + “[START_REF]”)
imprimir (texto_generado)
“””
Un documento de NLP que compara diferentes formas de codificar posiciones en arquitecturas basadas en Transformer
[START_REF] Embebidos en posición en BERT, Wang[END_REF]
“””
Predicción
En lugar de buscar explícitamente una cita, también puede solicitar a Galactica que sugiera un artículo relevante dentro de un documento. El modelo ha sido entrenado en numerosos textos académicos que incluyen representaciones de gráficos de citas implícitas. Por lo tanto, dado un aviso como TEXTO [START_REF]Galactica puede sugerir automáticamente citas relevantes para el TEXTO.
# predecir cita
input_text = “””Redes neuronales recurrentes, memoria a largo plazo y redes neuronales recurrentes cerradas
las redes en particular, se han establecido firmemente como estado del arte
enfoques en el modelado de secuencias y problemas de transducción como el lenguaje
modelado y traducción automática “””
texto_generado = modelo.generar(texto_de_entrada + “[START_REF]”)
imprimir (texto_generado)
“””
Redes neuronales recurrentes, memoria a largo plazo y neuronal recurrente cerrada.
las redes en particular, se han establecido firmemente como estado del arte
enfoques en el modelado de secuencias y problemas de transducción como el lenguaje
modelado y traducción automática [START_REF] Basado en redes neuronales recurrentes
modelo de lenguaje, Mikolov[END_REF][START_REF] Aprendizaje de secuencia a secuencia con
Redes Neuronales, Sutskever[END_REF][START_REF] Traducción automática neuronal por
Aprendizaje conjunto para alinear y traducir, Bahdanau[END_REF] …
“””
¿Es mejor la generación que la recuperación?
Uno podría tener dudas acerca de confiar en Galactica para la predicción de citas, ya que se sabe que los grandes modelos de lenguaje producen contenidos que están lejos de ser fácticos. Sin embargo, Meta AI informa que el enfoque generativo de Galactica supera los enfoques de recuperación escasos y densos ajustados en las tareas de predicción de citas. Galactica está lejos de ser perfecta, pero los experimentos indican que el modelo produce mejores resultados que los motores de búsqueda tradicionales.
Tareas posteriores de NLP
Puede usar Galactica para tareas de NLP convencionales posteriores, como resúmenes, extracción de entidades y respuesta a preguntas. Si bien los modelos de lenguaje de propósito general pueden tener problemas con la terminología científica o la jerga médica, este no es el caso con Galactica. Por ejemplo, Meta AI informa que el modelo logra un nuevo resultado de vanguardia en los puntos de referencia de respuesta de preguntas de PubMedQA y MedMCOA; ambas son tareas que requieren una comprensión rigurosa de conceptos biomédicos de alto nivel.
resumen
Para generar un resumen, simplemente agregue TLDR: al final del documento.
# resumen
input_text = “””La sobrecarga de información es un obstáculo importante para el progreso científico. El crecimiento explosivo de la literatura y los datos científicos ha hecho que sea cada vez más difícil descubrir información útil en una gran cantidad de información. Hoy en día, se accede al conocimiento científico a través de motores de búsqueda, pero son incapaces de organizar el conocimiento científico por sí solos. En este artículo presentamos Galactica: un gran modelo de lenguaje que puede almacenar, combinar y razonar sobre el conocimiento científico. Nos capacitamos en un gran corpus científico de artículos, material de referencia, bases de conocimiento y muchas otras fuentes. Superamos a los modelos existentes en una variedad de tareas científicas. En pruebas de conocimiento técnico, como ecuaciones LaTeX, Galactica supera al último GPT-3 en un 68,2 % frente a un 49,0 %. Galactica también se desempeña bien en razonamiento, superando a Chinchilla en MMLU matemático en un 41,3 % a 35,7 %, y PaLM 540B en MATH con una puntuación de 20,4 % frente a 8,8 %. También establece un nuevo estado del arte en tareas posteriores como PubMedQA y MedMCQA dev de 77,6 % y 52,9 %. Y a pesar de no estar entrenado en un corpus general, Galactica supera a BLOOM y OPT-175B en BIG-bench. Creemos que estos resultados demuestran el potencial de los modelos de lenguaje como una nueva interfaz para la ciencia. Abrimos el código fuente del modelo en beneficio de la comunidad científica”.””
texto_generado = modelo.generar(texto_de_entrada + “\n\nTLDR:”, max_length=400)
imprimir (texto_generado)
“””
La sobrecarga de información es un obstáculo importante para el progreso científico. El crecimiento explosivo de la literatura y los datos científicos ha hecho que sea cada vez más difícil descubrir ideas útiles en una gran cantidad de información. Hoy en día se accede al conocimiento científico a través de buscadores, pero estos por sí solos no son capaces de organizar el conocimiento científico. En este artículo presentamos Galactica: un gran modelo de lenguaje que puede almacenar, combinar y razonar sobre el conocimiento científico. Nos capacitamos en un gran corpus científico de artículos, material de referencia, bases de conocimiento y muchas otras fuentes. Superamos a los modelos existentes en una variedad de tareas científicas. En las pruebas de conocimiento técnico, como las ecuaciones de LaTeX, Galactica supera al último GPT-3 en un 68,2 % frente al 49,0 %. Galactica también tiene un buen desempeño en razonamiento, superando a Chinchilla en MMLU matemático por un 41,3 % a 35,7 %, y a PaLM 540B en MATH con una puntuación de 20,4 % frente a 8,8 %. También establece un nuevo estado del arte en tareas posteriores como PubMedQA y MedMCQA dev de 77,6% y 52,9%. Y a pesar de no estar entrenado en un corpus general, Galactica supera a BLOOM y OPT-175B en BIG-bench. Creemos que estos resultados demuestran el potencial de los modelos de lenguaje como una nueva interfaz para la ciencia. Abrimos el código fuente del modelo en beneficio de la comunidad científica.
TLDR: Presentamos Galactica, un gran modelo de lenguaje que puede almacenar, combinar y razonar sobre el conocimiento científico.
“””
Extracción de entidades
Puede extraer entidades de documentos en un formato de pregunta-respuesta. Diseñe el aviso de la siguiente manera: TEXTO\n\nP: ¿Qué entidades científicas se mencionan en el resumen anterior?\n\nR:. Según el tema del documento, puede reemplazar las entidades científicas con un término más específico del dominio, como entidades biomédicas.
# extracción de entidades
input_text = “””La sobrecarga de información es un obstáculo importante para el progreso científico. El crecimiento explosivo de la literatura y los datos científicos ha hecho que sea cada vez más difícil descubrir información útil en una gran cantidad de información. Hoy en día, se accede al conocimiento científico a través de motores de búsqueda, pero son incapaces de organizar el conocimiento científico por sí solos. En este artículo presentamos Galactica: un gran modelo de lenguaje que puede almacenar, combinar y razonar sobre el conocimiento científico. Nos capacitamos en un gran corpus científico de artículos, material de referencia, bases de conocimiento y muchas otras fuentes. Superamos a los modelos existentes en una variedad de tareas científicas. En pruebas de conocimiento técnico, como ecuaciones LaTeX, Galactica supera al último GPT-3 en un 68,2 % frente a un 49,0 %. Galactica también se desempeña bien en razonamiento, superando a Chinchilla en MMLU matemático en un 41,3 % a 35,7 %, y PaLM 540B en MATH con una puntuación de 20,4 % frente a 8,8 %. También establece un nuevo estado del arte en tareas posteriores como PubMedQA y MedMCQA dev de 77,6 % y 52,9 %. Y a pesar de no estar entrenado en un corpus general, Galactica supera a BLOOM y OPT-175B en BIG-bench. Creemos que estos resultados demuestran el potencial de los modelos de lenguaje como una nueva interfaz para la ciencia. Abrimos el código fuente del modelo en beneficio de la comunidad científica”.””
query = ‘\n\nP: ¿Qué entidades científicas se mencionan en el resumen anterior?\n\nR:’
texto_generado = modelo.generar(texto_de_entrada + consulta, longitud_máxima=400)
imprimir (texto_generado)
“””
La sobrecarga de información es un obstáculo importante para el progreso científico. El crecimiento explosivo de la literatura y los datos científicos ha hecho que sea cada vez más difícil descubrir ideas útiles en una gran cantidad de información. Hoy en día se accede al conocimiento científico a través de buscadores, pero estos por sí solos no son capaces de organizar el conocimiento científico. En este artículo presentamos Galactica: un gran modelo de lenguaje que puede almacenar, combinar y razonar sobre el conocimiento científico. Nos capacitamos en un gran corpus científico de artículos, material de referencia, bases de conocimiento y muchas otras fuentes. Superamos a los modelos existentes en una variedad de tareas científicas. En las pruebas de conocimiento técnico, como las ecuaciones de LaTeX, Galactica supera al último GPT-3 en un 68,2 % frente al 49,0 %. Galactica también tiene un buen desempeño en razonamiento, superando a Chinchilla en MMLU matemático por un 41,3 % a 35,7 %, y a PaLM 540B en MATH con una puntuación de 20,4 % frente a 8,8 %. También establece un nuevo estado del arte en tareas posteriores como PubMedQA y MedMCQA dev de 77,6% y 52,9%. Y a pesar de no estar entrenado en un corpus general, Galactica supera a BLOOM y OPT-175B en BIG-bench. Creemos que estos resultados demuestran el potencial de los modelos de lenguaje como una nueva interfaz para la ciencia. Abrimos el código fuente del modelo en beneficio de la comunidad científica.
P: ¿Qué entidades científicas se mencionan en el resumen anterior?
R: ecuaciones LaTeX, MMLU matemática, MATH, PubMedQA, MedMCQA, BIG-bench
“””
Respuesta a preguntas
En el artículo, los autores anteponen las preguntas con Q: o Pregunta:. Un formato típico es Pregunta: CONSULTA\n\nRespuesta:.
# pregunta respondiendo
consulta = “¿Qué es la vía de señalización de muesca?”
input_text = f”Pregunta: {consulta}\n\nRespuesta:”
texto_generado = modelo.generar(texto_de_entrada)
imprimir (texto_generado)
“””
Pregunta: ¿Qué es la vía de señalización de muesca?
Respuesta: La vía de señalización de Notch es una vía de comunicación célula-célula que regula las decisiones del destino celular durante el desarrollo. Está involucrado en la proliferación celular, diferenciación, apoptosis y migración celular. La vía de señalización de Notch se activa por la unión de…
“””
Tareas multimodales
Como se mencionó anteriormente, Galactica puede procesar modalidades distintas al texto no estructurado, como ecuaciones LaTeX, código, fórmula SMILES, secuencias de ADN y secuencias de aminoácidos. El modelo utiliza tokens específicos de tareas para respaldar diversas formas de conocimiento científico. Este diseño permite a los usuarios abordar tareas multimodales que implican interacciones entre el lenguaje natural y las representaciones de fenómenos científicos.
Matemáticas
Las ecuaciones matemáticas se representan como LaTeX. Galactica envuelve las ecuaciones de LaTeX con corchetes \[ EQUATION \]por lo tanto, para generar descripciones matemáticas, asegúrese de finalizar su solicitud con \[. Here is an example of predicting a LaTeX equation given a natural language description.
# predict math formula
input_text = “The Schwarzschild radius is defined as: “
generated_text = model.generate(input_text + “\[“)
print(generated_text)
“””
The Schwarzschild radius is defined as: \[r_{s}=\frac{2GM}{c^{2}}\]
“””
Si es posible convertir el lenguaje natural en matemáticas, también lo es viceversa. Galactica puede traducir con fluidez entre modalidades, incluido el lenguaje matemático a natural. Esta funcionalidad sería especialmente útil cuando se encuentre con una fórmula matemática indescifrable en un trabajo de investigación.
# traducir fórmula matemática a lenguaje natural
fórmula_matemática= “\[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]”
input_text = f”Pregunta: Traduce la siguiente fórmula matemática: {fórmula_matemática} al inglés sencillo.\n\nRespuesta:”
texto_generado = modelo.generar(texto_de_entrada, longitud_máxima=128)
imprimir (texto_generado)
“””
Pregunta: Traduzca la siguiente fórmula matemática: \[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\] al inglés sencillo.
Respuesta: La función zeta de Riemann es la suma de los recíprocos de todos los números enteros positivos elevados a la potencia de s.
“””
Curiosamente, Galactica de alguna manera ha aprendido a convertir ecuaciones matemáticas en código.
# traducir fórmula matemática a código
fórmula_matemática= “\[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]”
input_text = f”Pregunta: Traduce la siguiente fórmula matemática: {fórmula_matemática} al código de Python.\n\nRespuesta:”
texto_generado = modelo.generar(texto_de_entrada, longitud_máxima=128)
imprimir (texto_generado)
“””
Pregunta: Traduzca la siguiente fórmula matemática: \[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]en código Python.
Respuesta:
definición zeta(s):
devuelve la suma (n ** (-s) para n en el rango (1, 1000000))
“””
Código
Aquí hay una demostración de cómo traducir un fragmento de código a una descripción de lenguaje natural y una descripción matemática.
# traducir código a lenguaje natural
código_fragmento = “””
def producto más barato (productos: Lista[Product]) -> Producto:
return min(productos, clave=lambda p: p.precio)
“””
input_text = f”Pregunta: Traduce el siguiente código de Python:{code_snippet}\nal inglés sencillo\n\nRespuesta:”
texto_generado = modelo.generar(texto_de_entrada)
imprimir (texto_generado)
“””
Pregunta: Traduce el siguiente código de Python:
def producto más barato (productos: Lista[Product]) -> Producto:
return min(productos, clave=lambda p: p.precio)
al inglés sencillo.
Respuesta: La función devuelve el producto con el precio más bajo.
“””
# traducir código a fórmula matemática
input_text = f”Pregunta: traduce el siguiente código de Python:{code_snippet}\nen una fórmula matemática\n\nRespuesta:”
texto_generado = modelo.generar(texto_de_entrada)
imprimir (texto_generado)
“””
Pregunta: Traduce el siguiente código de Python:
def producto más barato (productos: Lista[Product]) -> Producto:
return min(productos, clave=lambda p: p.precio)
en fórmula matemática.
Respuesta: \operatorname{argmin}_{p \in \text{productos}} p.\text{precio}
“””
Entendimiento químico
Galactica puede ayudar a la organización de la información química proporcionando una interfaz para los datos de SMILES. Las fórmulas de SMILES representan la estructura química como una secuencia de caracteres y aparecen junto con descripciones en lenguaje natural o nombres IUPAC (método para nombrar compuestos orgánicos) dentro del corpus de entrenamiento de Galactica. Esto indica que el modelo podría haber aprendido a predecir los nombres de la IUPAC con una entrada de fórmula SMILES.
Para la predicción de nombres de la IUPAC, diseñe un indicador similar a un documento de PubChem:[START_I_SMILES]SONRISAS_FÓRMULA [END_I_SMILES]\n\n## Propiedades químicas y físicas\n\nLas siguientes son propiedades químicas para.
# Predicción de nombre IUPAC
fórmula_sonrisas = “C(C(=O)O)N”
entrada_texto = f”[START_I_SMILES]{fórmula_sonrisas}[END_I_SMILES]\n\n## Propiedades químicas y físicas\n\nLas siguientes son propiedades químicas para”
texto_generado = modelo.generar(texto_de_entrada)
imprimir (texto_generado)
“””
[START_I_SMILES]C(C(=O)O)N[END_I_SMILES]
## Propiedades químicas y físicas
Las siguientes son propiedades químicas del ácido 2-amino-2-oxo-acético
“””
# Tenga en cuenta que esta es una predicción incorrecta. La predicción de nombres de la IUPAC no parece funcionar bien con el modelo estándar (6.7B)
Comprensión biológica
La capacidad de Galactica para procesar modalidades biológicas (es decir, secuencias de ADN y de aminoácidos) podría potencialmente jugar un papel en ayudar a la organización de la información biomédica. Por ejemplo, el modelo puede anotar secuencias de proteínas con palabras clave funcionales. Los autores afirman que el modelo aprendió a hacer coincidir secuencias con otras similares que ha visto en el entrenamiento y puede usar esto para predecir las palabras clave funcionales.
Las indicaciones para la anotación de proteínas se pueden diseñar de la siguiente manera:[START_AMINO]AMINO_ACID_SECUENCIA [END_AMINO]\n\n## Palabras clave.
# predicción de palabras clave funcionales de proteínas
protein_seq = “GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP”
entrada_texto = f”[START_AMINO]{proteína_seq}[END_AMINO]\n\n## Palabras clave”
texto_generado = modelo.generar(texto_de_entrada, longitud_máxima=512)
imprimir (texto_generado)
“””
[START_AMINO]GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP[END_AMINO]
## Palabras clave
Citoplasma, metiltransferasa, procesamiento de ARNr, S-adenosil-L-metionina, transferasa
“””
Conclusión
Este tutorial proporciona una descripción general de cómo Galactica de Meta AI permite a los usuarios acceder al conocimiento científico y aprovechar este conocimiento para abordar una variedad de tareas científicas de PNL. Estas tareas van desde la generación de literatura académica hasta el procesamiento de datos multimodales, y todas estas tareas podrían desempeñar un papel en el descubrimiento científico. Aunque el modelo está lejos de ser perfecto, los experimentos muestran que las predicciones del modelo a menudo pueden superar a los métodos tradicionales. El impresionante rendimiento y la facilidad de uso del modelo merecen más estudio y exploración. En el futuro, espero que podamos continuar explorando cómo los modelos de lenguaje grandes como estos pueden ayudar a la investigación científica y al proceso de la ciencia misma.
Cómo acceder al conocimiento científico con Galactica se publicó originalmente en Hacia la IA en Medium, donde las personas continúan la conversación resaltando y respondiendo a esta historia.
Publicado a través de Hacia la IA
