Estás leyendo la publicación: Conozca ImpressionGPT: un marco de optimización iterativo basado en ChatGPT para resúmenes de informes de radiología
La necesidad de modelos de resumen de texto efectivos y precisos aumenta a medida que el volumen de información textual digital se expande increíblemente tanto en el sector general como en el médico. Resumir un texto implica condensar un escrito extenso en una descripción general concisa, conservando el significado y el valor del material. Ha sido un punto focal de la investigación del procesamiento del lenguaje natural (NLP) durante bastante tiempo.
Los resultados positivos se comunicaron mediante la introducción de redes neuronales y técnicas de aprendizaje profundo, en particular, modelos de secuencia a secuencia que utilizan arquitecturas de codificador-decodificador para la generación de resúmenes. En comparación con los métodos estadísticos y basados en reglas, los resúmenes generados por estos enfoques eran más naturales y contextualmente apropiados. El esfuerzo se hace más difícil debido a la necesidad de preservar las características contextuales y relacionales de tales resultados y el deseo de precisión en los escenarios terapéuticos.
Los investigadores utilizaron y mejoraron ChatGPT para resumir los informes radiológicos. Para aprovechar al máximo la capacidad de aprendizaje en contexto de ChatGPT y mejorarla continuamente a través de la interacción, se desarrolla e implementa un nuevo método de optimización iterativo utilizando ingeniería rápida. Para ser más precisos, empleamos algoritmos de búsqueda de similitud para crear un mensaje dinámico que incorpora informes preexistentes que son semántica y clínicamente comparables. ChatGPT está capacitado con estos informes paralelos para comprender descripciones de texto y resúmenes de manifestaciones de imágenes similares.
Principales contribuciones
- La búsqueda de similitudes permite el aprendizaje en contexto de un modelo de lenguaje (LLM) con datos escasos. Se desarrolla un indicador dinámico que incluye todos los datos más relevantes para LLM mediante la identificación de los casos más comparables en el corpus.
- Creamos un sistema de indicaciones dinámicas para una técnica de optimización iterativa. El indicador iterativo primero evalúa las respuestas generadas por LLM y luego brinda más instrucciones para hacerlo en iteraciones posteriores.
- Un enfoque novedoso para el ajuste de LLM que aprovecha la información específica del dominio. La metodología sugerida se puede utilizar cuando los modelos específicos de dominio deben desarrollarse a partir de un LLM existente de manera rápida y efectiva.
Métodos
Indicación de variable
Las muestras dinámicas emplean la búsqueda semántica para adquirir ejemplos de un cuerpo de informe comparable al informe de radiología de entrada; la consulta final comprende la misma consulta predefinida junto con la parte “Hallazgos” del informe de prueba, y la descripción de la tarea describe el rol.
Optimización vía iteración
Se pueden hacer cosas geniales usando el componente de optimización iterativa. El objetivo de este enfoque es permitir que ChatGPT refina iterativamente su respuesta mediante el uso de un indicador iterativo. Importante para aplicaciones de alto riesgo como los resúmenes de informes de radiología, esto también requiere un procedimiento de revisión de respuestas para verificar la calidad de las respuestas.
Se investiga la viabilidad de usar modelos de lenguaje grande (LLM) para resumir los informes radiológicos mediante la mejora de las indicaciones de entrada en función de una pequeña cantidad de muestras de capacitación y un método iterativo. El corpus se extrae en busca de instancias apropiadas para aprender LLM en contexto, que luego se utilizan para proporcionar pistas interactivas. Para mejorar aún más la salida, se utiliza una técnica de optimización iterativa. El procedimiento consiste en enseñar al LLM lo que constituye una respuesta buena y negativa basada en la retroalimentación de evaluación automatizada. En comparación con otros enfoques que utilizan cantidades masivas de datos de texto médico para la capacitación previa, nuestra estrategia ha demostrado ser superior. En la inteligencia general artificial moderna, este trabajo también sirve como base para construir más modelos de lenguaje específicos de dominio.
Mientras trabajábamos en el marco iterativo de ImpressionGPT, nos dimos cuenta de que evaluar la calidad de las respuestas de salida del modelo es una tarea esencial pero difícil. Los investigadores plantean la hipótesis de que las grandes variaciones entre el texto de dominio específico y de dominio general utilizado para capacitar a los LLM contribuyen a las discrepancias observadas en las puntuaciones. Por lo tanto, el examen de los detalles de los resultados obtenidos se mejora mediante el empleo de medidas de evaluación detalladas.
Para incluir mejor los datos específicos del dominio de fuentes de datos públicas y locales, continuaremos optimizando el diseño rápido en el futuro mientras abordamos los problemas de privacidad y seguridad de los datos. Especialmente cuando se trata de muchas organizaciones. También consideramos usar Knowledge Graph para adaptar el diseño de solicitud al conocimiento actual del dominio. Finalmente, planeamos incorporar especialistas humanos, como radiólogos, en el proceso iterativo de optimizar las indicaciones y proporcionar comentarios objetivos sobre los resultados proporcionados por el sistema. Al combinar el juicio y la perspectiva de especialistas humanos en el desarrollo de LLM, podemos obtener resultados más precisos.
