Estás leyendo la publicación: Una nueva investigación de inteligencia artificial de la Universidad de Maryland propone un enfoque de mantenimiento de secretos independiente del modelo en los sistemas de preguntas y respuestas
La precisión mejorada es el objetivo principal de la mayoría de los esfuerzos de respuesta a preguntas (QA). El objetivo ha sido hacer que el texto proporcionado como respuesta sea lo más accesible posible durante mucho tiempo. La integridad de la información devuelta se está mejorando a través de los esfuerzos para que las consultas sean más comprensibles. No han encontrado ningún trabajo que aborde específicamente la privacidad de las respuestas a las preguntas. La precisión de las respuestas de un sistema de control de calidad ha sido objeto de un intenso escrutinio. En este trabajo, los autores plantean la pregunta de si las preguntas deben responderse con la verdad y cómo evitar que los sistemas de control de calidad divulguen información confidencial.
La importancia de la afirmación de que los objetivos de un sistema comercial pueden diferir del propósito más general de crear un sistema de control de calidad con una capacidad de razonamiento mejor y más complicada se demuestra por el hecho de que el trabajo en los sistemas de control de calidad está cada vez más impulsado por la demanda comercial. Si bien todavía queda mucho por investigar sobre el tema, está claro que los sistemas de control de calidad con acceso a la información privada de la empresa deben incluir funciones de confidencialidad. Con Big Language Models, el recuerdo de los datos de entrenamiento es más probable en casos presenciados recientemente, según un estudio de 2022, que es alarmante (LLM). Es más probable que los sistemas como ChatGPT se utilicen en los negocios, ya que el control de calidad se centra en la creación de respuestas.
Tanto el subsistema de mantenimiento de secretos como el de respuesta a preguntas reciben la consulta y brindan respuestas utilizando un paradigma de control de calidad. El sistema de preguntas y respuestas tiene acceso a todo el conjunto de datos (secretos y no secretos), pero el sistema de mantenimiento de secretos solo tiene acceso a un almacén de datos que contiene información secreta. Para comparar la similitud del coseno de las incrustaciones, los resultados se transfieren a través de un codificador de oraciones. El resultado del subsistema de preguntas y respuestas se etiqueta como secreto y no se entrega al usuario si supera un umbral establecido por el perfil de riesgo del usuario.
Los datos corporativos se ajustarán antes del lanzamiento comercial. Debido a este ajuste fino, es más probable que los modelos memoricen la información confidencial de la empresa que debe protegerse. Los métodos que ahora se utilizan para evitar la divulgación de secretos son insuficientes. Podría ser mejor censurar la información en el contexto de una posible respuesta. El rendimiento disminuye al censurar los datos de entrenamiento; a veces, se puede deshacer, exponiendo información confidencial. De acuerdo con un análisis contrafactual, un modelo de control de calidad generativo funciona peor cuando se redacta el contexto, incluso si se puede utilizar la redacción completa para proteger los secretos. Los mayores juicios se hacen donde está el conocimiento. Por lo tanto, es mejor evitar la redacción negativa de la información.
La respuesta a preguntas permite el desarrollo de respuestas concisas a consultas a través de modalidades (QA) cada vez más variadas. Los sistemas de control de calidad tienen como objetivo responder claramente a la solicitud de información de un usuario en lenguaje natural. La entrada de preguntas, la entrada de contexto y la salida de los sistemas de control de calidad se pueden utilizar para describirlos. Las consultas de entrada pueden ser de sondeo, donde el usuario verifica el conocimiento que ya tiene un sistema, o de búsqueda de información, donde el usuario intenta aprender algo que aún no sabe. El contexto se refiere a la fuente de información que utilizará un sistema de control de calidad para responder a las consultas. Una colección no estructurada o una base de conocimiento estructurada son a menudo las fuentes del contexto de un sistema de control de calidad.
Las colecciones no estructuradas pueden incluir cualquier modalidad, aunque el texto no estructurado constituye la mayoría de ellas. A menudo denominados sistemas de comprensión de lectura o de lectura automática, estos programas están diseñados para comprender el texto no estructurado. Los resultados de un sistema de control de calidad pueden ser categóricos, como sí/no, o extractivos, devolviendo una sección de texto o un elemento de la base de conocimientos dentro del contexto para satisfacer la necesidad de información. Los productos generativos proporcionan una nueva respuesta a la demanda de información. La “precisión” de las respuestas devueltas es el enfoque principal de la evaluación de control de calidad actual. ¿La respuesta ofrecida fue precisa en cuanto al contexto y cumplió con la información necesaria para la pregunta?
La investigación sobre la responsabilidad, que determina si un sistema de control de calidad puede o no abordar una pregunta específica, es la más pertinente para proteger la información personal. Al responder preguntas, los investigadores de la Universidad de Maryland identificaron la responsabilidad de mantener el secreto como un problema importante y poco estudiado. Para llenar el vacío, reconocen la necesidad de criterios de mantenimiento de secretos más apropiados y definen secreto, paranoia y fugas de información. Desarrollan y ponen en práctica una estrategia de mantenimiento de secretos independiente del modelo que solo requiere acceso a secretos específicos y el resultado de un sistema de garantía de calidad para detectar la exposición de secretos.
Las siguientes son sus principales contribuciones:
• Señalan las debilidades en la capacidad de los sistemas de garantía de la calidad para garantizar el secreto y proponen el mantenimiento del secreto como remedio.
• Para evitar la divulgación no autorizada de información confidencial, crean una arquitectura modular que es fácil de adaptar a varios sistemas de preguntas y respuestas.
• Para evaluar la eficacia de un modelo de mantenimiento de secretos, crean medidas de evaluación.
A medida que los productos de IA generativa se vuelven más comunes, los problemas como las fugas de datos se vuelven más preocupantes.
