Estás leyendo la publicación: Esta investigación de IA propone un marco para modelar las interacciones de los usuarios con LLM utilizando las siete etapas de acción de Norman
Las ayudas de escritura inteligentes se han investigado ampliamente para muchos objetivos y actividades de escritura diferentes. El enfoque de los avances recientes en los ayudantes de escritura ha sido los modelos de lenguaje grande (LLM), que permiten a las personas producir material en respuesta a un mensaje proporcionando su propósito. Los desarrollos importantes en LLM como ChatGPT y su uso en productos comunes resaltan su potencial como ayudantes de escritura. Sin embargo, la interfaz hombre-computadora con estos asistentes revela importantes problemas de usabilidad, incluida la coherencia y la fluidez de los resultados del modelo, la confiabilidad, la propiedad del material creado y la previsibilidad del rendimiento del modelo.
Si bien algunos de los componentes interactivos de los asistentes de escritura se han estudiado en publicaciones anteriores, aún debe haber un intento enfocado para satisfacer los objetivos de escritura de un extremo a otro y abordar sus interacciones desde una perspectiva de usabilidad. Estos problemas con frecuencia hacen que los usuarios necesiten ayuda para utilizar las herramientas con éxito para lograr sus objetivos de escritura y, en ocasiones, hacen que los usuarios se den por vencidos por completo. Investigadores de la Universidad McGill y la Université de Montréal examinan el diseño de la interfaz de los asistentes de escritura inteligentes respaldados por LLM, enfatizando las actividades humanas y aprovechando la influencia de investigaciones anteriores y literatura de diseño. También sugieren usar las siete fases de acción de Norman como un paradigma de diseño para ayudantes de escritura inteligentes compatibles con LLM y analizar las implicaciones de usabilidad.
Un modelo cognitivo cíclico conocido como las siete fases de acción de Norman se usa con frecuencia para comprender los procesos de pensamiento de los usuarios y las actividades físicas asociadas. Se utiliza principalmente para informar el diseño de la interfaz del sistema. Los siete pasos de acción son (a) desarrollo de objetivos, (b) plan, (c) especificar, (d) realizar, (e) percibir, (f) interpretar y (g) comparar, como se muestra en la Figura 1. Planificar Las fases de , especificar y ejecutar constituyen la fase de ejecución de la interacción, y las fases de percibir, interpretar y comparar constituyen la fase de evaluación. Las interacciones del usuario se basan en un modelo mental del sistema que desarrollaron a partir de suposiciones pasadas. Afirman que este paradigma permite la creación y evaluación de interfaces que facilitan interacciones detalladas con LLM en varias fases.
Sugieren que la asistencia de escritura eficiente basada en LLM debe responder las preguntas relevantes para las diversas etapas para informar el diseño y brindar al usuario las habilidades esenciales. Brindan un ejemplo que estuvo fuertemente influenciado por su esfuerzo inicial de usar Codex de OpenAI para escribir tutoriales de software para aclarar aún más su punto. En una interacción típica, el usuario comienza decidiendo un objetivo principal, como crear una lección sobre cómo usar matplotlib para trazar puntos de datos. Luego dividen el objetivo en componentes manejables para ayudarlos a determinar cómo acercarse al ayudante de escritura.
El objetivo principal, por ejemplo, puede dividirse en tres subobjetivos:
- Creación de secciones del tutorial
- Proporcionar instrucciones adecuadas para la instalación de bibliotecas en varios contextos.
- Producir y explicar fragmentos de código
- Aumentar la legibilidad del tutorial
Aunque tiene un alcance más limitado y puede venir después de varios ciclos del marco de acción, cada paso en esta situación también puede considerarse una meta secundaria. Cuando los clientes piden ayuda al asistente de escritura, a menudo describen y luego completan su solicitud a través de la interfaz, por ejemplo, “Escriba un fragmento de código para trazar un diagrama de dispersión usando matplotlib dados los puntos de datos en una lista de Python y proporcione una explicación de los código.”
La etapa de actuación puede incluir varias capacidades de interfaz para cambiar y actualizar las indicaciones, mientras que la etapa específica puede tener sistemas para recomendar indicaciones alternativas al modelo. La etapa de ejecución está influenciada por los modelos conceptuales previos de los usuarios, su trabajo y experiencia en el dominio, y ambos. Cuando el asistente de escritura produce una salida, el usuario lee, comprende y ajusta sus modelos mentales preexistentes siguiendo su conocimiento y habilidad. Por ejemplo, un usuario con experiencia sustancial con matplotlib podría detectar mejor cualquier material inesperado o errores en el código resultante. Además, podría ser necesario ejecutar pruebas unitarias existentes o ejecutar el fragmento de código producido en un IDE para comparar los resultados con recursos en otros contextos.
Sostienen que aplicar las siete etapas de acción de Norman como paradigma para investigar el comportamiento del usuario con ayudas de escritura basadas en LLM puede ofrecer una base útil para realizar y diseñar interacciones detalladas a lo largo de las fases de formulación, ejecución y evaluación de objetivos. Es posible identificar las interacciones importantes y dirigir el diseño de un asistente de escritura para ayudar con el trabajo de crear tutoriales al plantear preguntas pertinentes a cada paso. Es posible resolver problemas particulares de usabilidad en el diseño de herramientas de escritura basadas en LLM mediante el análisis de los dispositivos y sus características a través de las dimensiones de diseño de interacción descritas por el marco. De manera más ambiciosa, apuntan a áreas de estudio poco estudiadas en las interacciones humano-LLM, como la alineación con las preferencias del usuario, el diseño de indicaciones efectivas y la explicabilidad e interpretación de los resultados del modelo.
