Estás leyendo la publicación: Los investigadores desarrollan el marco ‘TiCoder’ para la generación de código utilizando los comentarios de los usuarios con un 90,4 % de coherencia con la intención del usuario
Uno de los impulsores clave del éxito reciente de los poderosos modelos de lenguaje grande (LLM) preentrenados en el procesamiento del lenguaje natural es la capacidad del modelo para generar automáticamente código basado en indicaciones informales del lenguaje natural. Sin embargo, debido a que el lenguaje humano natural con frecuencia puede ser ambiguo, los LLM tienen problemas para escribir código que capture con precisión la intención del usuario. Dando un paso en esta dirección, un equipo de investigación de Microsoft Research, la Universidad de Pensilvania y la Universidad de California, San Diego, propuso TiCoder (codificador interactivo basado en pruebas) en su publicación más reciente, “Generación de código interactivo a través de Formalización de la intención del usuario”. Este proceso para la formalización de la intención del usuario basada en pruebas (TDUIF) utiliza los comentarios de los usuarios para producir un código que es 90.40 por ciento consistente con la intención del usuario a partir de entradas de lenguaje natural.
Incluso es un desafío evaluar la precisión del código generado por LLM debido a la dificultad de determinar la intención precisa de las entradas de lenguaje natural. Además, es aún más exigente comprender y evaluar las sugerencias de código sin ejecutar o depurar las sugerencias de código. Estos elementos pueden influir en los usuarios para que acepten el código defectuoso o rechacen el código correcto que es demasiado complejo para comprender. La metodología basada en TDUIF desarrollada por el equipo tiene como objetivo abordar estos problemas mediante el uso de comentarios para producir códigos que se alineen con la intención del usuario tal como se representa en las entradas del lenguaje natural. El marco sugerido proporciona pruebas generadas para aclarar y codificar la intención del usuario y generar código equivalente basado en estas pruebas.
Como paso inicial en el flujo de trabajo de alto nivel, se requiere que el usuario humano solicite al agente que finalice el cuerpo de una función con la ayuda de un prefijo en un archivo, una descripción en lenguaje natural y un encabezado de función que comprende el nombre del método, y parámetros Hasta que se alcanza un criterio de parada, el agente sigue preguntando al usuario si una serie de comportamientos son coherentes con su objetivo. Las preguntas de cada agente reciben una respuesta SÍ, NO o NO SABE del usuario. El agente devuelve una serie de pruebas que el usuario ha autorizado al final de la interacción, junto con una lista clasificada de sugerencias de código de acuerdo con su entrada.
Los investigadores utilizaron el conjunto de datos de referencia de generación de código académico Mostly Basic Python Problems (MBPP) para probar empíricamente su implementación de TiCoder TDUIF. Con solo una consulta de usuario, TiCoder aumentó la estadística de precisión de generación de código en más del 22 % al utilizar OpenAI Codex LLM en MBPP. Para el 90,40 por ciento de las muestras de MBPP, TiCoder también demostró que podía proporcionar una prueba de unidad funcional no trivial que estaba en línea con la intención del usuario en un promedio de 1,69 consultas de usuarios. En general, esta investigación confirma la eficiencia del flujo de trabajo sugerido. El equipo de desarrollo cree que su marco es lo suficientemente flexible para adaptarse a especificaciones formales más detalladas, como resúmenes de procedimientos, y puede funcionar como una solución escalable para la generación de código.
Este artículo está escrito como un artículo de resumen de investigación por el personal de Marktechpost basado en el trabajo de investigación ‘Generación de código interactivo a través de la formalización de la intención del usuario basada en pruebas‘. Todo el crédito de esta investigación es para los investigadores de este proyecto. Revisar la papel y artículo de referencia.
Por favor no olvides unirte Nuestro subreddit de ML
Echa un vistazo a https://aitoolsclub.com para encontrar 100 de Cool AI Tools
