Estás leyendo la publicación: OpenAI se acerca más a AGI y reduce las alucinaciones
El gran interés de un profesor de matemáticas en verificar los pasos para resolver un problema en lugar del resultado forma la base del nuevo enfoque de capacitación de OpenAI. La compañía anunció una nueva técnica para entrenar el modelo a través de la supervisión del proceso al recompensar cada paso del razonamiento correcto en lugar de recompensar el resultado final correcto a través de la supervisión del resultado.
Aquí, el resultado probablemente sería un modelo con alucinaciones reducidas y una mayor alineación, como afirma la empresa. OpenAI llama específicamente a mitigar las alucinaciones como un paso crucial hacia ‘construir AGI alineado’, pero ¿alguno de estos nuevos métodos de entrenamiento los acercaría más a un estado AGI?
Fuente: Gorjeo
Alucinaciones en la bahía
OpenAI habla sobre cómo puede entrenar modelos para detectar alucinaciones mediante la supervisión de procesos, un método para proporcionar retroalimentación para cada paso individual, o la supervisión de resultados, donde la retroalimentación se basa en un resultado final. La empresa afirma haber mejorado el razonamiento matemático con el método anterior. Al recompensar al modelo en cada paso correcto, se dice que el modelo imita el “razonamiento humano” mientras resuelve un problema matemático.
Con énfasis en las alucinaciones, continúa el movimiento de la compañía hacia ‘reivindicar’ para hacer que los modelos sean más robustos. Las empresas están trabajando activamente para reducir las alucinaciones. Recientemente, NVIDIA lanzó NeMo Guardrails, un conjunto de herramientas de código abierto que ayudará a que las aplicaciones basadas en LLM se vuelvan precisas, apropiadas y seguras. Dado que las alucinaciones se consideran un problema persistente con los chatbots que a menudo hacen que se comporten de manera ilógica al generar información errónea o sesgos, OpenAI está trabajando para mejorar sus modelos.
Con el nuevo método de capacitación, la compañía espera controlar las alucinaciones, ya que cree que un método orientado al proceso que involucra retroalimentación en cada paso controlará los resultados irracionales generados por los chatbots.
Alineación: ¿más cerca de AGI?
La referencia de OpenAI a “construir un AGI alineado” sugiere los planes a largo plazo de la empresa para lograrlo. Mirando hacia atrás, Sam Altman ha hecho múltiples menciones de AGI y cómo se verá el futuro con él. Hace unos meses, presentó una hoja de ruta AGI elaborada para OpenAI donde se mencionaron sus peligros. La compañía creía que AGI puede ser mal utilizado y tener graves consecuencias en la sociedad. Sin embargo, a pesar de estos riesgos, el potencial y los beneficios de la misma son de gran alcance, por lo que la empresa la desarrollará de manera responsable. El experto en inteligencia artificial Gary Marcus predice que AGI no llegará pronto.
Es interesante notar que la postura de Altman sobre AGI y su desarrollo no es clara. En el tuit de ayer, Altman aparentemente minimizó el riesgo de AGI al predecir cómo AGI traerá “una tasa de cambio mucho más rápida”. Él cree que con AGI el futuro se desarrollará de manera similar a sin él, y la diferencia será velocidad con la que se desarrollan las cosas – “todo sucede mucho más rápido”.
Irónicamente, Sam Altman junto con los científicos de IA, Geoffrey Hinton, Yoshua Bengio y muchos otros, firmaron una declaración hace unos días, que defiende la protección contra la amenaza de extinción que representa la IA y la considera a la par de una guerra nuclear. Si se va a tomar alguna medida al respecto, entonces la pregunta que surgiría es: ¿hasta dónde llegará OpenAI para que los modelos más avanzados lleguen a AGI?
La declaración reciente es una continuación de la carta abierta firmada por más de 31 000 personas hace dos meses, incluidos Elon Musk, Gary Marcus y otros expertos en tecnología, que pedían una pausa en los modelos avanzados de IA que, curiosamente, no se firmó. por Sam Altman. Aunque Altman había confirmado hace un mes que la compañía no trabajará en la construcción de su próximo modelo superior GPT-5 y, en cambio, se centrará en las características de seguridad de sus modelos existentes, su influencia constante en asuntos relacionados con las amenazas AGI y la minimización de su alcance hace que sea difícil medir hacia dónde se dirige la empresa.
La empresa, a menudo criticada por las amenazas a la seguridad de los datos y las preocupaciones sobre la privacidad, está luchando duro para demostrar que ChatGPT es un chatbot infalible. La compañía ahora está trabajando para democratizar la IA al ofrecer subvenciones a quienes puedan proponer el mejor método para crear un marco regulatorio de IA, nuevamente con la esperanza de mejorar el sistema y parecer compatible con el mundo.
