Asimismo, esperamos que poner ChatGPT al alcance de los usuarios nos ayude a recopilar información valiosa sobre cuestiones que aún no hemos identificado. Somos conscientes de que sigue habiendo muchas limitaciones, por lo que nos hemos propuesto actualizar con regularidad nuestros modelos para mejorar ciertos aspectos como los mencionados arriba. La versión actual de la fase de investigación de ChatGPT es la última etapa en el proceso de despliegue iterativo⁠ que llevamos a cabo en OpenAI para proveer sistemas de IA cada vez más seguros. Luego, combinamos este conjunto de datos de diálogo con el conjunto de datos de InstructGPT para transformarlo en un formato conversacional.

Pros and cons

Estamos deseando lanzar ChatGPT y conocer la opinión de los usuarios; en definitiva, averiguar luckystar sus puntos fuertes y áreas de mejora. Hemos entrenado ChatGPT — un modelo que interactúa con los usuarios como si mantuviera una conversación. Concluye la investigación de WilmerHale y Altman y Brockman vuelven a liderar OpenAI Optimizamos ChatGPT a partir de un modelo de la serie GPT‑3.5, cuyo entrenamiento terminó a principios de 2022.

• Las sugerencias propuestas por el modelo podían ser consultadas por los entrenadores para ayudarles a formular respuestas.
• Somos conscientes de que sigue habiendo muchas limitaciones, por lo que nos hemos propuesto actualizar con regularidad nuestros modelos para mejorar ciertos aspectos como los mencionados arriba.
• Optimizamos ChatGPT a partir de un modelo de la serie GPT‑3.5, cuyo entrenamiento terminó a principios de 2022.
• La fase de investigación actual de ChatGPT representa la etapa más reciente en el proceso iterativo de despliegue que OpenAI está llevando a cabo para ofrecer sistemas de IA más seguros.

La equidad y la seguridad del Casino Lucky Star.

Nos interesa particularmente entender los resultados negativos que podrían surgir en la vida real bajo condiciones no malintencionadas, así como los comentarios que nos permitan descubrir nuevos riesgos y encontrar maneras de mitigar esos riesgos. Por ejemplo, el uso del aprendizaje por refuerzo con feedback humano (RLHF) ha conducido a una notable disminución de resultados indeseados y erróneos. La base para implementar las medidas de seguridad de esta versión se ha fundamentado en el despliegue de modelos anteriores, como GPT‑3 y Codex.

• Gracias a estos modelos de recompensa, podemos optimizar el modelo a través de la optimización de políticas cercanas.
• Encontrarás más información sobre la serie 3.5 aquí⁠, se abre en una ventana nueva,.
• La investigación de WilmerHale ha concluido, y Altman y Brockman han vuelto a tomar el liderazgo en OpenAI.
• Como ejemplo, el aprendizaje por refuerzo con feedback humano (RLHF) ha logrado reducir notablemente los resultados erróneos y no deseados.

Safety and fairness

Mediante estos modelos de recompensa, es posible perfeccionar el modelo utilizando la optimización de políticas cercanas.

Hemos usado el aprendizaje por refuerzo con feedback humano (RLHF) para entrenar el modelo (empleando los mismos métodos que con InstructGPT⁠), aunque configurando la recogida de datos de forma ligeramente distinta. Animamos a los usuarios a notificarnos los resultados problemáticos que genere el modelo a través de la interfaz de usuario (así como de los falsos positivos o negativos que cometa el filtro de contenido externo), que también forma parte de la interfaz. A tal fin, recurrimos a las conversaciones que los entrenadores de IA mantuvieron con el chatbot para seleccionar al azar un mensaje redactado por el modelo, extraer varias muestras alternativas y pedir a los formadores de IA que las clasificaran. Para crear un modelo de recompensa para el aprendizaje por refuerzo (necesitábamos recabar datos comparativos), es decir, dos o más respuestas del modelo clasificadas según su calidad. Los entrenadores podían consultar las sugerencias que proponía el modelo para ayudarles a formular las respuestas. Los modelos anteriores nos sirvieron para mejorar este, y esperamos emplear las lecciones aprendidas con esta versión para desarrollar sistemas más potentes.