Contenido del curso
Roles en Chat Completions con GPT-3.5
Cuando trabajas con la API de OpenAI, chat completions es la herramienta que te permite darle contexto al modelo mediante roles y ejemplos, para que sus respuestas sean más precisas y alineadas con tu objetivo. Aquí te muestro cómo configurar roles, ajustar la temperatura y evitar alucinaciones usando GPT 3.5 Turbo.
¿Qué son los chat completions en OpenAI y para qué sirven?
Los chat completions son una funcionalidad de la API que te permite construir conversaciones estructuradas con el modelo. En lugar de mandar un prompt suelto, le pasas una lista de mensajes con roles definidos para que el modelo entienda quién dice qué y cómo debe responder.
La documentación oficial sugiere dos modelos para estas tareas: GPT 3.5 Turbo y GPT 4. Con cualquiera de los dos puedes redactar emails, generar estructuras de código o construir agentes conversacionales completos.
¿Qué hace chat completions diferente de un prompt simple? Te permite pasar varios mensajes con roles (system, user, assistant) para que el modelo siga un flujo conversacional y mantenga coherencia con el contexto que tú definiste.
¿Cómo se usan los roles system, user y assistant?
La estructura de mensajes en chat completions gira alrededor de tres roles, y cada uno cumple una función específica dentro de la conversación [02:10].
En la práctica, podrías configurar al asistente como agente de marketing, soporte técnico o cualquier otro rol. Lo importante es que las preguntas y respuestas que vengan después estén alineadas con ese contexto inicial.
¿Cómo se construye una llamada a chat completions paso a paso?
El flujo básico arranca llamando a openai.ChatCompletion.create() y pasándole dos parámetros esenciales: el modelo y la lista de mensajes [01:40].
gpt-3.5-turbo.messages con el rol system y su contenido.Para leer la respuesta de forma limpia, accede a response.choices[0].message.content. Esto te devuelve solo el texto generado, sin todo el objeto que retorna OpenAI.
¿Cómo afecta la temperatura a las respuestas del modelo?
La temperatura controla cuánta libertad creativa tiene el modelo al generar texto, y su impacto se nota mucho cuando ya configuraste roles claros [05:30].
Con una temperatura de 0.2, el modelo se vuelve más restrictivo y tiende a dar respuestas extensas pero apegadas al contexto. Por ejemplo, ante la pregunta "¿Dónde se jugó?", devolvió: "El mundial de fútbol de 2022 se jugó en Catar" y agregó información adicional coherente.
Con temperatura en 1, la libertad aumenta tanto que el modelo puede equivocarse. En la prueba, respondió que "el mundial de fútbol de 2022 aún no se ha celebrado", una respuesta incorrecta.
¿Qué son las alucinaciones en modelos de OpenAI? Son respuestas inventadas o incorrectas que el modelo genera cuando no encuentra información clara o cuando la temperatura le da demasiada libertad creativa. Pueden parecer convincentes, pero no son confiables.
Por eso, ajustar la temperatura según el caso de uso es clave: bajo para tareas factuales, alto para creatividad.
¿Qué otros parámetros y recursos vale la pena explorar?
Más allá del modelo y los mensajes, la documentación de chat completions cubre temas que afectan directamente tu producto y tu presupuesto.
Un detalle importante: si no defines el parámetro de máximo de tokens, las respuestas pueden variar mucho en longitud. Definirlo te ayuda a mantener consistencia y a controlar el gasto.
La estructura básica siempre será la misma: llamas a la funcionalidad, eliges el modelo, y pasas los ejemplos de conversación empezando por el rol system. A partir de ahí, puedes sumar tantos pares user-assistant como necesites para guiar el comportamiento.
Con esto ya tienes la base para construir asistentes con contexto. El siguiente paso natural es llevarlo más lejos con fine tuning, que te permite entrenar un modelo de OpenAI con tus propios datos. ¿Qué tipo de asistente quieres construir tú? Cuéntame en los comentarios.
Paolo Joaquin Pinto Perez
Estudiante
Mauricio Martínez Orjuela
Estudiante
Luis Rogelio Reyes Hernandez
Estudiante
Kevin Costa
EstudianteLuis Rogelio Reyes Hernandez
Estudiante
Camilo Moreno
Estudiante
Andrés Felipe Díaz Rodríguez
Estudiante
Endy Bermúdez R
Estudiante
Jason Nicolas Arias
Estudiante
Alexander Armúa Abregu
Estudiante
Ivan Rodríguez Coapio
Estudiante
John Fredy Ramirez Bedoya
Estudiante
Jose Daniel Velasquez H
Company_admin
Daniel Fernando Murcia Perdomo
Estudiante
Sebastian Gaviria
Estudiante
Fabian Villada
Estudiante
Elver Tobo
Estudiante
Orlando castellanos
Estudiante
Luis Antonio Aguilar
Estudiante
Brayan Jiménez
Estudiante
Pablo Martinez
Estudiante
Jeremy Quintero Rocha
Estudiante
Raul Mercado
EstudianteRaul Mercado
Estudiante
Mateo Montoya Henao
Estudiante
NESTOR IVAN RONCANCIO CABALLERO
Estudiante
Pedro Matías Cuevas Meza
Estudiante
Aporto esta actualización
Para Julio de 2023 la Completions API recibió su última actualización y fue marcada como tecnologia legacy
Creo que chat completions no es lo mismo que completions
Correcto los chat completions son diferentes el énfasis es que en el futuro puede usar chat completions sea la unica opción.
Hola a todos. Despúes de la actualización del 7 de Noviembre de 2023, todos los comandos cambiaron. Para tener un acercamiento mucho más actualizado miren esta parte de la nueva documentación:
Cuando chatGPT dice que no se ha celebrado el mundial, se debe a que la info que tiene el modelo GPT-3.5 es informacion que va hasta el 2021, por eso el da esa respuesta. Esto es un factor muy importante a tomar en cuenta dependiendo de los datos historicos que necesitemos para nuestras API.
ChatCompletion con stream=True.
response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are an assistant"}, {"role": "user", "content": "What is AI?"}, {"role": "assistant", "content": "AI is Artificial Intelligence"}, {"role": "user", "content": "What are LLM models?"} ], max_tokens=300, temperature=0, n=1, stream=True, ) for chunk in response: if chunk.choices[0].delta.get("content"): print(chunk.choices[0].delta.content, end="")
Es sumamente importante validar el if chunk.choices[0].delta.get("content") porque en algunos casos no devuelve la llave content dentro del diccionario. Entonces con esto se evita que lance una excepción de tipo KeyError
A diciembre de 2023 la forma correcta de realizar el for sería:
for chunk in response: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end="")
Recuerden revisar en la documentación por cambios en la sintaxis
Con la actualizacion del 7 de Noviembre de 2023, cambio bastante la forma de consumir OpenAi.
Docs:
Clase adaptada a nueva version
from openai import OpenAI client = OpenAI( api\_key = <\<TU\_KEY>>) completion = client.chat.completions.create(     model = 'gpt-3.5-turbo',     messages = \[     { "role": "system", "content": "Eres un asistente que da informacion sobre deportes" },     { "role": "user", "content": "Quien gano el mundial de futbol 2022?" },     { "role": "assistant", "content": "El mundial de 2022 lo gano Argentina" },     { "role": "user", "content": "Donde se jugo?" } ]) print(completion.choices\[0].message)
En efecto necesita un update el codigo espero les sirva:
from openai import OpenAI client = OpenAI(api_key='YOUR API KEY') response = client.chat.completions.create( model = "gpt-4o-mini", messages = [ {"role": "system", "content": "Eres un asistente que da informacion sobre deportes"}, {"role": "user", "content": "¿Quien ha gando mas veces la carrera de sierre zinal?"}, {"role": "assistant", "content": "Kilian Jornet es el maximo ganador de esta carrera, el GOAT"}, {"role": "user", "content": "¿Cuantas veces ha ganado la carrera?"} ], temperature = 0.2 ) print(response.choices[0].message.content)
Aqui el resultado del codigo anterior:
(openai-env) ivankom@pop-os:~$ /home/ivankom/Documents/ChatBotsWithOpenAI/pythonVE/openai-env/bin/python /home/ivankom/Documents/ChatBotsWithOpenAI/pythonVE/openai-env/chatCompletion.py Kilian Jornet ha ganado la carrera de Sierre-Zinal en un total de 5 ocasiones, con victorias en los años 2007, 2008, 2009, 2010 y 2013. Su dominio en esta carrera lo ha consolidado como uno de los mejores corredores de montaña del mundo.
Es importante tener en cuenta que necesitamos tener saldo dentro de de lo contrario nos dara un error de no contar con suficiente saldo xD.
Gracias. Me apoyo bastante tu código.
role: Define el rol del participante en la conversación, que puede ser system, user, o assistant.
system: Define el comportamiento o contexto del asistente. En este caso, se le dice que actúe como un "Senior Developer que explica buenas prácticas".
user: Representa lo que el usuario (la persona que está interactuando con el modelo) ha dicho o preguntado. En este caso, el usuario pregunta sobre "¿Qué lenguaje es usado para Machine Learning?" y luego "¿Qué empresas lo usan?".
assistant: Representa la respuesta del modelo de lenguaje. Aquí el asistente responde que "El lenguaje de programación es Python".
Grande, esto era lo que queria ver, pero no lo tenia tan claro , muchas gracias
La nueva manera de usar ChatGPT-3.5 Turbo cambió y es de la siguiente manera:
from openai import AsyncOpenAI client = AsyncOpenAI(api_key='your-open-ai-key-here') completion = await client.chat.completions.create( model = 'gpt-3.5-turbo', messages = [ {"role": "system", "content" :"Eres un asistente que da información sobre deportes"}, {"role": "user", "content" :"¿Quién ganó el mundial de fútbol?"}] ) response_content = completion.choices[0].message.content print(response_content)
Acá, Sam Altman nos habla sobre las últimas novedades de los lanzamientos del nuevo modelo y otras herramientas. En general, el modelo GPT-4 Turbo será más barato para usar por tokens que el modelo GPT-3.5. También tendremos una opción para proteger los datos de la empresa a través del uso exclusivo de ChatGPT Enterprise.
Me llevo la importancia de aprender a navegar en la documentacion , teniendo en cuenta el ritmpo vertiginoso de avances de la industria de IA
Han cambiado varias cosas desde el lanzamiento del curso, la IA en general está avanzando muy rápido. El uso de ChatCompletions cambió tanto como se utiliza como su respuesta. Les comparto como se hace ahora.
response = client.chat.completions.create( model="gpt-4o", messages=[ {"role": "system", "content": "Eres un asistente que da información sobre deportes."}, {"role": "user", "content": "¿Quien ganó el mundial de futbol 2022?"}, {"role": "assistant", "content": "El mundial de futbol 2022 lo ganó Argentina"}, {"role": "user", "content": "¿Donde se jugó?"} ], temperature=0.2, ) print(response.choices[0].message.content)
Ahora para crear un chat se hace es con client.chat.completions.create
Y la respuesta no es un diccionario sino un objeto, y para acceder a los parámetros se hace con notación punto.
<response = openai.ChatCompletion.create( model = 'gpt-3.5-turbo', messages = [ {"role":"system","content":"Eres un otaku que da informacion sobre anime"}, {"role":"user","content":"quien es naruto"}, {"role":"assistant","content":"ser hokage es el maximo rol que puede alacanzar un ninja es aquel que tiene la fuerza para proteger la aldea y la sabiduria para guiarla "}, {"role":"user","content":"quienes han sido los hokages"}, ], temperature = 1 ) print(response['choices'][0]['message']['content'])>
A lo largo de la historia del manga y anime de Naruto, ha habido varios Hokages. Aquí tienes la lista de los Hokages hasta la fecha:
Estos son los principales Hokages que han aparecido en Naruto.
ya no se puede acceder al modelo de chatgpt 4
Si no les deja usar openai.ChatCompletion.create() es porque tienen que instalar la versión 0.28 con !pip install openai==0.28
Recibo como error: <u>openai.RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}</u>
Al parecer hay que pagar para utilizarlo
Aunque ajusto la temperatura no tengo cambios en la respuesta
La siguiente sección de código me funciona bien con el modelo gpt-3.5-turbo
response = openai.ChatCompletion.create( model = "gpt-3.5-turbo", messages = [ {"role": "system", "content": "Tu eres un experto literario"}, {"role": "user", "content": "¿Cual es la obra cumbre de Gabriel Garcia Marquez?"}, {"role": "assistant", "content": "La obra cumbre de Gabriel Garcia Marquez es Cien Años de Soledad"}, {"role": "user", "content": "Menciona 5 libros que le puedes recomendar a un adolescente de 16 años"} ] ) print(response.choices[0].message.content)
Pero cuando quiero usar el modelo gpt-4 me sale el mensaje de error: "The model: gpt-4 does not exist"
¿No se supone que ambos modelos están disponibles para Chat Completion?
Me pregunto y me respondo, esta es la razón:
On July 6, 2023 , we gave access to the GPT-4 API (8k) to all API users who have made a successful payment of $1 or more. We plan to open up access to new developers by the end of July 2023, and then start raising rate-limits after that depending on compute availability.
Chat Completions en OpenAI
El Chat Completions API de OpenAI es una herramienta poderosa para integrar inteligencia artificial en aplicaciones que requieren interacciones conversacionales. Este API permite generar respuestas a partir de un conjunto de mensajes proporcionados por el usuario, sin necesidad de mantener un contexto de conversación persistente.
Características Principales
Ejemplos de Uso
Ejemplo 1: Bot de Soporte al Cliente
Un bot de soporte al cliente puede responder preguntas frecuentes (FAQ) o proporcionar detalles específicos de productos de manera instantánea, sin necesidad de mantener el historial de conversación.
import openai response = openai.Completion.create( engine="text-davinci-003", prompt="How do I reset my password?", max_tokens=50 ) print(response.choices[0].text.strip()) ```Ejemplo 2: Bot de Información del Tiempo Un bot puede proporcionar actualizaciones del tiempo en respuesta a consultas del usuario, sin necesidad de mantener un contexto de conversación. ```js import openai response = openai.Completion.create( engine="text-davinci-003", prompt="What is the weather like in Paris today?", max_tokens=50 ) print(response.choices[0].text.strip()) ```Ejemplo 3: Asesor de Productos Un asesor de productos puede proporcionar recomendaciones específicas basadas en las preferencias o necesidades del usuario, sin necesidad de mantener un contexto de conversación. ```js import openai def product_advisor(question): prompt = f"Customer: {question}\nAdvisor: Based on your preferences, I recommend " response = openai.Completion.create( engine="text-davinci-003", prompt=prompt, max_tokens=100, temperature=0.7 ) return response.choices[0].text.strip() # Ejemplo de uso print(product_advisor("I need a durable and lightweight hiking backpack.")) ```Ventajas * **Implementación Rápida**: Es relativamente fácil de implementar y usar, requiriendo una configuración mínima. * **Ideal para Respuestas Inmediatas**: Es adecuado para aplicaciones que requieren respuestas inmediatas sin contexto. * **Control del Usuario**: El usuario tiene un control significativo sobre la dirección de la conversación basándose en la entrada proporcionada. #### Limitaciones * **Falta de Contexto**: No puede mantener el contexto de la conversación a lo largo de varias interacciones. * **Dependencia de la Entrada del Usuario**: La calidad y relevancia de las respuestas dependen fuertemente de la entrada proporcionada por el usuario. * **Ejecución Sincrónica**: Procesa cada solicitud de manera independiente y no puede manejar múltiples solicitudes en paralelo. En resumen, el Chat Completions API de OpenAI es una herramienta versátil y fácil de usar para aplicaciones que requieren respuestas rápidas y sin contexto. Sin embargo, para aplicaciones que necesitan un contexto persistente y múltiples interacciones, puede ser necesario considerar otras soluciones como el **Assistants API**.
Justo en la pobreza :s
La temperatura en el contexto de las Chat Completions de OpenAI se refiere a un parámetro que controla la aleatoriedad de las respuestas generadas por el modelo. Un valor más bajo (por ejemplo, 0.2) produce respuestas más conservadoras y coherentes, mientras que un valor más alto (por ejemplo, 1.0) permite respuestas más creativas y variadas. Esto es útil para ajustar el comportamiento del chatbot según el tipo de interacción deseada.