Por qué ChatGPT, Claude y Gemini responden distinto

Curso de Ciberseguridad para Trabajar con AI

Contenido del curso

No sé dónde empezar

Mapa de riesgos y herramientas de IA

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:004:17

Por qué ChatGPT, Claude y Gemini responden distinto

Curso de Ciberseguridad para Trabajar con AI

Clase 3 de 9

Clase 3 / 9

Recursos

La inteligencia artificial puede equivocarse y sonar completamente segura de lo que te dice, y ese es el gran riesgo. Las alucinaciones de IA generan confianza excesiva en respuestas que pueden llevarte a decisiones incorrectas. Si usas herramientas como Gemini, Claude o ChatGPT para decidir algo importante, esto te interesa.

Por qué la IA responde distinto al mismo prompt?

Un ejemplo sencillo muestra el problema. Al pedirle a Gemini comparar el último iPhone contra el último Samsung con precios, respondió con el iPhone 18 Pro y el Galaxy S26, las referencias más recientes [00:34]. Hasta ahí, todo bien.

Pero aquí viene lo interesante. La inteligencia artificial no es determinística, lo que significa que el mismo prompt puede darte respuestas totalmente distintas [01:21]. En una conversación del día anterior, con exactamente el mismo texto, Gemini recomendó el iPhone 17 Pro Max, que no es la última versión [01:35]. Quedarte con ese dato te habría llevado a una mala decisión.

¿Qué significa que la IA no es determinística? Que puede dar respuestas diferentes aunque le hagas la misma pregunta dos veces. No hay garantía de consistencia entre una consulta y otra.

Cómo les fue a Claude y ChatGPT con el mismo caso?

La comparación entre modelos dejó resultados reveladores:

Claude recomendó el iPhone 16 Pro Max contra el Galaxy S25 Ultra, modelos con cerca de dos años en el mercado [02:03].
ChatGPT sí acertó con el iPhone 18 Pro Max y el Samsung Galaxy S26 Ultra [02:19].
Gemini varió entre aciertos y desaciertos según el momento de la consulta.

Esto no quiere decir que una IA sea mejor que otra. El punto es otro y vale la pena entenderlo bien.

Qué es la fecha de corte de un modelo de IA?

Los modelos están entrenados con una fecha de corte, y de ahí en adelante no conocen qué pasó en el mundo [02:33]. Por eso recurren a herramientas adicionales para no verse desactualizados.

¿Qué es la fecha de corte en inteligencia artificial? Es el límite temporal hasta donde el modelo tiene información. Todo lo ocurrido después de esa fecha le resulta desconocido salvo que use herramientas externas.

En el ejemplo, Gemini usó una búsqueda en Internet para traer datos actualizados y mostró las referencias de las páginas que consultó [02:50]. Es una estrategia del modelo para compensar su desactualización buscando información automáticamente en la web.

Por qué importa si la decisión es reversible o no?

Comparar dos teléfonos es una decisión reversible. Llegas al almacén, ves un modelo nuevo y corriges sobre la marcha [03:21]. El costo del error es bajo.

El problema aparece con decisiones que no se pueden revertir fácilmente. Piensa en estos casos que menciona el ejemplo:

Evaluar si la campaña A funciona mejor que la campaña B.
Seleccionar a un candidato sobre otro para contratar.
Cualquier decisión que implique gastar dinero o comprometer recursos.

Estas decisiones pueden ser costosas, y confiar ciegamente en el modelo te sale caro.

Cómo verificar las respuestas de la IA antes de decidir?

La regla práctica es clara: no uses una respuesta de inteligencia artificial para tomar una decisión importante sin verificarla con otra fuente o con la persona responsable del tema [03:07].

Tienes varias formas de comprobar la información:

Contrastar la misma pregunta en ChatGPT, Claude y Gemini para comparar resultados.
Pedirle en el prompt que busque en Internet la información más actualizada y la traiga.
Confirmar tú mismo en Internet o con un líder experto en el tema.

¿Cómo evitar las alucinaciones de la IA? Verifica siempre con una segunda fuente, pide al modelo que busque datos actualizados y confirma como humano antes de actuar sobre información sensible.

Aquí entra un concepto importante: el human in the loop [04:00]. Significa que tú, como humano, revisas y confirmas que la información sea real antes de tomar acción. El modelo propone, pero la responsabilidad final de verificar es tuya.

¿Te ha pasado que una IA te dio un dato equivocado con toda seguridad? Cuéntalo en los comentarios y comparte cómo lo detectaste.

Resumen

Por qué la IA responde distinto al mismo prompt?

¿Qué significa que la IA no es determinística? Que puede dar respuestas diferentes aunque le hagas la misma pregunta dos veces. No hay garantía de consistencia entre una consulta y otra.

Cómo les fue a Claude y ChatGPT con el mismo caso?

La comparación entre modelos dejó resultados reveladores:

Claude recomendó el iPhone 16 Pro Max contra el Galaxy S25 Ultra, modelos con cerca de dos años en el mercado [02:03].
ChatGPT sí acertó con el iPhone 18 Pro Max y el Samsung Galaxy S26 Ultra [02:19].
Gemini varió entre aciertos y desaciertos según el momento de la consulta.

Esto no quiere decir que una IA sea mejor que otra. El punto es otro y vale la pena entenderlo bien.

Qué es la fecha de corte de un modelo de IA?

Los modelos están entrenados con una fecha de corte, y de ahí en adelante no conocen qué pasó en el mundo [02:33]. Por eso recurren a herramientas adicionales para no verse desactualizados.

¿Qué es la fecha de corte en inteligencia artificial? Es el límite temporal hasta donde el modelo tiene información. Todo lo ocurrido después de esa fecha le resulta desconocido salvo que use herramientas externas.

Por qué importa si la decisión es reversible o no?

Comparar dos teléfonos es una decisión reversible. Llegas al almacén, ves un modelo nuevo y corriges sobre la marcha [03:21]. El costo del error es bajo.

El problema aparece con decisiones que no se pueden revertir fácilmente. Piensa en estos casos que menciona el ejemplo:

Evaluar si la campaña A funciona mejor que la campaña B.
Seleccionar a un candidato sobre otro para contratar.
Cualquier decisión que implique gastar dinero o comprometer recursos.

Estas decisiones pueden ser costosas, y confiar ciegamente en el modelo te sale caro.

Cómo verificar las respuestas de la IA antes de decidir?

La regla práctica es clara: no uses una respuesta de inteligencia artificial para tomar una decisión importante sin verificarla con otra fuente o con la persona responsable del tema [03:07].

Tienes varias formas de comprobar la información:

Contrastar la misma pregunta en ChatGPT, Claude y Gemini para comparar resultados.
Pedirle en el prompt que busque en Internet la información más actualizada y la traiga.
Confirmar tú mismo en Internet o con un líder experto en el tema.

¿Cómo evitar las alucinaciones de la IA? Verifica siempre con una segunda fuente, pide al modelo que busque datos actualizados y confirma como humano antes de actuar sobre información sensible.

¿Te ha pasado que una IA te dio un dato equivocado con toda seguridad? Cuéntalo en los comentarios y comparte cómo lo detectaste.

Mapa de riesgos y herramientas de IA

Un token robado, tres horas, empresa entera

Sanitizar datos antes de compartirlos con un LLM

Por qué ChatGPT, Claude y Gemini responden distinto

Prompt injection: cómo un documento engaña a tu IA

Por qué validar los outputs de la IA es obligatorio

Mínimo privilegio: el riesgo oculto de los plugins IA

Mini firewall con instrucciones personalizadas en ChatGPT

Usa la IA a tu favor: audita la seguridad de la IA con prompts

¿Cuáles son los datos que más ponen en riesgo profesionistas en LATAM?

Por qué ChatGPT, Claude y Gemini responden distinto

Progreso del curso

Mapa de riesgos y herramientas de IA

Recursos

Recursos