Tres experimentos para diagnosticar fallas de tu IA

Si trabajas con IA y quieres entender por qué tu asistente a veces te ignora, inventa datos o te da la razón sin merecerla, estos tres experimentos de context engineering son para ti. Sirven para diagnosticar cómo tu herramienta prioriza instrucciones, recuerda información y valida tus ideas, y son la base del entregable final que integra todo el curso.

¿En qué idioma te contesta la IA cuando hay instrucciones mezcladas?

Este es el escenario clásico: tienes memoria en inglés, un proyecto con instrucciones en español y le escribes al chat en inglés. ¿A qué le hace caso primero?

Existe una jerarquía formal de privilegio entrenado. El orden es claro:

1. Primero el system prompt.
2. Después la información del usuario.
3. Hasta abajo el texto de herramientas y documentos.

Pero aquí viene lo interesante: esa jerarquía existe solo para conflictos de seguridad, es decir, para cuando un documento o prompt intenta secuestrar tus instrucciones [00:38]. El idioma no es un ataque, así que en la práctica el orden cambia.

¿Por qué la IA ignora la jerarquía con el idioma? Porque la jerarquía formal solo aplica a conflictos de seguridad. Como el idioma no contradice nada crítico, suele ganar el chat por ser lo más reciente y específico.

La lección es directa: cuando el idioma importa de verdad, no lo dejes a la jerarquía. Ponlo donde no compita, en el system prompt o en el proyecto, nunca como comentario de paso.

Pruébalo en dos herramientas distintas, como ChatGPT y Claude, o ChatGPT y Copilot. Los resultados van a diferir, y de esa diferencia también aprendes.

¿Cómo funciona la memoria entre sesiones de un modelo de IA?

El segundo experimento pone a prueba qué recuerda tu asistente cuando cierras una conversación y abres otra. Y aquí hay tres cosas que se confunden todo el tiempo:

• Memoria explícita: lo que guardaste a propósito.
• Memoria automática: lo que el sistema decidió guardar por su cuenta.
• Nada: cuando la sesión empieza completamente limpia.

Para diferenciarlas, haz esto: abre una sesión y dale un dato verificable, por ejemplo "nuestro SLA de devolución es de 14 días hábiles" [1:35]. Cierra esa conversación, abre una nueva y pregunta de forma indirecta: "¿cuántos días tengo para procesar esta devolución?".

¿Cuál es la mejor respuesta que puede darte un agente sin memoria? Cuando dice "no lo tengo, ¿me lo confirmas?". Un agente que admite que no sabe vale más que uno que inventa con seguridad.

¿Lo supo, lo inventó o te preguntó? La tercera opción es la que mejor te conviene. Un agente honesto sobre sus límites es más útil que uno confiado y equivocado.

¿Qué es la sycophancy y cómo evitar que la IA te dé siempre la razón?

El tercer experimento aborda algo incómodo: por qué el modelo te da la razón sin merecerla. En inglés se llama sycophancy, que es la tendencia del modelo a estar excesivamente de acuerdo contigo a costa de la precisión [2:20].

A veces creemos que somos brillantes porque el modelo nos dice que sí a todo, pero eso viene de cómo se entrena. El refuerzo con retroalimentación humana optimiza por lo que a la gente le gusta, y a la gente le gusta que le den la razón.

Lo grave es que te da esa razón superbién redactada y muy convincente. La buena noticia es que el contexto está en tus manos. Estas cinco estrategias funcionan en orden de efectividad:

1. No cargues el contexto con tu conclusión. Pregunta "¿qué ves aquí?" en lugar de "creo que esto está mal, ¿verdad?".
2. Pide el caso contrario: "dame el mejor argumento en contra de lo que te acabo de decir".
3. Ponlo en el system prompt, no en el chat. Una instrucción de "señálame cuando me equivoque" se erosiona en la conversación, pero en el system prompt persiste.
4. Separa las sesiones. Pide la evaluación en un contexto limpio, sin el historial donde ya defendiste tu postura.
5. Usa una rúbrica: define cómo se ve una buena respuesta y pide validación contra ella, no contra tu opinión.

Después de aplicarlas, notarás que el modelo empieza a ser un colaborador crítico en vez de un espejo complaciente.

¿Cómo integrar las cinco piezas del entregable final?

El reto final no te pide nada nuevo, solo juntar las cinco piezas que armaste a lo largo del curso [3:45]. Estas son:

• El system prompt, donde cada restricción está justificada con un caso real de falla.
• El mapa de fuentes de contexto, esa tablita que hiciste antes.
• La lista de tools, con parámetros expresivos e instrucciones de uso en la descripción de cada herramienta, no en el system prompt.
• El documento de mantenimiento para handoff: qué hay en la superficie y por qué, qué se revisa y cada cuánto, qué memorias expiran, cuáles son los momentos gotcha y qué no agregar nunca al system prompt.

¿Qué debe revisar el checklist de evaluación?

Con esas piezas armas un checklist que verifica la salud de tu sistema. Debes:

• Confirmar que no haya contradicciones.
• Generar el prompt mínimo viable.
• Quitar todas las herramientas sin uso.
• Evitar que la información crítica quede enterrada.
• Auditar la memoria para que sobreviva a la prueba de los 40 turnos.

Esa cuarta pieza, el documento de handoff, es la que más se parece al trabajo del día a día. Escribe pensando en quién va a heredar tu sistema, porque ahí está el verdadero valor de un asistente bien construido.

¿Con qué proyecto profesional o personal vas a poner en práctica todo esto? Déjamelo en los comentarios y ahí voy a estar superatenta.