Cómo detectar daños invisibles de la IA

Aprender a evaluar riesgos éticos en IA empieza con detectar el daño invisible: esos efectos que nadie ve venir pero que afectan a personas reales. Piensa en alguien que le pide a un chatbot recetas bajas en azúcar. El sistema infiere una posible condición de salud, esa señal viaja por el ecosistema de datos de la empresa y termina influyendo en el precio de un seguro. Esa persona nunca supo que compartió datos médicos, nunca apareció en ninguna lista de afectados y aun así fue afectada. Si trabajas con datos o modelos de lenguaje grande, este marco te da claridad práctica.

El lente completo se apoya en tres preguntas simples pero potentes: a quién afecta, qué daño puede ocurrir y quién responde [00:44].

¿A quién afecta realmente un sistema de IA?

Cada vez que un sistema toca datos o un LLM, hay cinco capas de personas afectadas [00:56]. Y aquí viene lo interesante: no todas interactúan con el sistema de forma directa.

• Usuarios directos: quienes usan el sistema a propósito, como el empleado que abre el chatbot.
• Usuarios finales: reciben el impacto sin tocar nada, como un paciente cuyo diagnóstico fue sugerido por una IA que él nunca eligió.
• Terceros: personas cuyos datos aparecen sin relación directa, como autores de textos usados para entrenar un modelo sin dar consentimiento.
• Organizaciones: quienes despliegan el sistema y cargan con la responsabilidad aunque no lo hayan construido.
• Sociedad: porque un modelo que discrimina por código postal no genera un daño individual, genera un daño estructural.

Para bajarlo a tierra, hazte cuatro preguntas: quién provee los datos, quién recibe el resultado, quién podría ser dañado si el modelo se equivoca y la más incómoda de todas, quién no tiene voz en este proceso [01:47].

¿Quiénes son los más afectados por los riesgos de IA? Suelen ser los grupos marginados, personas con baja alfabetización digital y culturas subrepresentadas. Son los más afectados y a la vez los menos visibles.

Un punto clave del ejercicio: no se hace después de construir, se hace antes [02:16].

¿Qué tipos de daño puede causar un modelo de IA?

Una vez que sabes quién está en juego, toca lo incómodo: qué puede salir mal [02:20]. Los daños se dividen en dos grupos que conviene separar.

¿Cuál es la diferencia entre daño directo e indirecto?

Los daños directos son visibles y medibles. Los indirectos son lentos y silenciosos, pero igual de reales.

• Daños directos: pérdida financiera por una filtración, violación de privacidad, daño reputacional como un deep fake o incluso daño físico.
• Daños indirectos: la gente deja de compartir información, discriminación que se acumula con el tiempo y pérdida de confianza en instituciones.

Esa acumulación es lo que hace peligrosos a los daños indirectos: no explotan de golpe, se van sumando.

¿Quién responde cuando la IA falla?

Cuando algo sale mal, ¿a quién señalamos? Piénsalo como un accidente de auto [02:53]. No culpamos al auto, culpamos al conductor, al fabricante o a la autoridad. Con la IA pasa lo mismo.

Quien recopiló los datos responde por sesgos. Quien desplegó el modelo responde por su comportamiento. Quien decidió usarla responde por el contexto. La IA no es responsable, las decisiones humanas sí.

¿La inteligencia artificial es responsable de sus errores? No. La responsabilidad recae en las personas: quien recopiló los datos responde por sesgos, quien desplegó el modelo por su comportamiento y quien decidió usarlo por el contexto.

¿Qué diferencia hay entre riesgo de modelo, producto y proceso?

Muchos equipos dicen "falló el modelo", pero en realidad existen tres riesgos distintos [03:20]. Confundirlos hace que ataques el problema equivocado.

• Riesgo de modelo: errores técnicos, como un reconocimiento facial que identifica mal. Se mejora con datos, entrenamiento y testing.
• Riesgo de producto: decisiones de diseño incorrectas, como escanear a toda persona en un espacio público. El modelo puede funcionar perfecto y el sistema seguir siendo injusto.
• Riesgo de proceso: el más silencioso. Errores que se acumulan como bola de nieve, con datos mal etiquetados, evaluación débil, despliegue sin control y monitoreo inexistente.

Cada etapa débil multiplica el daño en la siguiente, por eso el riesgo de proceso es tan traicionero.

¿Cómo redactar una nota de riesgos para un chatbot?

Imagina que vas a lanzar un chatbot de recursos humanos. Necesitas redactar una nota de riesgos de una página [04:11]. Piénsala como la etiqueta de un medicamento.

Debe incluir nombre y versión, uso previsto, nivel de riesgo, datos utilizados incluyendo si hay datos sensibles, riesgos identificados, población afectada, controles, riesgo residual, cumplimiento y algo clave: un dueño con nombre y fecha [04:29].

¿Qué debe tener cada riesgo bien documentado?

Cada riesgo tiene cuatro partes [04:39], y todas importan.

• Un riesgo claro: olvídate de frases vagas como "la IA puede fallar". Mejor algo concreto: "el chatbot podría mostrar el salario de un empleado en respuesta a otro".
• El daño: precisa quién se ve afectado, qué tan grave es y qué tan rápido ocurre.
• El dueño: una persona con nombre y apellido, no un equipo genérico.
• El control: medible y verificable.

No sirve decir "revisamos el modelo y parece justo". Lo que debes informar es algo como "paridad demográfica 0,97 sobre 5.000 registros, auditado el 15 de abril" [05:26].

Un dato importante: muchos sistemas usan datos de chat para entrenamiento por defecto [05:39]. Lo que el usuario escribe se captura, se almacena a veces sin expiración y puede filtrarse en respuestas. La regla simple es tratar todo lo que entra a un chatbot como si fuera público.

Antes de avanzar, hazte estas tres preguntas: ¿está claro qué puede salir mal y a quién afecta?, ¿hay un responsable con nombre y apellido?, ¿hay un control concreto? [06:02]. Si te falta uno, no se avanza.

Ahora te dejo un caso para practicar. Sofía, de México, quiere implementar un chatbot interno que responde sobre salarios, evaluaciones de desempeño e historial laboral, conectado a documentos internos. Identifica al menos dos riesgos concretos, define a quién afectan y propone un control verificable. Déjame tu análisis o un caso real que hayas tenido en los comentarios.