Sesgo vs discriminación en modelos de IA

Comprender la diferencia entre sesgo y discriminación es el primer paso para construir sistemas de inteligencia artificial más justos. Un modelo puede funcionar perfectamente en promedio y, sin embargo, perjudicar de forma sistemática a grupos específicos de personas. Saber dónde se origina el problema y cómo medirlo marca la diferencia entre una herramienta útil y una que causa daño real.

¿Cuál es la diferencia entre sesgo y discriminación en inteligencia artificial?

El sesgo es un problema de origen, comparable a una balanza rota que siempre se inclina hacia un lado [0:01]. Un modelo de reconocimiento facial entrenado mayoritariamente con rostros de piel clara va a funcionar peor con rostros de piel oscura. Eso es un sesgo técnico.

La discriminación, en cambio, es lo que le sucede a una persona cuando ese sistema toma una decisión en el mundo real [0:15]. Si la policía usa ese modelo y detiene erróneamente a alguien inocente, el sesgo técnico se convirtió en discriminación concreta. Y esto no es hipotético: ya ha ocurrido.

¿Qué tipos de daños genera un sistema sesgado?

Existen tres categorías de impacto que vale la pena distinguir [0:30]:

• Daño individual: alguien pierde un trabajo, un crédito o incluso su libertad por una decisión errónea.
• Daño grupal: un modelo penaliza sistemáticamente a personas de cierto barrio y ese grupo nunca logra salir del ciclo.
• Daño a la confianza: cuando las personas perciben que un sistema es injusto, dejan de usarlo y eso rompe todo el ecosistema.

Un dato clave: reducir sesgo en los datos de entrenamiento no garantiza eliminar discriminación en los resultados [0:55]. Un modelo balanceado puede igualmente perjudicar a los mismos grupos dependiendo de cómo se implemente.

¿Por dónde entra el sesgo en un modelo de IA?

Hay cuatro puertas de entrada claramente identificables [1:07].

Primera puerta: la definición del objetivo. Al crear un modelo, hay que definir qué se va a predecir, y esa variable casi siempre proviene de datos históricos. El problema es que esos datos reflejan decisiones humanas que pudieron haber sido injustas [1:15]. Es como entrenar a alguien nuevo mostrándole solo cómo trabajaban los anteriores: si tenían prejuicios, el modelo los aprende como si fueran correctos.

Segunda puerta: las etiquetas. Son las respuestas que se le dan al modelo durante el entrenamiento [1:32]. Si una persona decidió que un candidato "no está calificado", esa decisión puede estar cargada de sesgos. Esto genera los peligrosos ciclos de retroalimentación (feedback loops): el modelo predice más delitos en un barrio, se envían más patrullas, hay más arrestos y los datos confirman la predicción [1:45].

Tercera puerta: muestreo y datos faltantes [1:55]. Un dataset educativo puede descubrir que el 20 % de los estudiantes nunca fueron registrados. ¿Quiénes son? Justamente los más vulnerables. El modelo interpreta la ausencia de datos como ausencia de riesgo, y eso es gravísimo.

Cuarta puerta: errores de medición [2:15]. Si un sistema financiero usa historial bancario para evaluar riesgo, las personas que operan en economía informal parecen riesgosas, no porque lo sean, sino porque no tienen datos. El modelo penaliza la invisibilidad.

¿Qué son las variables proxy y cómo detectarlas?

Una variable proxy es una variable que no es sensible en apariencia, pero en la práctica representa algo sensible [2:35]:

• Código postal puede ser proxy de nivel socioeconómico.
• Tipo de escuela puede ser proxy de clase social.
• Apellido puede ser proxy de origen étnico.

Para detectarlas se pueden usar herramientas como correlación estadística, test de impacto dispar, test de permutación, información mutua y valores SHAP [2:55]. La regla práctica es clara: si una variable aparentemente inocente tiene mucho peso y correlaciona con algo sensible, se tiene un proxy.

¿Cómo medir equidad y qué hacer en la práctica?

Supongamos un modelo de lead scoring que asigna puntajes de 0 a 100 [3:12]. En el grupo A, los leads altos convierten al 40 %. En el grupo B, convierten al 18 %. Mismo puntaje, distinto resultado. Es como un termómetro que funciona bien para adultos pero mal para niños.

Las métricas esenciales incluyen precisión por grupo, recall por grupo, paridad demográfica e igualdad de oportunidad [3:30]. Nunca hay que quedarse con el promedio general: ahí es exactamente donde se esconde el sesgo.

¿Cómo construir un plan de mitigación efectivo?

No se pueden optimizar todas las métricas de equidad al mismo tiempo; cada decisión tiene un costo [3:45]. Un buen plan tiene tres componentes:

• Cambios en datos: corregir muestras, balancear representación.
• Cambios en proceso: monitoreo continuo, alertas ante desvíos.
• Riesgo residual documentado: qué puede seguir fallando, quién es responsable y qué pasa si ocurre [4:00].

La metáfora final lo resume con claridad: un sistema de IA es como un sistema de agua [4:10]. Si el agua sale contaminada, no se arregla el vaso. Hay que ir río arriba hasta encontrar dónde se contaminó y ahí poner el control.

El caso práctico de un modelo de scoring crediticio en México lo ilustra perfectamente [4:20]: personas de ciertos códigos postales reciben peores puntajes incluso con ingresos similares. ¿El código postal es una variable válida o funciona como proxy de nivel socioeconómico? ¿Lo eliminarías, lo reemplazarías o ajustarías cómo se entrena el modelo? Compartí tu análisis en los comentarios.