Cómo un algoritmo discrimina sin preguntar tu raza

Un algoritmo puede discriminar sin preguntar jamás por tu color de piel, tu género o tu origen. Aquí aprenderás qué es un proxy en IA, cómo un sesgo se convierte en discriminación real y en qué sectores esto pone en riesgo derechos básicos. Es contenido clave si trabajas con modelos que deciden sobre personas.

Imagina a Jefferson: 34 años, contador, ocho años pagando todo a tiempo, sin deudas. Pide un crédito para su negocio online y 11 segundos después recibe un no. Nadie revisó su solicitud. En el formulario nunca le preguntaron su raza, su género ni de dónde es. Y aun así, el sistema lo discriminó. Ese es el punto de partida.

Cuál es la diferencia entre sesgo y discriminación

Mucha gente los usa como sinónimos, pero no lo son. Entender dónde termina uno y empieza el otro es lo que te permite actuar a tiempo.

El sesgo es estadístico: es un problema de calidad de los datos que crea una desviación hacia ciertas respuestas. Se mide, se corrige y se monitorea. Es un asunto técnico.

La discriminación es la consecuencia real de ese sesgo. Ocurre cuando esa desviación recae sobre un grupo específico que, casi siempre, ya es vulnerable o marginado. Y aquí viene lo importante: trae consecuencias legales y de reputación, porque afecta características que nadie eligió.

¿Cuándo un sesgo se convierte en discriminación? En el momento en que priva a alguien de una oportunidad por quién es, y no por lo que hizo. El sesgo es un dato desviado; la discriminación es ese dato negándole el acceso a una persona.

Entre esas características que nadie escoge están el color de piel, la etnia, el género, la edad, una discapacidad, la religión o el origen [01:20].

En qué sectores cruzar la línea afecta derechos básicos

Hay industrias donde un error del modelo no es solo un mal negocio: toca derechos fundamentales. Si la IA con la que trabajas decide sobre alguno de estos seis dominios, asume que estás en terreno de derechos.

• Crédito y finanzas.
• Empleo.
• Salud.
• Educación.
• Vivienda.
• Justicia.

Esa lista es tu semáforo. Trabajar en cualquiera de esos campos exige un nivel de cuidado distinto, porque una decisión automatizada puede cerrarle a alguien la puerta a un crédito, un trabajo o incluso un tratamiento médico [02:00].

Qué es un proxy y cómo discrimina sin preguntar

Aquí está el truco que responde a la pregunta de Jefferson. El sistema nunca preguntó por su clase social, pero igual la dedujo. ¿Cómo? Con un proxy.

¿Qué es un proxy en inteligencia artificial? Es un dato aparentemente inofensivo que funciona como espejo de otro dato prohibido. No te preguntan tu raza, te preguntan tu barrio. No tu clase social, sino tu escuela. No tu origen, sino tu nombre.

Ninguna de esas preguntas es ilegal por separado. Pero las tres juntas trazan tu perfil completo. Ese es el peligro real del proxy: se esconde en datos legales [02:40].

Y no es teoría nueva. Un estudio realizado en Perú en 2011 envió currículums idénticos cambiando solo el nombre y el apellido. El resultado: hasta 45% menos llamadas de respuesta para candidatos con apellidos indígenas frente a los de origen europeo [03:20]. Tu nombre bastaba para reducir tus oportunidades de empleo. Y con esos prejuicios preexistentes fue entrenada la IA.

Cómo se ve la discriminación algorítmica en un ejemplo real

Para demostrarlo, en la clase se usa una empresa ficticia llamada Credilla. Ojo: es ficticia, nada aquí es real. La idea es evaluar solicitudes de crédito según un historial de decisiones previas de la empresa, con un sesgo definido a propósito para ver el fenómeno en acción.

Los datos disponibles son solo cuatro: barrio, escuela, contrato y la decisión. No hay nombre, ni color de piel, ni género, ni origen. En teoría, imposible discriminar. Pero al entrenar el modelo, aprendió algo por su cuenta:

• Quienes viven en Altos del Roble, Comedir y Aurora tienen 80% de probabilidad de aprobación.
• Quienes viven en San Telmo o Puerto Nuevo tienen apenas 20% [04:30].

Luego se evalúan dos solicitudes con la misma renta, el mismo historial de pagos, la misma escuela y el mismo contrato. Solo cambia un dato: el barrio. Al solicitante de Altos del Roble le aprueban el crédito; al de Puerto Nuevo se lo niegan.

Por qué el barrio funciona como proxy de raza y clase

El dato que el modelo nunca vio explica todo. Quienes viven en Altos del Roble pertenecen a los estratos cinco y seis, los más altos en el contexto colombiano, y solo el 9% forma parte de un grupo étnico minoritario.

En Puerto Nuevo, en cambio, la gente pertenece a los estratos uno y dos, los más bajos, y el 71% forma parte de un grupo étnico minoritario [05:20]. El barrio se volvió un espejo perfecto de clase y etnia.

Así, dos personas con el mismo ingreso, el mismo historial y la misma capacidad de pago reciben tratos opuestos. El barrio le sirve al sistema como indicador de que alguien viene de un entorno con menos recursos, y lo penaliza. Parece profundamente injusto, ¿verdad? Ahora imagina confiar ciegamente en esa lógica para decidir si una persona merece un tratamiento que le salve la vida, usando solo su nombre.

Cómo detectar proxies en tu propio proyecto de IA

La herramienta que acompaña esta lección es un detector de indicadores, disponible en la caja de recursos. Es una guía paso a paso para identificar proxies en los datos que usas en tu proyecto de IA [06:10].

Empieza revisando cada variable de tu dataset con una pregunta simple: ¿este dato aparentemente neutral podría estar correlacionado con una característica protegida como raza, género u origen? Barrio, apellido, escuela y código postal son los sospechosos habituales.

Ahora te toca a ti. Deja en los comentarios un dato que se use en tu sector y que, después de leer esto, ya no te parezca tan inofensivo.