El sesgo en IA es una tendencia sistemática en los resultados de un sistema. Aquí hablamos del que perjudica: tratar peor a un grupo de personas o repetir un prejuicio. No es una opinión de la máquina: viene de los datos con que aprendió, de cómo se etiquetaron, de qué se eligió medir y de cómo se usa el resultado.
Una pregunta de la app. Elige una respuesta.
Un filtro de currículums con IA descarta más mujeres con el mismo perfil. ¿Por qué pasa?
Aprender de contrataciones pasadas desparejas puede reproducir esa desigualdad. También influyen cómo se etiquetó, qué mide y cómo se usa.
No opina: repite patrones de lo que aprendió y de cómo lo armaron. Por eso el sesgo se busca y se corrige, no se discute con él.
Calcula sin intención, pero aprende de datos y decisiones humanas. Si ahí hay desigualdad, la máquina puede repetirla.
De los datos, sobre todo. Un modelo de machine learning aprende patrones de sus ejemplos. Si un reconocedor de voz se entrenó casi sólo con un acento, entiende peor a los demás. Si un filtro de currículums aprendió de contrataciones pasadas donde casi no entraban mujeres, puede aprender que «buen candidato» se parece a un hombre y reproducir esa desigualdad.
Pero no sólo de ahí. Las etiquetas las pone gente, con sus criterios. Lo que se elige medir también pesa: si para saber quién necesita más atención médica se usa cuánto gastó antes en salud, quien tuvo menos acceso parece necesitar menos. Y el uso: un modelo armado para una ciudad puede fallar en otra.
Sacar el género o el origen de los datos parece la solución, pero el modelo puede encontrar otras pistas que dicen casi lo mismo. El código postal suele delatar el barrio, y el barrio el origen o el ingreso. Un hueco de años en la carrera, el nombre de un colegio o un deporte también pueden reemplazar a la columna que borraste.
Midiendo resultados por grupo, no sólo el promedio. Un modelo puede acertar el 95% en general y equivocarse mucho más con un grupo chico. Se compara cuántos aprueba y cuánto se equivoca con cada grupo. También sirven las evals con casos parejos: varios currículums equivalentes, cambiando sólo el nombre, y repetir la prueba. Si el resultado cambia de forma sistemática según el grupo, hay sesgo.
«Una máquina es neutral.» Calcula sin intención, pero aprende de decisiones humanas. «Con más datos se arregla solo.» Más datos del mismo tipo repiten el mismo sesgo. «Sesgo y alucinación son lo mismo.» La alucinación es inventar un dato en una respuesta; el sesgo es un patrón que se repite contra un grupo, aunque cada respuesta parezca razonable.