Viés em IA é uma tendência sistemática nos resultados de um sistema. Aqui falamos do que prejudica: tratar pior um grupo de pessoas ou repetir um preconceito. Não é uma opinião da máquina: vem dos dados com que aprendeu, de como foram rotulados, do que se escolheu medir e de como o resultado é usado.
Uma pergunta do app. Escolha uma resposta.
Um filtro de currículos com IA descarta mais mulheres de mesmo perfil. Por que acontece?
Aprender com contratações passadas desiguais pode reproduzir essa desigualdade. Também influem como se rotulou, o que mede e como se usa.
Não opina: repete padrões do que aprendeu e de como foi montado. Por isso o viés se mede e se corrige, não se discute com ele.
Calcula sem intenção, mas aprende com dados e decisões humanas. Se ali há desigualdade, a máquina pode repeti-la.
Dos dados, principalmente. Um modelo de machine learning aprende padrões dos exemplos. Se um reconhecedor de voz foi treinado quase só com um sotaque, entende pior os outros. Se um filtro de currículos aprendeu com contratações passadas em que quase não entravam mulheres, pode aprender que "bom candidato" se parece com um homem e reproduzir essa desigualdade.
Mas não só daí. Os rótulos são colocados por pessoas, com seus critérios. O que se escolhe medir também pesa: se para saber quem precisa de mais atenção médica se usa quanto a pessoa gastou antes com saúde, quem teve menos acesso parece precisar de menos. E o uso: um modelo feito para uma cidade pode falhar em outra.
Tirar o gênero ou a origem dos dados parece a solução, mas o modelo pode achar outras pistas que dizem quase o mesmo. O CEP costuma entregar o bairro, e o bairro a origem ou a renda. Um intervalo de anos na carreira, o nome de uma escola ou um esporte também podem substituir a coluna que você apagou.
Medindo resultados por grupo, não só a média. Um modelo pode acertar 95% no geral e errar muito mais com um grupo pequeno. Compara-se quantos aprova e quanto erra com cada grupo. Também servem evals com casos pareados: vários currículos equivalentes, mudando só o nome, e repetir o teste. Se o resultado muda de forma sistemática conforme o grupo, há viés.
"Uma máquina é neutra." Calcula sem intenção, mas aprende com decisões humanas. "Com mais dados se resolve sozinho." Mais dados do mesmo tipo repetem o mesmo viés. "Viés e alucinação são a mesma coisa." A alucinação é inventar um dado numa resposta; o viés é um padrão que se repete contra um grupo, mesmo quando cada resposta parece razoável.