Uma probabilidade está calibrada quando coincide com o que acontece em muitos casos comparáveis: em muitas previsões comparáveis com probabilidade 0,8, essa opção corresponde ao resultado real em cerca de 80% dos casos. Ela é medida em grupos, então não promete nada sobre uma resposta isolada. Vale para qualquer modelo que classifica.
Uma pergunta do app. Escolha uma resposta.
O Jev é um modelo de IA que não escreve: escolhe uma opção ou dá uma nota, com probabilidades.
Probabilidades bem calibradas nos seus testes. 200 tickets com 0,7: quantos acertam?
Calibrada quer dizer que, de muitos casos com 0,7, cerca de 70 % acertam. Vale para a probabilidade, não para a confiança, e não diz quais erram.
Ser a mais provável não a torna certa. Com 0,7 bem calibrado, cerca de 3 em cada 10 desses casos erram: uns 60 de 200.
Com três áreas, empate seria 0,33 cada uma; 0,7 é uma opção bem à frente. Calibrada, acerta cerca de 70 %: uns 140 de 200.
Se um modelo bem calibrado atribui 0,8 a uma opção em muitas previsões comparáveis, essa opção corresponde ao resultado real em cerca de 80% dos casos. Isso não quer dizer que de um lote de 100 deem exatamente 80, nem que este caso em particular dê certo: mais ou menos um em cada cinco falha, e você não sabe qual.
Também não garante que o modelo esteja calibrado com os seus dados. Isso se comprova testando com casos reais seus.
Num teste, um modelo que decide leu "Amanhã está nublado." e deu 0,29 para "Vai chover.". É mais não que sim, mas não um não firme como um 0,03. Se você arredonda para sim ou não, perde essa diferência.
O que fazer com os números do meio (agir, confirmar ou passar o caso para uma pessoa) é você quem decide, conforme o custo de errar.
Alguns modelos, além das probabilidades, dão um indicador de confiança. No Jev, a confiança de uma pergunta de opções é calculada com a opção mais provável e a quantidade de opções: vale 0 quando a distribuição é equilibrada e 1 quando toda a probabilidade está numa opção, o que não garante acerto. Uma confiança de 0,8 não significa "80% de acerto": diz o quanto as probabilidades estão concentradas. Outros modelos a calculam de outro jeito, então o mesmo número não quer dizer o mesmo em todos.
Um exemplo com três opções: (0,6; 0,3; 0,1) e (0,6; 0,2; 0,2) dão a mesma confiança, 0,4. E nas perguntas de sim ou não do Jev não há confiança à parte: um 0,03 é um "não" firme, não uma dúvida. A dúvida fica perto de 0,5.
Com esses números você pode decidir o que o seu sistema faz. Um padrão que a TypeSafe propõe usa três faixas: alta, o sistema age sozinho; média, age com cuidado, confirmando ou revisando; baixa, não age e passa o caso para uma pessoa ou pede um esclarecimento.
Onde colocar cada corte depende do custo de errar. No mesmo app de banco, mostrar um saldo pode exigir menos que aprovar uma transferência. No exemplo da página Confidence da TypeSafe, as transferências exigem confirmação do usuário mesmo com confiança acima de 0,9. Comece conservador, teste com seus dados e ajuste.
Qualquer classificador de machine learning que devolva probabilidades pode ser olhado assim: um filtro de spam, um detector de fraude, um que adivinha o idioma de um texto. O Jev coloca a calibração no centro: a TypeSafe diz que o treina para isso, com um método que chama de RLCD (reinforcement learning for calibrated decisions).