O teste deu positivo, e ele é 99% preciso. Qual a chance de você estar mesmo doente? Se a sua cabeça respondeu 99%, ela pulou uma etapa: num rastreio de doença rara, esse mesmo positivo vale cerca de 9%.

O que muda tudo não é a qualidade do teste, é quantas pessoas doentes existiam na fila antes dele. Essa quantidade tem nome: taxa-base, ou prior. Um teste não entrega uma probabilidade pronta, ele atualiza a que já existia. Prior mais evidência é igual a posterior: é o teorema de Bayes em uma frase, e ele diz que a evidência não substitui a chance anterior, empurra ela.

A tese deste artigo é uma só: a taxa-base não é um número que se consulta, é a população que você decide pontuar. Essa escolha é a decisão de análise, e é ela que salva ou destrói o valor preditivo de um modelo bom. A conta é a parte barata.

De onde sai o 9%: conte em gente, não em porcentagem

Pegue 100 mil pessoas e teste todas ao acaso, sem escolher ninguém por sintoma, idade ou histórico. Com uma prevalência de 0,1%, ou seja, um doente a cada mil, apenas 100 dessas pessoas estão realmente doentes. As outras 99.900 estão sãs. Guarde esse desequilíbrio, porque é ele que decide o resultado, não a qualidade do exame.

Vale desarmar a expressão "99% preciso", que quer dizer duas coisas: o teste aponta positivo em 99% de quem tem a doença (sensibilidade) e negativo em 99% de quem não tem (especificidade). Nenhuma das duas é "99% de chance de o resultado estar certo": as duas primeiras são propriedades do teste, medidas em laboratório. A terceira é propriedade do teste mais a população, e só existe depois que alguém diz quem entrou na fila.

O diagrama abaixo separa essas 100 mil pessoas nos dois grupos. Nenhum desenho cabe em escala aqui: a assimetria é de 999 pessoas sãs para cada doente.

Grade de 1.000 pontos, cada ponto valendo 100 pessoas: um único ponto aceso são os 100 doentes Grade com 1.000 pontos que representa as 100.000 pessoas rastreadas ao acaso: cada ponto vale 100 pessoas. Um único ponto, aceso e circulado no alto da grade, são os 100 doentes, ou 0,1% da fila. Os outros 999 pontos, apagados, são as 99.900 pessoas sãs. A proporção do desenho é a proporção real: um doente para cada 999 sãs, e o grupo dos doentes fica quase invisível de tão pequeno. 100.000 pessoas rastreadas ao acaso cada ponto = 100 pessoas 100 doentes o único ponto aceso, 0,1% da fila 99.900 sãs os outros 999 pontos, apagados 1 doente para cada 999 sãs
Cada ponto vale 100 pessoas. Dos 1.000 pontos, um único está aceso: 1 doente para cada 999 sãs.

Os falsos positivos afogam os verdadeiros

O teste faz bem o trabalho dele: encontra 99 dos 100 doentes reais. O problema mora do outro lado da árvore. O mesmo teste erra 1% das 99.900 pessoas sãs, e 1% de uma multidão é maior que 99% de um punhado. São 999 pessoas sãs saindo do laboratório com um papel positivo na mão.

Somando os dois grupos, o rastreio produz 1.098 positivos, dos quais 99 são verdadeiros. Noventa e nove dividido por 1.098 dá 9,02%. O teste não piorou: continua o mesmo teste de 99%. Os erros dele foram sorteados de uma população gigante, e os acertos, de uma minúscula.

A figura abaixo mostra essa assimetria dentro da barra dos positivos.

Dos 1.098 positivos do rastreio, só 99 são verdadeiros: 9,02% Barra horizontal única que representa os 1.098 resultados positivos do rastreio. Uma fatia fina e acesa na ponta esquerda, com pouco menos de um décimo da barra, marca os 99 verdadeiros positivos, ou seja, os 99 doentes que o teste encontrou entre os 100 existentes. Todo o resto da barra, pálido, são os 999 falsos positivos, gerados por 1% de erro sobre as 99.900 pessoas sãs. A fatia dos verdadeiros equivale a 9,02% do total de positivos. 99 verdadeiros positivos o teste acha 99 dos 100 doentes 1.098 positivos no total 9,02% dos positivos são reais 999 falsos positivos 1% das 99.900 pessoas sãs
Entre os 1.098 positivos, só 99 são reais: 9,02%.

No mundo do trabalho, a tradução é direta: um modelo excelente, caçando algo raro, passa o dia entregando alarme falso.

Não é falta de inteligência, é falta de método

Em 1978, três pesquisadores fizeram uma pergunta parecida a 60 médicos, residentes e estudantes de quatro hospitais-escola de Harvard. O enunciado era curto: uma doença que atinge 1 pessoa em 1.000, um teste que acusa positivo em 5% de quem é são, e um paciente com resultado positivo. Qual a chance de ele estar doente?

A resposta mais comum foi 95%. A certa era cerca de 2%. Casscells, Schoenberger e Graboys (NEJM, 1978).

O erro tem nome e endereço: eles trocaram a taxa de falso positivo pela probabilidade do paciente. É o mesmo atalho que a sua cabeça tentou tomar dois minutos atrás, e ele reaparece toda vez que alguém lê "modelo com 99% de precisão" como "99% de chance de o alerta estar certo". Na versão mais famosa, a da mamografia, o achado é de Eddy (1982), relatado por Gigerenzer e Hoffrage: médicos estimaram 70% a 80% para um positivo que valia cerca de 7,8%.

A parte boa é que existe conserto, e não é ficar mais inteligente. Reescrito em contagens, 100 em 100 mil, no lugar de probabilidades condicionais, o mesmo problema faz a taxa de respostas bayesianas corretas subir de cerca de 4% para cerca de 24%. Mesmo cérebro, outro enunciado. Por isso este artigo é feito de árvores e de gente contada, não de fórmula: o formato não é estética, é o mecanismo.

O mesmo positivo, dois destinos

Nove por cento não é propriedade do teste, é propriedade do encontro entre o teste e a fila em que ele foi aplicado. Troque quem entra na fila e o mesmo papel passa a significar outra coisa.

Imagine duas pessoas saindo do laboratório no mesmo dia, com envelopes idênticos. A primeira foi testada num mutirão, sem queixa nenhuma: o prior dela é 0,1%, e o positivo vale os tais 9%. A segunda procurou o serviço por causa de um sintoma que já coloca a chance dela perto de 10% antes de qualquer exame, e para ela o mesmo positivo vale cerca de 92%. Os priores são ilustrativos, o mecanismo não.

O fenômeno não é hipotético: o mesmo ensaio de sorologia muda de significado quando sai de um banco de sangue e vai para um grupo de alto risco. A diferença entre 9% e 92% não está no exame, está em quem foi examinado, como mostra o trilho abaixo.

O mesmo positivo em duas populações: prior de 0,1% devolve 9%, prior de 10% devolve 92% Diagrama de deslocamento. Na base, um trilho horizontal ordena as populações pela taxa-base, ou prior, da menor à esquerda para a maior à direita; o trilho é uma ordem, não uma escala numérica. Dois pontos marcam as duas populações. À esquerda, prior de 0,1%, o rastreio ao acaso; à direita, prior de 10%, quem chegou com sintoma. De cada ponto sobe uma linha até o resultado depois do mesmo teste: o posterior. O ponto da esquerda leva a 9%, mais precisamente 9,02%; o da direita, destacado, leva a 92%, mais precisamente 91,7%. Uma seta curva liga uma situação à outra, indicando que o que mudou foi a população, não o teste. 9% posterior 92% posterior mesmo teste, outra população prior 0,1% rastreio ao acaso prior 10% quem chegou com sintoma
O mesmo teste, duas populações: o positivo vale 9% no rastreio ao acaso e 92% em quem chegou com sintoma.

A taxa-base não se consulta, se escolhe

A mesma pessoa é, ao mesmo tempo, um adulto qualquer, alguém com um sintoma, um contato de caso confirmado e um cliente daquela carteira. Cada uma dessas descrições é uma população, cada população tem uma taxa-base diferente, e cada taxa-base devolve uma probabilidade diferente para o mesmo resultado positivo.

Descrita como contato de um caso confirmado, essa mesma pessoa entra numa população de prior perto de 30%, e ali o positivo vale 97,7%. Mudou a frase que a descreve, não o exame.

Estatísticos e filósofos chamam isso de problema da classe de referência, nomeado por Reichenbach em 1949, com raiz em Venn (1888). Não é sutileza acadêmica: Kahneman e Tversky trataram o hábito de ignorar a informação distribucional, olhando só para o caso individual, como talvez a maior fonte de erro em previsão.

A figura a seguir coloca um único caso em três classes candidatas, cada uma com seu prior e seu posterior.

O mesmo caso em três classes de referência: 0,1% devolve 9%, 10% devolve 92%, 30% devolve 98% O mesmo trilho da figura anterior, agora com três pontos em vez de dois. Uma linha tracejada no topo lembra que se trata do mesmo caso e da mesma evidência. Cada ponto do trilho é uma classe de referência candidata para a mesma pessoa, com sua própria taxa-base, e cada uma devolve um resultado diferente para o mesmo positivo: adulto qualquer no rastreio ao acaso, prior de 0,1%, devolve posterior de 9%; quem chegou com sintoma, prior de 10%, devolve 92%; contato de caso confirmado, prior de 30%, devolve 98%. Nenhuma das três está errada: escolher qual delas vale é a decisão de análise. o mesmo caso, a mesma evidência 9% posterior 92% posterior 98% posterior prior 0,1% adulto qualquer no rastreio ao acaso prior 10% quem chegou com sintoma prior 30% contato de caso confirmado
O mesmo caso avaliado em três classes de referência, com três posteriores diferentes.

A conta de Bayes é barata: cabe numa planilha e nunca erra. Decidir qual população vale para aquela decisão é caro, é discutível e não está em tabela nenhuma. Em revisão de modelo, a pergunta que mais destrava é a mais simples: quem entrou nessa base? Quem reporta a precisão de um modelo sem dizer qual população ele pontuou não reportou nada.

Troque doença rara por fraude, churn ou crédito

Em detecção de fraude, a proporção é a do exemplo: cerca de mil transações legítimas para cada fraude. Com 1% de falso positivo, o modelo entrega dez alarmes falsos para cada acerto, e continua sendo um modelo de 99%. O valor preditivo dele não é a acurácia: é a acurácia mais a taxa-base do que você mandou ele procurar.

A raiz é sempre a mesma, a classe de referência errada, e ela reaparece nos quatro lugares do mapa abaixo.

O mesmo erro de classe de referência em fraude, crédito, churn e teste A/B Mapa de um centro e quatro ramos. No centro, à esquerda, o nó destacado: classe de referência errada. Dele saem quatro conexões para quatro domínios de negócio, cada um com o mecanismo em uma linha. Fraude: mil transações legítimas para cada fraude. Crédito: a mesma nota significa outro risco em cada carteira. Churn: prever saída onde quase ninguém sai. Teste A/B: muitas variantes testadas derrubam o prior de que este experimento funciona. Classe de referência errada FRAUDE Mil transações legítimas por fraude. CRÉDITO A mesma nota, outro risco por carteira. CHURN Prever saída onde quase ninguém sai. TESTE A/B Muitas variantes derrubam o prior.
A mesma armadilha em fraude, crédito, churn e teste A/B.
  • Fraude: um score alto num universo quase todo legítimo produz fila de revisão manual, não flagrante. Onde cortar o score depende do prior.
  • Crédito: a mesma nota significa risco diferente numa carteira subprime e numa prime, porque a inadimplência de base das duas não é a mesma.
  • Churn: prever cancelamento numa base em que quase ninguém cancela infla o alarme falso, e o desconto de retenção vai para quem nunca pensou em sair.
  • Teste A/B: quando o time testa muitas variantes, o prior de "esta ideia funciona" é baixo, e o p-valor bonito de uma delas vira vitória que não replica: o mesmo posterior fraco com outro nome, assunto do curso de testes de hipóteses.

A precisão de um classificador, verdadeiros positivos divididos por todos os positivos apontados, é o valor preditivo positivo do exemplo médico. É Bayes com outro nome, e por isso muda quando a população muda, mesmo com o modelo congelado.

Onde este raciocínio para (e o melhor argumento contra ele)

O melhor argumento contra tudo isto merece ser dito inteiro: a acurácia é a métrica que o time controla, e a taxa-base muda sozinha, com sazonalidade, com campanha, com fraudador novo. Cobrar do time de dados que responda pela prevalência é cobrar por algo fora do escopo dele.

Esse argumento está meio certo, e a metade certa é a que interessa. A taxa-base não é sua para escolher. A população que entra no score, essa é. Quem escreve o filtro da consulta e o corte de elegibilidade já escolheu uma classe de referência, com ou sem consciência disso.

Há limites do outro lado, contra o exagero desta tese:

  • O teste não é inútil. Ele levou a chance de 0,1% para 9%, quase cem vezes. Valor baixo não é ausência de informação, é informação que não decide sozinha.
  • A prevalência raramente é conhecida com precisão. Quando não for, trabalhe com uma faixa e reporte o intervalo do posterior, sem fingir um número.
  • O exemplo é veículo didático. Os números são ilustrativos, não descrevem doença real e não sustentam conduta clínica.
  • Sensibilidade e especificidade não são o posterior. Achatar as três numa só é cometer, hoje, o erro dos médicos de 1978.

Esse erro tem um primo mais conhecido: confundir correlação com causa. Os dois nascem de ler um número sem perguntar de que população ele veio.

O que fazer com isso na segunda-feira

Antes de reportar a probabilidade que saiu de um teste ou de um modelo, responda a três perguntas em voz alta: qual população foi pontuada, qual a taxa-base dela, e quantos casos em mil isso dá. Sem resposta para a primeira, o número que vai sair do seu relatório não é uma probabilidade, é um palpite com casas decimais.

  1. Nomeie a população que entrou no score, por escrito, dentro do relatório.
  2. Escreva o prior dela e de onde veio essa estimativa.
  3. Converta em contagem antes de decidir: de mil casos, quantos?

O positivo do começo deste texto continua valendo 9%, e agora ele tem nome: valor preditivo positivo de uma população de prior baixíssimo. Na próxima vez que você reportar a precisão de um modelo, diga junto qual população ele pontuou. Para o mecanismo inteiro, a trilha de Estatística vai dos fundamentos ao curso de probabilidade condicional e Bayes.