Paradoxo de Simpson: quando o total contradiz todos os grupos

Uma tendência que aparece dentro de cada grupo pode sumir, ou até se inverter, quando você junta todo mundo numa conta só. Isso é o paradoxo de Simpson, e ele não é um erro de cálculo: os dois números estão certos ao mesmo tempo.

Um exemplo. Uma escola cruzou horas de estudo por semana com nota na prova, de 350 alunos, e o gráfico deu o que ninguém esperava: quanto mais o aluno estudava, pior era a nota. A conclusão óbvia seria mandar todo mundo estudar menos.

Olhe os mesmos 350 alunos duas vezes. À esquerda, todos juntos. À direita, os mesmos pontos, nas mesmas posições, coloridos por matéria.

Ninguém mudou de lugar no gráfico. Só ganhou cor, e a tendência virou.

Dentro de cada matéria, estudar mais sobe a nota. As cinco retas coloridas sobem. A reta vermelha, que é a única que existia no primeiro painel, desce.

Por que a conta vira

O que derrubava a média não era o estudo, era a composição da amostra. As matérias mais difíceis cobram mais horas e devolvem nota menor. Elas ocupam a parte de baixo e a parte da direita do gráfico ao mesmo tempo, formando degraus cada vez mais baixos. A conta geral desce essa escada e nunca enxerga a subida que acontece dentro de cada degrau.

Dá para ver a conta com duas das cinco matérias e quatro números. O gráfico abaixo marca a média de cada uma e desenha as três retas que interessam.

As duas retas cheias são o efeito de estudar dentro de cada matéria. A tracejada liga as médias das duas, e é ela que o total enxerga.

Em História, o aluno típico estuda 3,2 horas por semana e tira 8,9. Em Matemática, estuda 14,8 horas e tira 5,2. Dentro de História, cada hora a mais soma 0,24 na nota; dentro de Matemática, 0,19. As duas retas cheias sobem.

Agora ligue os dois pontos médios. A nota cai 3,7 enquanto as horas sobem 11,6, o que dá uma queda de 0,32 por hora. Os efeitos positivos de 0,24 e de 0,19 continuam lá, intactos, dentro de cada matéria. Eles só são menores que a diferença de 0,32 entre elas, e quem soma as duas vê apenas o saldo.

É por isso que o fenômeno tem cara de paradoxo sem ser um. A reta do conjunto mede duas coisas somadas: o efeito de estudar dentro de uma matéria, que é positivo, e a diferença entre as matérias, que é negativa. Quando a segunda é maior que a primeira, o sinal do total se inverte.

A variável que faz isso tem nome na estatística: variável de confusão. Ela se relaciona com as duas pontas ao mesmo tempo, aqui com as horas e com a nota, e por isso contamina a leitura de uma pela outra.

O nome, e o caso que ficou famoso

O efeito foi descrito por Edward Simpson em 1951, mas Udny Yule já o tinha registrado em 1903, e por isso parte da literatura o chama de efeito Yule-Simpson. Nenhum dos dois tratou aquilo como curiosidade: o ponto sempre foi que somar grupos diferentes produz um número que não representa nenhum deles.

O caso mais documentado é a admissão à pós-graduação de Berkeley em 1973. Olhando a universidade inteira, a taxa de admissão de homens era bem maior que a de mulheres, e o dado sugeria discriminação. Quando Bickel, Hammel e O'Connell abriram por departamento e publicaram na Science em 1975, o quadro mudou: na maioria dos departamentos a diferença era pequena e favorecia levemente as mulheres. O que produzia o total era outra coisa. As mulheres se candidatavam mais aos departamentos mais concorridos, que admitiam menos gente de qualquer sexo.

Repare no que esse caso ensina além do paradoxo: o número agregado não era falso, e a pergunta que ele respondia não era a que estava sendo feita. Ele media a distribuição das candidaturas, não o critério de admissão.

Onde isso aparece no seu relatório

O paradoxo não mora na sala de aula. Ele mora em qualquer número que some grupos de tamanhos ou perfis diferentes.

• Retenção. O churn da empresa subiu e caiu em todos os planos. No período entraram muito mais clientes no plano mensal, que sempre teve churn maior que o anual. Mudou o mix da base, não a retenção.
• Teste A/B. A versão B converteu menos no total e ganhou no mobile e no desktop. O sorteio não saiu equilibrado: B recebeu bem mais tráfego de mobile, onde todo mundo converte menos.
• Comercial. A vendedora com a pior taxa de fechamento é a melhor em toda faixa de preço. A carteira dela é de negócio grande, que fecha menos em qualquer mão.
• Marketing. O canal mais caro no total é o mais barato em cada campanha. Ele só é acionado nas campanhas de produto caro, que custam mais para vender em qualquer lugar.
• Pessoas. A média salarial caiu e subiu em todos os cargos. A empresa contratou muito júnior no ano: todo mundo que já estava lá ganhou aumento, e ainda assim a média desceu.

Em cada um desses casos, a decisão tomada pelo total teria sido a errada: trocar a melhor vendedora, cortar o canal mais eficiente, comemorar um aumento de salário que não houve.

Quando separar não é a resposta

A lição rápida seria "sempre olhe por grupo". Ela está errada, e é aqui que a maioria dos textos sobre o assunto para cedo demais.

Separar por um grupo qualquer não desfaz o paradoxo: pode criar um. A regra é sobre quando a variável surgiu.

• Separe pelo que já existia antes do efeito. Matéria, região, faixa etária, plano contratado, dispositivo. Essas características estavam lá antes de o resultado acontecer, e é por isso que elas explicam o resultado em vez de serem explicadas por ele.
• Não separe pelo que veio depois. Se você quebra o resultado de uma campanha por "quem abriu o e-mail", está separando por uma consequência do próprio efeito que quer medir. A conta engana de novo, agora na direção oposta.

Existe um segundo limite, mais desconfortável: nem sempre a visão separada é a certa. Se os grupos foram formados por sorteio, como num teste bem feito, o total é a resposta e separar por subgrupos até achar um resultado bonito é o caminho conhecido para publicar coisa que não se reproduz.

A pergunta que resolve os dois casos não é "separado ou junto?". É qual das duas contas responde à pergunta que eu fiz. Se a pergunta é "estudar ajuda?", a conta é dentro da matéria. Se a pergunta é "qual a nota média da escola?", a conta é o total, e ela continua correta.

O que fazer antes de fechar a conta

Três perguntas, na ordem.

1. Quantos tem em cada grupo? Grupo com tamanho muito diferente é onde a mistura pesa. Se 70% da base migrou de plano no período, o total do período não é comparável com o anterior.
2. A conta por grupo dá o mesmo sinal do total? Se der, você pode seguir com o total tranquilo. Se o sinal virar, o total não serve para essa decisão.
3. Que variável separa esses grupos e ficou de fora? Ela é a candidata a variável de confusão, e quase sempre é uma característica que a pessoa que conhece a operação sabe de cor.

Nada disso exige ferramenta nova. Exige abrir o número por uma coluna que você já tem.

O total não conta quem está dentro dele

Toda média é uma mistura. Ela resume um grupo dizendo onde ele está, e não diz de quem ele é feito nem em que proporção. Enquanto a composição não muda, o resumo funciona. No dia em que ela muda, o resumo continua correto e para de significar o que significava.

Por isso a defesa é barata: antes de decidir por um número agregado, abra ele por um grupo que você já conhece e veja se o sinal se mantém. Leva um minuto, e é a diferença entre ler o dado e ser lido por ele.