É bom demais pra ser verdade!
Números muito exatos não são comuns e devem acender nosso alerta. Crédito: Edição: Jefferson Perleberg
Minha coluna sobre estatísticas de pobreza na China me fez pensar: às vezes ficamos embriagados com estatísticas excelentes – tão boas que não percebemos que elas podem não ser reais. Isto se aplica inclusive (ou especialmente) a nós, o “povo de Exatas”, pois temos obsessão em quantificar o mundo.
Aliás, há uma discussão antiga sobre o quanto nossos números e fórmulas são fruto do mundo real ou se são apenas uma construção humana para representá-lo. A rigor, dá para levar a discussão até o mito da caverna de Platão, mas isto é assunto para outro dia.
Mas sendo mais específico, citarei 6 exemplos:
1) O sobreajuste de Pochmann: O presidente do IBGE, Márcio Pochmann, postou uma correlação entre horas trabalhadas e acidentes de trabalho, via um polinômio de 3º grau – que dava um R2 de 0,95 (R2 alto = alto índice de determinação). Entre especialistas, isto é chamado de “overfitting” – quando se recorre a uma equação complexa para fazer o modelo ficar o mais parecido possível com os dados reais. Pode parecer contraditório, mas um modelo com correlação “alta demais” como esta, obtida num ambiente não controlado (fora de laboratório) pode indicar não algo positivo, mas o inverso: um modelo artificial que não reflete adequadamente a realidade.
2) Eleições venezuelanas de 2024: A autoridade eleitoral divulgou um boletim com supostos resultados intermediários de contagem de votos. Nos porcentuais de Maduro (51,2%) e Edmundo (44,2%) as 4 casas decimais seguintes eram todas zero. Qual a chance de isto ocorrer no mundo real? Aproximadamente uma em 100 milhões. É tão baixo que podemos inferir, com boa dose de certeza, que os porcentuais foram produzidos artificialmente (fraude eleitoral). Não surpreendentemente, por ter sido pega em flagrante, a autoridade eleitoral venezuelana não divulgou mais nenhum boletim depois disto e declarou Maduro como sendo vencedor, sem abrir os dados.
3) O Psicólogo da Correlação Imutável: Cyril Burt foi um respeitado psicólogo britânico que teorizou que a inteligência é quase inteiramente herdada (pouco dependente do ambiente). Depois de sua morte, outros cientistas analisaram os dados. Em 1955, ele analisara 21 duplas de gêmeos idênticos e encontrou uma correlação de 0,771 de QI com hereditariedade. Mais tarde, em 1966, ele acrescentou mais 23 duplas de gêmeos idênticos ao banco de dados – e a correlação se manteve nos mesmíssimos 0,771. Manter uma correlação idêntica em 3 casas decimais ao aumentar o tamanho da amostra é tão perfeito que é impossível na prática. Hoje os estudos deste psicólogo são considerados fruto de dados falsificados.
4) Remédios 100% seguros: Se alguém disser que determinado fármaco é 100% seguro, pode apostar que é mentira. Absolutamente todo fármaco tem algum risco (diminuto) de reações adversas. Pode-se dizer que ele é seguro, mas jamais 100% seguro (obs.: no caso de homeopatia, pode-se dizer que o preparado é 100% seguro, mas isto porque ele não tem ação alguma – portanto efeitos adversos tampouco ocorrem).
5) Cloroquina 100% eficaz: Lembra de quando Bolsonaro disse que, no Brasil, a cloroquina gerava 100% de cura da covid? É o típico caso no qual já se sabe de antemão que é implausível – nenhum fármaco oferece eficácia de 100% para combater infecções virais. O que existe são fármacos altamente eficazes em prevenir ou combater determinados males – mas os 100% pertencem ao mundo ideal, não ao mundo real.
6) O pai da genética moderna: Um caso diferente é o de Gregor Mendel. Lembra das aulas de Biologia no ensino médio, dos genes com características dominantes e recessivas e as leis da hereditariedade? É a ele que devemos este conhecimento. Mas muitos acreditam que ele não seguiu as melhores práticas para chegar lá. O motivo: em 1936, o renomado estatístico Ronald Fisher disse que os resultados de Mendel eram “perfeitos demais” para serem reais. Ele sugeriu que os dados obtidos no cruzamento de ervilhas se encaixavam de forma tão exata na proporção de 3:1 que Mendel só poderia ter manipulado inconscientemente os dados para confirmar suas teorias. Mas recentemente um grupo de pesquisadores se dedicou a rever a documentação dos estudos de Mendel e publicou um artigo na Nature concluindo que não há prova de que Mendel tenha manipulado seus dados. Os pesquisadores demonstraram que os resultados e as proporções descritas por ele são totalmente possíveis e esperados para o tipo de experimento prático que ele realizou. Ou seja, neste caso, dados que pareciam ser artificialmente perfeitos eram reais.
‘Povo de exatas’ tem obsessão em quantificar o mundo. Foto: erika8213/Adobe Stock
Um ponto que merece destaque: as falsificações propositais de dados numéricos que vimos no passado possivelmente serão mais difíceis de detectar no futuro, pois as ferramentas de inteligência artificial permitem construir bancos de dados sintéticos que propositalmente contêm ruído estatístico para não parecerem perfeitos – são, de certa forma, artificialmente imperfeitos. Já há um desconforto na comunidade acadêmica com o fato de potencialmente muitos estudos estarem sendo publicados sem que se saiba ao certo a veracidade dos dados que os embasam.
O que espero ter demonstrado é que números muito exatos (seja isto proposital ou não) não são comuns e devem acender nosso alerta de verossimilhança, algo que exige um escrutínio extra daquele dado numérico.
