Bloomberg Línea — A três meses do primeiro turno das eleições presidenciais de outubro, os candidatos Luiz Inácio Lula da Silva (PT) e Jair Bolsonaro (PL) têm ratificado a condição de favoritos, segundo os resultados dos institutos de pesquisas. Mas as diferenças nas intenções de votos têm chamado a atenção de quem compara os resultados.
Um estudo inédito acaba de “jogar luz” a essa questão ao explicar que as margens de erro das pesquisas não são reais. São calculadas a partir de estimativas feitas pelos institutos com base na escolha dos entrevistados, segundo artigo inédito dos cientistas políticos Joyce Luz e João Feres Jr, do Observatório do Legislativo Brasileiro (OLB), casa de análises políticas ligada à Universidade Estadual do Rio de Janeiro (Uerj), cujas conclusões são divulgadas em primeira mão pela Bloomberg Línea.
Aqui cabe uma explicação: além das intenções de voto em cada candidato, as pesquisas eleitorais realizadas pelos institutos também divulgam as margens de erro de seus resultados. Por exemplo: se um candidato aparece com 40% das intenções de voto em uma pesquisa com margem de erro de dois pontos, na verdade ele tem entre 38% e 42% do eleitorado no momento em que a pesquisa foi feita. Portanto, o percentual de cada candidato é uma média de resultados possíveis dentro de um intervalo.
No artigo, os pesquisadores afirmam que a margem de erro de uma pesquisa só pode ser considerada “real” se os entrevistados forem escolhidos de forma totalmente aleatória, ou seja, sem qualquer direcionamento. Mas o que os institutos fazem é uma escolha aleatória depois da estratificação por cotas. Isso é feito para que a amostra represente a composição da população brasileira de acordo com os percentuais de cada grupo de eleitores (idade, sexo, renda, religião etc).
Essa questão de amostragem explica, em parte, as diferenças entre os resultados das pesquisas eleitorais, dizem os autores. O artigo cita as pesquisas realizadas em abril: Lula tinha 47% dos votos no PoderData, 48% no Instituto Ideia, 55% na Quaest e 53,5% no Ipespe.
“A diferença entre os resultados das pesquisas, para o mês de abril, varia de 6 a 8 pontos, valores muito acima da margem de erro esperada de 2 ou 3 pontos percentuais”, aponta o artigo. “Em outras palavras, dada a grande variação dos resultados e a margem de erro declarada pelos institutos de pesquisa, somos forçados a concluir que é impossível que todos estejam certos em suas estimativas.”
Margem real
Em abril deste ano, o cientista político Fernando Meireles, do Centro Brasileiro de Análise e Planejamento (Cebrap), estimou, em artigo no jornal Valor Econômico, que as margens de erro reais das pesquisas brasileiras estavam em torno de 7,2 pontos percentuais.
Para chegar a esse número, ele aplicou um método desenvolvido pelo cientista de dados Houshmand Shirani-Mehr, professor da Universidade da Califórnia em Los Angeles (UCLA), nos Estados Unidos, que comparou os resultados de mais de 4 mil pesquisas.
Segundo Meireles, a “margem de erro real” das pesquisas vai diminuindo conforme a proximidade da data da eleição: “Faltando 15 dias para o pleito, é de quase 10 pontos; na véspera, de cerca de 6 pontos”.
“O problema é que fazer uma escolha de entrevistados realmente aleatória é inviável. É muito caro e difícil de fazer. Seria algo como pegar todos os eleitores e sortear quem será entrevistado”, disse João Feres, professor de Ciência Política da Uerj e coautor do artigo do OLB, em entrevista à Bloomberg Línea.
As pesquisas eleitorais podem ter variações de custos acima de 100% se comparadas entre si, a depender da amostra de entrevistados e da metodologia. Uma pesquisa do Ipespe, que ouve mil pessoas por telefone, custa R$ 50 mil, segundo os registros no TSE. Já um levantamento do PoderData, que entrevista 3 mil eleitores por telefone por meio de um software, custa R$ 103 mil. As pesquisas da Quaest, que entrevistam 2 mil pessoas presencialmente, custam R$ 268 mil.
Margem ‘a priori’
Segundo João Feres, uma resolução do Tribunal Superior Eleitoral (TSE) de 2011 também contribui para a menor precisão das margens de erro. Para serem publicadas, pesquisas eleitorais precisam ser cadastradas no TSE e atender a uma série de exigências, como informar ao tribunal, antes de a pesquisa ir a campo, qual será a margem de erro do trabalho.
Para o professor, isso “é um problema”. “Em termos práticos, toda e qualquer dificuldade encontrada durante a realização das entrevistas não é capturada pela margem de erro reportada [com antecedência] e usada para o cálculo dos resultados”, aponta o artigo do OLB.
“Se o recrutamento é feito por cota, é impossível calcular a margem de erro a priori, sem conhecer os resultados”, diz Feres. “Ou seja”, afirma o professor, “a margem de erro apresentada ao TSE é calculada como se a amostra fosse aleatória, e ela não é”.
O que dizem os institutos de pesquisas
A diretora executiva do Ipespe — que faz as pesquisas contratadas pela XP —, Marcela Montenegro, concorda com João Feres. “A margem de erro amostral, pela definição estatística, realmente foi criada para amostras rigorosamente aleatórias. E as pesquisas eleitorais não são de todo amostras aleatórias, são híbridas. Têm alguns estágios de aleatoriedade, mas, quando introduzimos cotas nas entrevistas, deixam de ser totalmente aleatórias”, explica.
Segundo ela, as margens de erro foram criadas para pesquisas aleatórias, em que os entrevistados são escolhidos por sorteio, e não existem cálculos para amostras não aleatórias. “Seria um cálculo muito complexo, feito depois dos resultados coletados e com as respostas a cada questão”, diz Montenegro. “O artigo está certo em apontar isso.”
A diretora do Datafolha Luciana Chong faz coro aos apontamentos. “As pesquisas eleitorais são realizadas com amostras probabilísticas em quase todos os estágios. Apenas no último estágio o sorteio do entrevistado é substituído por seleção através de cotas de gênero e faixa etária, o que permite viabilizar a coleta num prazo razoável para esse tipo de levantamento, já que o resultado da intenção de voto é extremamente perecível”, disse, por e-mail, à Bloomberg Línea.
De acordo com Marcela Montenegro, todos os institutos brasileiros usam uma forma de cálculo simples, aproximada, para chegar à margem de erro, “que tem se mostrado eficiente”. “A gente fala em margem de erro aproximada, e não é à toa”, diz ela.
Rodolfo Costa Pinto, diretor de pesquisas do PoderData, instituto do site Poder360, concorda. Segundo ele, o ideal seria que existisse uma lista com os nomes de todos os eleitores do Brasil. “Como não existe essa lista, o que fazemos é adaptar a teoria à realidade. Se fosse seguir a teoria ao pé da letra, nenhuma pesquisa de opinião seria feita. Não só no Brasil mas no mundo inteiro”, afirma.
Pesquisa não é previsão
João Feres, coautor do artigo do OLB, esclarece que o objetivo do trabalho não é desacreditar as pesquisas eleitorais.
“Não estamos defendendo que as pesquisas não prestam ou que os institutos não são confiáveis. O principal do estudo é discutir os vários problemas das pesquisas, a maneira como elas funcionam, para as pessoas que tenham uma visão mais informada sobre pesquisas de opinião”, afirma.
Para Rodolfo Costa Pinto, no entanto, a solução seria ajustar as expectativas em relação às pesquisas. “As pesquisas precisam ser lidas, pelos eleitores e até pela imprensa, pelo que elas são: um instrumento de explicação, não de previsão. Elas mostram o momento”, afirma.
Segundo ele, o histórico das pesquisas eleitorais no Brasil é de mais acertos do que erros. “E muitas vezes os erros não vêm de problemas na metodologia, vêm da análise. São conclusões que vão muito no limite do dado que resultam em erros de análise. Mas isso não significa que a pesquisa esteja errada”, diz ele.
“Pesquisa não é prognóstico”, completa Marcela Montenegro, do Ipespe. “A mídia tem vendido isso e os institutos se omitiram porque é interessante para eles. Mas pesquisa não mede comportamento, mede intenção.”
Montenegro cita o exemplo dos votos brancos e nulos junto com a abstenção eleitoral, o que o mercado chama de “índice de alienação”. Nas eleições locais de 2020, o índice de abstenção foi de 29,5%. A média dos três pleitos anteriores havia sido de 21%, segundo dados do TSE.
“Isso significa que temos praticamente 30% dos eleitores que não votam. E isso não aparece nas pesquisas, porque o voto é obrigatório e ninguém diz em uma entrevista que pretende descumprir com essa obrigação”, analisa a diretora do Ipespe. “Entre a intenção e o comportamento há uma distância.”
Leia também:
Brasil Paralelo é a maior anunciante de propaganda política no Google
Como a inflação se tornou o maior adversário eleitoral de Bolsonaro