Raphael Nishimura

Survey methodologist and statistician @UM_SRC @umisr
@Umich @MichPSM alum
#survey | #sampling | #statistics | #rstats
@rnishimura.bsky.social
Posts 🇺🇸/🇧🇷

[Raphael Nishimura @rnishimura]

Pesquisas pré-eleitorais não são nem devem ser usadas como prognósticos das eleições.

O fio de todos os fios! 🧵

[Raphael Nishimura @rnishimura]

Uma das maiores ironias na história da Estatística. O termo Bayesiano foi primeiro utilizado por um dos seus maiores críticos 😅

[Data Science Fact @DataSciFact]

R. A. Fisher was the first to use the term 'Bayesian,' and he didn't mean it as a compliment.

[Raphael Nishimura @rnishimura]

@gui_levcovitz @topicosenemmm @EleicaoBr2026 Claro, uma amostra maior irá trazer uma precisão maior (assumindo-se um mesmo método). Mas a discussão aqui não é exatamente sobre o tamanho da amostra por si só, mas o impacto do tamanho da população sobre o cálculo da precisão ou sobre o tamanho amostral.

[Raphael Nishimura @rnishimura]

@gui_levcovitz @topicosenemmm @EleicaoBr2026 Sim, esse cálculo é assumindo uma amostra probabilística, mais especificamente uma aleatória simples. Para amostras não-probabilísticas, você precisaria de um modelo para justificar esse tipo de cálculo. +

[Raphael Nishimura @rnishimura]

@rcantoia Eu acho que você pode usar o que a Prolific publicou aqui como um template: https://t.co/C63l1bzds4

[Raphael Nishimura @rnishimura]

Mais um pollster que implementa minha sugestão de publicar múltiplas estimativas de intenção de voto com base em diferentes cenários. E o melhor: tudo de forma completamente transparente!
Mais institutos deveriam começar a fazer isso, é a melhor maneira de denotar a incerteza!

[Prolific @Prolific]

Our midterm poll has Democrats ahead by about 11 points among likely voters (D+10.7), 53% to 42%.

A few defensible choices move that from about 5 to about 15, so we show what each one is worth. ↓

[Raphael Nishimura @rnishimura]

@topicosenemmm @EleicaoBr2026 Para N = 200.000: ME = 1.96*sqrt((1-(2000/200.000))*(0,5*(1-0,5))/(2.000-1)) = 0,00218 ou 2,18%
Para N = 200.000.000: ME = 1.96*sqrt((1-(2000/200.000000))*(0,5*(1-0,5))/(2.000-1)) = 0,00219 ou 2,19%
Ou seja, uma diferença na segunda casa decimal do percentual da margem de erro.

[Raphael Nishimura @rnishimura]

@topicosenemmm @EleicaoBr2026 Okay, vamos fazer o cálculo então? Assumindo uma amostra aleatória simples e um nível de confiança de 95%, a margem de erro para uma proporção de p é dada por ME = 1.96*sqrt((1-(n/N))*(p*(1-p))/(n-1)).
Usando p = 0,5 e n = 2.000:

[Raphael Nishimura @rnishimura]

@viniribeiro13k @topicosenemmm @EleicaoBr2026 Eu mantenho a minha crítica, pois ela é baseada em fundamentos estatísticos, não em achismo. Uma pesquisa pode se aproximar mais do resultado e ser baixa qualidade, e ficar mais distante e ser de alta qualidade. Como já falei inúmeras vezes aqui, esse tipo de critério não é bom.

[Raphael Nishimura @rnishimura]

@topicosenemmm @EleicaoBr2026 Ou seja, uma amostra de 2 mil casos vai trazer praticamente o mesmo nível de precisão (margem de erro), seja para uma população de 200 mil ou 200 milhões de habitantes.

[Raphael Nishimura @rnishimura]

@topicosenemmm @EleicaoBr2026 Esse é um resultado um pouco contra-intuitivo em amostragem, mas para populações grandes o suficientes, acima de algumas dezenas de milhares, o tamanho da população é irrelevante no cálculo amostral ou na margem de erro. +

[Raphael Nishimura @rnishimura]

@orioljbosch @Prolific I really appreciate how transparent you guys were here! It's something quite rare in this industry! I've been collaborating with a pollster in Brazil that have been pushing this on this direction as well. Little by little we will make things change!

[Raphael Nishimura @rnishimura]

Um outro fio do trabalho fantástico trabalho metodológico que a Prolific fez para sua pesquisa pré-eleitoral nos EUA! Vale a pena dar uma conferida!

[Oriol Bosch, PhD @orioljbosch]

I've spent the past few months building our polling methodology at @Prolific .

Our new midterms poll finds D+11
🟦Democratic 53%
🟥Republican 42%

But different choices put the lead between roughly D+5 & D+15. The article explains all of our choices, and what could go wrong.

[Raphael Nishimura @rnishimura]

@orioljbosch Is this following Michael Bailey's research?

[Raphael Nishimura @rnishimura]

@ro_mahl @rizbicki @1stdate21 Acho que há uma forma se se determinar isso mais objetivamente: se o intervalo de incerteza da projeção for tão baixo a ponto de conseguir detectar diferenças na 2a casa decimal, então o mérito é todo do modelo. Caso contrário, não há como descartar que há um elemento aleatório.

[Raphael Nishimura @rnishimura]

@guividal @h0ip0ll0i @EleicaoBr2026 Mas como você sabe que as pesquisas estavam erradas? Qual é o benchmark?
Onde o Felipe postou isso?

[Raphael Nishimura @rnishimura]

@claudferraz Aliás, estou aprestando num seminário hoje aqui no SRC em que vou usar o ANES justamente como um exemplo. Foi uma experiência muito legal ter trabalhado no projeto em 2024.

[Raphael Nishimura @rnishimura]

@claudferraz Eu tenho sugerido aos institutos fazer algo semelhante ao ANES. Não precisa ser com o mesmo rigor acadêmico, mas acho que eles poderiam ao menos re-entrevistar os respondentes da pesquisa publicada na véspera para entender e quantificar esse tipo de mudança. +

[Raphael Nishimura @rnishimura]

@guividal @h0ip0ll0i @EleicaoBr2026 Escrevi um pouco sobre isso neste fio, mas o ponto é que é muito fácil ser engenheiro de obra pronta. Na realidade, não havia como quantificar antecipadamente o que ocorreu nestas eleições. Por isso mesmo pesquisa é retrato, não prognóstico.
https://t.co/a1kguOfIHu

[Raphael Nishimura @rnishimura]

Não é só no Brasil que se fazem críticas aos modelos de likely voters em cima de uma certa expectativa de comparecimento às urnas.
Inclusive algumas delas com acusações infundáveis, como também está acontecendo neste momento pós-eleição no Brasil...

[Raphael Nishimura @rnishimura]

@97VdeltaS @EleicaoBr2026 Nessas horas, ninguém quer saber das margens de erro, o pessoal quer que as pesquisas "cravem" os resultados até na casa decimal, mesmo que elas tenham detectado a tendência de acirramento durante o 2° turno e que elas não são prognóstico das eleições.