Aula 49. Filosofia da EDA

Por que olhar antes de modelar, e o que a inspeção inicial deve responder

Acompanhe o Café com R

  • Que cada gole desperte uma nova ideia.

  • Que cada script abra uma nova conversa.

  • Que o Café com R se torne um ponto de encontro nosso.

SITE OFICIAL > https://jenniferlopes.github.io/meu_site/

Objetivos da aula

  • Definir o que é análise exploratória de dados, EDA
  • Entender por que a EDA é uma etapa obrigatória, e não opcional, em dados agronômicos
  • Reconhecer os quatro tipos de EDA
  • Conduzir a inspeção inicial de um conjunto de dados novo
  • Entender por que pular a EDA compromete todas as etapas seguintes da análise

Bloco 1

O que é EDA e por que é obrigatória

O que é EDA, definição

  • Análise exploratória de dados, EDA, é o processo sistemático de examinar um conjunto de dados antes de qualquer modelagem ou teste formal, com o objetivo de entender sua estrutura, sua qualidade e seu comportamento.

  • O termo foi cunhado por John Tukey, que a descreveu como uma atitude de investigação, não como um conjunto fixo de gráficos ou tabelas a serem produzidos mecanicamente.

  • A EDA responde a uma pergunta central, antes de qualquer outra: o que estes dados realmente são, e o que eles podem me dizer?

Por que a EDA é obrigatória em dados agronômicos

  • Dados de campo carregam variabilidade ambiental, erro de medição, e condições de coleta que não aparecem em nenhum manual de análise estatística.

  • Um talhão medido sob chuva, um sensor com falha momentânea, uma digitação trocada na planilha de campo, tudo isso está presente nos dados antes de qualquer teste ser aplicado.

  • Aplicar um teste estatístico direto, sem antes examinar os dados, corre o risco de tratar um erro de coleta como se fosse um resultado biológico real.

Os quatro tipos de EDA

Tipo Examina Exemplo
Univariada gráfica Uma variável, visualmente Histograma da produtividade
Univariada numérica Uma variável, por resumo numérico Média, mediana, desvio padrão
Multivariada gráfica Relação entre variáveis, visualmente Gráfico de dispersão, pairs plot
Multivariada numérica Relação entre variáveis, por resumo numérico Matriz de correlação
  • Uma EDA completa combina os quatro tipos. Depender apenas de um resumo numérico, sem visualização, ou apenas de um gráfico, sem resumo numérico, deixa lacunas na compreensão dos dados.

Bloco 2

Inspeção Inicial

Conceito, as perguntas que a inspeção inicial responde

  • Contexto: um novo conjunto de dados de produtividade de milho, com 200 observações de quatro municípios, chega para uma primeira análise.

  • A inspeção inicial deve responder, antes de qualquer outra etapa: quantas observações e quantas variáveis existem, qual o tipo de cada variável, existem valores ausentes, e existem valores fora do intervalo fisicamente plausível.

Código: dim(), glimpse() e head()

dim(produtividade_milho)

produtividade_milho |> glimpse()

produtividade_milho |> head()

Output e interpretação

[1] 200   4
Rows: 200
Columns: 4
$ municipio           <chr> "Município A", "Município A", "Município A", "Muni…
$ area_ha             <dbl> 63.2, 37.6, -12.0, 28.3, 59.9, 53.4, 21.5, 67.2, 2…
$ produtividade_sc_ha <dbl> 107.0, 106.3, 92.8, 129.2, 93.2, 94.8, 850.0, 143.…
$ ano_safra           <int> 2022, 2022, 2023, 2022, 2021, 2023, 2021, 2023, 20…
# A tibble: 6 × 4
  municipio   area_ha produtividade_sc_ha ano_safra
  <chr>         <dbl>               <dbl>     <int>
1 Município A    63.2               107        2022
2 Município A    37.6               106.       2022
3 Município A   -12                  92.8      2023
4 Município B    28.3               129.       2022
5 Município A    59.9                93.2      2021
6 Município C    53.4                94.8      2023
  • A inspeção já revela um problema, a variável area_ha contém um valor negativo, fisicamente impossível, e produtividade_sc_ha contém um valor muito acima do intervalo esperado para a cultura. Nenhum teste estatístico deve ser aplicado antes desses pontos serem investigados.

Checklist do analista antes de seguir adiante

  • O número de observações e variáveis corresponde ao esperado, sem duplicidade ou perda de linhas
  • Cada variável está armazenada no tipo correto, numérica, categórica ou data
  • Não há valores fisicamente implausíveis sem explicação registrada
  • O volume de dados ausentes foi quantificado, mesmo que a análise detalhada venha em etapa posterior
  • As categorias de variáveis qualitativas estão escritas de forma consistente, sem duplicidade por diferença de grafia

Bloco 3

A EDA como Investigação

A EDA como investigação, não como formalidade

  • Tratar a EDA como uma etapa burocrática, um conjunto fixo de gráficos gerados sem propósito, perde o valor central do processo.

  • A EDA é uma investigação guiada por perguntas, o que se espera encontrar nos dados, o que seria surpreendente encontrar, e o que precisaria ser verdade para que a análise seguinte fizesse sentido.

  • Essa postura investigativa é o que diferencia alguém que apenas executa código de alguém que efetivamente entende os dados que está analisando.

Erro comum 1, pular a EDA e ir direto para o teste estatístico

  • Aplicar um teste t ou uma ANOVA diretamente, sem examinar a distribuição, os valores ausentes ou possíveis erros de digitação, arrisca produzir um resultado estatisticamente válido, mas baseado em dados incorretos.

  • O tempo investido na EDA é, quase sempre, menor que o tempo perdido corrigindo uma análise construída sobre dados não verificados.

Erro comum 2, confundir inspeção inicial com EDA completa

  • A inspeção inicial, dim(), glimpse(), head(), é o primeiro passo, não a EDA completa.

  • Distribuições univariadas, relações bivariadas, tratamento de outliers e estrutura de dados ausentes, temas das próximas aulas, fazem parte da mesma investigação e não devem ser pulados após a inspeção inicial.

Resumo: filosofia da EDA

Etapa Pergunta central Ferramenta típica
Inspeção inicial Os dados têm a estrutura esperada? dim(), glimpse()
EDA univariada Como cada variável se distribui? Histograma, summary()
EDA bivariada Como as variáveis se relacionam? Dispersão, correlação
Postura geral O que estes dados realmente são? Investigação guiada por perguntas

Obrigada!

Continue praticando e explorando.

Esta aula é parte do projeto Café com R. É open source. Use, compartilhe e adapte.

Siga o Café com R

  • Que cada gole desperte uma nova ideia.

  • Que cada script abra uma nova conversa.

  • Que o Café com R se torne um ponto de encontro nosso.

SITE OFICIAL > https://jenniferlopes.github.io/meu_site/