[Ingestão] INEP - Dados abertos #76

Contexto

O MinC precisa cruzar as ações culturais (PNAB/LPG) com a rede de educação básica
de cada município: quantas escolas existem, de que tipo, onde ficam e que
infraestrutura têm. Os microdados do Censo Escolar são a fonte oficial e pública
desse retrato, publicada anualmente pelo INEP.

Pergunta que passam a responder: [preencher — ex.: "quantas escolas públicas
existem nos municípios contemplados pela PNAB, e quantas têm biblioteca, sala de
leitura ou auditório?"]

Objetivo

1. Baixar o ZIP anual dos microdados do Censo Escolar no portal de dados abertos
   do INEP, um ano por vez.
2. Descompactar e localizar os CSVs de dados (separador ;, encoding latin-1)
   e o dicionário de dados.
3. Carregar as tabelas escolhidas no Postgres, acrescentando as colunas
   ano_censo e dt_ingestao.
4. Substituir o ano carregado sem afetar os outros (delete + insert por
   ano_censo), para que a DAG possa ser reexecutada.
5. Registrar o número de linhas carregadas por ano e por tabela, para conferir
   com a origem.

Fonte dos dados

• Sistema/fonte: INEP — Microdados do Censo Escolar da Educação Básica
• Localização (URL, endpoint, caminho):
  • Página: https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/censo-escolar
• Status do acesso: liberado (público, sem autenticação)
• Documentação: dicionário de dados e leia-me dentro de cada ZIP
• Frequência de atualização na origem: anual (o ano de 2025 saiu em 31/07/2026); série disponível de 1995 a 2025

Tipo da fonte

API REST / JSON

Dados necessários

• Tabela de escolas (cadastro, localização, dependência administrativa e infraestrutura)
• Anos: [preencher — ex.: 2020 a 2025]
• Turmas, matrículas e docentes ficam fora desta issue (volume alto; abrir outra se for preciso)

Destino dos dados

• Banco/schema:
• Tabela:
• Camada: (raw / bronze)
• Ambiente:

Estratégia de carga

Carga completa

Periodicidade

• Frequência: anual (ou sob demanda, disparada quando o INEP publica um novo ano)
• Horário: indiferente
• Depende de qual outra DAG: nenhuma

Critérios de aceite

• A DAG executa sem erro
• Os dados chegam ao destino esperado
• A execução pode ser repetida sem duplicar registros
• O volume extraído foi conferido contra a origem
• A periodicidade está correta
• A fonte e suas limitações foram documentadas

Observações

• O nome do arquivo varia entre os anos: o de 2025 está publicado como
  microdados_censo_escolar_2025_.zip, com sublinhado no final. A DAG não pode
  depender de um único padrão de URL.
• O layout das colunas muda ao longo da série. Carregar cada ano conforme o
  dicionário do próprio ZIP, sem fixar o schema de um ano só.
• Os microdados foram reestruturados pelo INEP para atender à LGPD (sem
  identificação de pessoas). O nível escola não traz dados pessoais.
• Chave para cruzar com território: código IBGE do município (CO_MUNICIPIO),
  que permite juntar com a camada territorio que já existe.
• Outros conjuntos de microdados do INEP (Enem, Saeb, Censo da Educação
  Superior etc.) ficam fora desta issue.