[Zayra-Moraes]

Descrição

Implementada a DAG pgc_detalhe_dag para ingestão dos dados do endpoint 1_consultarPgcDetalhe, do módulo PGC.

Alterações realizadas

• Implementada a consulta ao endpoint 1_consultarPgcDetalhe via GET, utilizando os parâmetros obrigatórios:
  • orgao
  • anoPcaProjetoCompra
• Implementada a ingestão dos dados retornados pela API na tabela compras_gov.raw_pgc_detalhe.
• Definidos os modos de carga:
  • Carga fria: realiza a ingestão do período definido pelo parâmetro ano_inicio até o ano atual.
  • Carga incremental: realiza a atualização do ano atual, removendo previamente os registros desse ano e realizando uma nova ingestão.
• Adicionada a coluna dt_ingest aos registros durante a ingestão.
• Implementada task de validação para contabilização dos registros ingeridos.

Dependências

A dag realiza o processamento dos órgãos a partir da raw_orgão então é necessário que a orgao_dag seja previamente ingerida.

Decisões tomadas

Como não foi identificada uma chave única adequada, a atualização incremental foi implementada por ano para que os dados não sejam duplicados.

Closes #5