Skip to content

Corrige validação no total de contratos - #14

Open
Nataxshaa wants to merge 1 commit into
mainfrom
fix/contratos-validacao
Open

Nataxshaa wants to merge 1 commit into
mainfrom
fix/contratos-validacao

Conversation

@Nataxshaa

Copy link
Copy Markdown

Corrige validação da DAG de contratos

Contexto

A contratos_dag depende de raw_orgao e é disparada ao término da orgao_dag. Por esse motivo, ela não deve possuir um agendamento próprio.

A task validate recebia os resultados das instâncias mapeadas de ingest_orgao. Quando há centenas de órgãos, o Airflow resolve cada XCom individualmente, gerando diversas requisições sequenciais ao API Server e podendo causar RuntimeError por timeout.

Alterações

  • Define schedule=None para que a contratos_dag seja executada somente pelo trigger da orgao_dag;
  • Mantém a dependência entre as DAGs via TriggerDagRunOperator;
  • Remove o argumento results de validate, evitando a resolução dos XComs das tasks mapeadas;
  • Define a dependência results >> validate() para aguardar a conclusão de todas as ingestões;
  • Substitui a soma dos resultados mapeados por uma consulta SQL no PostgreSQL;

@Nataxshaa
Nataxshaa requested a review from egewarth September 18, 2026 19:17
@Nataxshaa Nataxshaa self-assigned this Sep 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant