O Gov Hub BR é uma iniciativa para enfrentar os desafios da fragmentação, redundância e inconsistências nos sistemas estruturantes do governo federal. O projeto busca transformar dados públicos em ativos estratégicos, promovendo eficiência administrativa, transparência e melhor tomada de decisão. A partir da integração de dados, gestores públicos terão acesso a informações qualificadas para subsidiar decisões mais assertivas, reduzir custos operacionais e otimizar processos internos.
Potencializamos informações de sistemas como TransfereGov, Siape, Siafi, ComprasGov e Siorg para gerar diagnósticos estratégicos, indicadores confiáveis e decisões baseadas em evidências.
- Transparência pública e cultura de dados abertos
- Indicadores confiáveis para acompanhamento e monitoramento
- Decisões baseadas em evidências e diagnósticos estratégicos
- Exploração de inteligência artificial para gerar insights
- Gestão orientada a dados em todos os níveis
A arquitetura do Gov Hub BR é baseada na Arquitetura Medallion, em um fluxo de dados que permite a coleta, transformação e visualização de dados.
Para mais informações sobre o projeto, veja o nosso e-book. E temos também alguns slides falando do projeto e como ele pode ajudar a transformar a gestão pública.
Esse trabalho é mantido pelo Lab Livre e apoiado pelo IPEA/Dides.
Para dúvidas, sugestões ou para contribuir com o projeto, entre em contato conosco: lablivreunb@gmail.com
This project implements a modern data stack using Airflow, dbt, Jupyter, and Superset for data orchestration, transformation, analysis, and visualization.
- Apache Airflow: Workflow orchestration
- dbt: Data transformation
- Jupyter: Interactive data analysis
- Apache Superset: Data visualization and exploration
- Docker: Containerization and local development
- Make: Build automation and setup
- Docker and Docker Compose
- Make
- Python 3.x
- Git
- Clone the repository:
git clone git@gitlab.com:lappis-unb/gest-odadosipea/app-lappis-ipea.git
cd app-lappis-ipea- Run the setup using Make:
make setupThis will:
- Create necessary virtual environments
- Install dependencies
- Set up pre-commit hooks
- Configure development environment
Start all services using Docker Compose:
make up
# Equivalente sem o Makefile. O --env-file e necessario: com o compose em
# infra/, o Compose procuraria o .env nesse diretorio, e nao na raiz.
docker compose --env-file .env -f infra/docker-compose.yml up -dAccess the different components:
- Airflow: http://localhost:8080
- Jupyter: http://localhost:8888
- Superset: http://localhost:8088
This project uses several tools to maintain code quality:
- Pre-commit hooks
- Linting configurations
- Automated testing
Run linting checks:
make lintRun tests:
make test.
├── dags/ # DAGs do Airflow (data_ingest, dashboards, dbt/*_cosmos_dag.py)
├── plugins/ # clientes e plugins do Airflow
├── helpers/ # funcoes auxiliares
├── templates/ # templates (ex: consultas SIAPE)
├── dbt/ # projeto dbt (mcid)
│ └── mcid/
├── scripts/ # scripts avulsos (ex: ingestao SFTP)
├── docs-pages/ # site de documentacao publicado no GitHub Pages
├── tests/
├── infra/ # execucao local (compose, Dockerfiles, airflow.cfg, env)
│ ├── airflow/
│ ├── docker/
│ ├── env/
│ └── docker-compose.yml
├── Makefile
└── README.md
make setup: Initial project setupmake lint: Run linting checksmake tests: Run test suitemake clean: Clean up generated filesmake build: Build Docker images
This project requires signed commits. To set up GPG signing:
- Generate a GPG key:
gpg --full-generate-key- Configure Git to use GPG signing:
git config --global user.signingkey YOUR_KEY_ID
git config --global commit.gpgsign true- Add your GPG key to your GitLab account
- Create a new branch for your feature
- Make changes and ensure all tests pass
- Submit a merge request