Reliable Data Engineering

RELIABLE DATA ENGINEERING

Pipelines de dados confiáveis, do desenho à operação.

Esta é minha biblioteca pública sobre sistemas de dados que podem ser reprocessados, auditados e usados com confiança. Cada conteúdo conecta arquitetura, código, qualidade e impacto para quem consome o dado.

Contratos, idempotência, lineage, observabilidade, reconciliação e tratamento explícito de falhas.

Data Pipelines at Scale

PySpark, SQL, batch, cargas incrementais, APIs, watermarks e estratégias de deduplicação.

Analytics Engineering

Modelagem dimensional, marts, métricas documentadas e camadas RAW, Trusted e Curated.

Começar pelo artigo principal Explorar a biblioteca Ver demonstração no GitHub

Reliable Data Pipelines

Idempotência em pipelines: como reprocessar sem...

08/08/2026

Estratégias práticas para repetir uma carga após falhas sem perder registros, duplicar fatos ou avançar o watermark cedo demais.

Reliable Data Pipelines

Fontes heterogêneas: projetando um pipeline de ...

08/08/2026

Integração de CSV, API e PostgreSQL até um mart de vendas com métricas documentadas e testáveis.

Analytics Engineering na Prática

Pipeline de dados para previsão de preços de ca...

23/07/2023

Modelagem de anúncios, regras de qualidade e métricas de mercado antes da camada de Machine Learning.

Analytics Engineering na Prática

Da ocorrência ao indicador: dados de crimes de ...

25/11/2022

Modelagem de 150 mil ocorrências em fatos, dimensões e indicadores temporais e geográficos.

Data Pipelines at Scale

Pipeline distribuído para minerar padrões de cr...

14/05/2020

Transformação de 124 mil ocorrências em modelos analíticos e padrões frequentes com SparkR e FP-Growth.

Analytics Engineering na Prática

Do CSV ao modelo: preparando dados do ENEM 2016

29/04/2020

Da ingestão à camada analítica: qualidade, modelagem e métricas educacionais prontas para consumo.