Pular para o conteúdo

Disponível · remoto ou híbrido

Alexandre Soares, Engenheiro de Dados

Pipelines e lakehouses em Google Cloud, BigQuery, Azure, Databricks, PySpark

Hoje cuido da qualidade de dados bancários no Bradesco, pela TDW BI Consulting. Antes, construí pipelines de ponta a ponta em GCP e Azure, da API ao dashboard.

Foto de Alexandre Soares
SP · 23.55°S 46.63°W
Agora
Data Quality · Bradesco
Nuvens
GCP e Azure, desde 2022
Base
São Paulo · remoto ou híbrido
Sobre(01)

Engenharia de dados com resultado para o negócio.

Engenheiro de dados com atuação desde 2022 no ciclo completo da informação: da ingestão e arquitetura até a entrega de valor para o negócio. Construo pipelines ETL/ELT em GCP e Azure, estruturo Data Lakes e Lakehouses na Arquitetura Medalhão e processo grandes volumes com PySpark e Databricks. Hoje atuo em Data Quality no setor financeiro e, pela Zenith Tech, entrego soluções de dados, cloud e sistemas para empresas.

  • 01

    Minha base

    Sou engenheiro e arquiteto de dados, com foco em planejamento, estruturação de soluções e desenvolvimento de sistemas que geram resultado real para o negócio.

  • 02

    Especialidade

    Transformar dados em estratégia, construir arquiteturas eficientes e criar soluções que apoiam decisões mais inteligentes e escaláveis.

  • 03

    Rotina

    Equilibro planejamento de demandas, modelagem de dados e desenvolvimento de sistemas, sempre buscando eficiência, organização e inovação.

  • 04

    Missão

    Usar tecnologia, visão analítica e pensamento estratégico para transformar desafios em soluções sólidas, com clareza e precisão.

Stack(02)

Ferramentas do dia a dia.

O que uso para levar o dado da origem até quem decide.

PythonSQLPySparkBigQueryCloud StoragePub/SubCloud FunctionsCloud TasksCloud RunDataflowCloud SQLAzure Data FactoryEvent HubsAzure FunctionsAzure MonitorApache SparkDatabricksPandasParquetApache AirflowCloud ComposerTerraformn8nPostgreSQLSQL ServerOracleMySQLPower BIStar SchemaGitGitHubAzure DevOpsGitHub Actions
ETL / ELTArquitetura MedalhãoData LakeLakehouseData WarehouseStar SchemaData QualityGovernança de dadosCargas incrementaisBatch e streamingAPIs RESTTuning de queriesParticionamentoControle de schemaObservabilidadeCI/CD · DataOps

Linguagens

  • Python
  • SQL
  • PySpark

Google Cloud

  • BigQuery
  • Cloud Storage
  • Pub/Sub
  • Cloud Functions
  • Cloud Tasks
  • Cloud Run
  • Dataflow
  • Cloud SQL

Microsoft Azure

  • Azure Data Factory
  • Event Hubs
  • Azure Functions
  • Azure Monitor

Processamento

  • Apache Spark
  • Databricks
  • Pandas
  • Parquet

Orquestração e IaC

  • Apache Airflow
  • Cloud Composer
  • Terraform
  • n8n

Bancos de dados

  • PostgreSQL
  • SQL Server
  • Oracle
  • MySQL

Analytics

  • Power BI
  • Star Schema

DevOps

  • Git
  • GitHub
  • Azure DevOps
  • GitHub Actions
Experiência(03)

Trajetória em dados.

  1. ago/2026 — atual

    Engenheiro de Dados Jr

    TDW BI Consulting (Grupo Synoro)

    Alocado no Bradesco

    São Paulo, SP · Híbrido

    atual

    Time de Data Quality: integridade, consistência e confiabilidade de dados bancários críticos para a tomada de decisão.

    • Executo rotinas diárias no Databricks de exploração, higienização e correção de dados com DML avançado (SELECT, UPDATE, INSERT).
    • Construo e monitoro pipelines de qualidade com PySpark, Python e SQL, aplicando regras de negócio, validação de schema e governança.
    • Migro regras legadas de qualidade do SAS para o Databricks, ganhando escalabilidade e aderência à Arquitetura Medalhão.
    • Apoio auditorias e a rastreabilidade do dado nas camadas Bronze, Silver e Gold do Lakehouse.

    Databricks / PySpark / Python / SQL / SAS / Data Quality

  2. set/2025 — ago/2026

    Engenheiro de Dados GCP Pleno

    JobHome

    São Paulo, SP · Híbrido

    • Desenvolvi pipelines orquestrados no Cloud Composer (Airflow), com alta disponibilidade e observabilidade dos fluxos.
    • Construí extrações modulares em Python para APIs REST, com paginação, filtros dinâmicos, tratamento de erros e retry automático.
    • Implementei pipeline orientado a eventos (Pub/Sub, Cloud Tasks e Cloud Functions) que cria tabelas por cliente no BigQuery automaticamente, com infraestrutura em Terraform.
    • Organizei o ciclo do dado na Arquitetura Medalhão: Cloud Storage (Parquet, JSON, NDJSON) e camada analítica no BigQuery.
    • Modelei tabelas Fato e Dimensão (Star Schema) a partir de PostgreSQL, SQL Server, Oracle e MySQL.

    GCP / BigQuery / Cloud Storage / Pub/Sub / Cloud Composer / Terraform / Python

  3. mai/2024 — set/2025

    Engenheiro de Dados Azure

    STSystem Informática

    Guarulhos, SP · Híbrido

    • Orquestrei pipelines ETL/ELT com Azure Data Factory e Azure Databricks para grandes volumes de dados.
    • Otimizei processamento PySpark com particionamento Parquet, paralelismo e tuning, reduzindo em até 30% os custos operacionais na Azure.
    • Implementei Lakehouse na Arquitetura Medalhão: rastreabilidade (Bronze), schema e padronização (Silver) e modelagem dimensional (Gold).
    • Construí ingestão de eventos e integrações com Azure Event Hubs e Azure Functions.
    • Implantei CI/CD, versionamento e monitoramento com Azure DevOps, GitHub e Azure Monitor.

    Azure Data Factory / Databricks / PySpark / Event Hubs / Azure DevOps

  4. mai/2023 — mai/2024

    Analista de Dados

    STSystem Informática

    Guarulhos, SP · Híbrido

    • Levantei requisitos com Financeiro, Comercial e Operações para definir KPIs e traduzir problemas de negócio em soluções de dados.
    • Refatorei consultas SQL e integrações, melhorando em até 40% a performance de relatórios críticos.
    • Desenvolvi dashboards executivos no Power BI (DAX) sobre bases com modelagem dimensional (Star Schema).
    • Construí fluxos ETL/ELT com Azure Data Factory, SSIS e Python.

    SQL Server / Oracle / Power BI / SSIS / Python

  5. dez/2022 — mai/2023

    Estagiário em Dados

    STSystem Informática

    Guarulhos, SP · Híbrido

    • Automatizei coleta, limpeza e validação de dados operacionais com Python e SQL.
    • Criei e mantive relatórios em Power BI e Excel para as demandas diárias das equipes.
    • Documentei processos de dados e apoiei rotinas de qualidade e governança.

    Python / SQL / Power BI / Excel

Projetos(04)

Trabalho selecionado.

Cases reais. O código é confidencial, então mostro a arquitetura, as decisões e o impacto.

JobHome · GCP · orientado a eventos

Pipeline multi-cliente de dados de telefonia

Problema

Chamadas recebidas de várias filas de atendimento chegavam por uma API de telefonia e precisavam virar tabelas analíticas separadas por cliente, sem intervenção manual a cada novo arquivo, fila ou cliente.

Solução

A extração em Python grava o payload bruto no Cloud Storage. O disparo é automático via Pub/Sub e Cloud Tasks: o job bronze, em Cloud Functions, recebe o caminho do arquivo (bronze_uri) como parâmetro. Um mapa fila → cliente em variável de ambiente direciona cada registro e as tabelas de cada cliente são criadas automaticamente no BigQuery. As camadas Silver e Gold padronizam e preparam o dado para consumo, e toda a infraestrutura é provisionada com Terraform.

Impacto

  • Novo cliente ou fila entra por configuração, com tabela criada automaticamente.
  • Processamento disparado por evento, sem execução manual.
  • Infraestrutura reproduzível e versionada com Terraform.
ArquiteturaCódigo confidencial
Variável de ambiente: mapa fila → clienteFONTEAPI RESTplataforma detelefoniaFilaschamadas recebidasINGESTÃOPythonextraçãoCloud Storagepayload brutoGATILHOPub/SubeventoCloud Tasksfila de execuçãoBRONZECloud Functionsjob(bronze_uri)BigQuerytabela por clienteSILVERBigQuerylimpeza · tipos · dedupGOLDBigQuerycamada analíticaCONSUMOBIdashboards e análisesInfraestrutura como código com Terraform

Python / Cloud Storage / Pub/Sub / Cloud Tasks / Cloud Functions / BigQuery / Terraform

JobHome · GCP · batch e incremental

Framework de ingestão modular em GCP

Problema

Muitas fontes (APIs REST e bancos relacionais) precisavam chegar ao BigQuery com o mesmo padrão, em cargas batch e incrementais, e com reprocessamento sob demanda por período.

Solução

Estrutura genérica de ingestão: o dado bruto é gravado como payload no Cloud Storage e transformado no BigQuery a partir de metadados técnicos. Uma API parametrizada aciona pipelines por rotas específicas, com intervalo de datas e filtros customizados, em execução assíncrona. O Cloud Composer (Airflow) orquestra as cargas recorrentes e a Silver aplica limpeza, tipagem, deduplicação e controle de schema.

Impacto

  • Menos tempo para criar novas esteiras, com um padrão reutilizável.
  • Reprocessamento por intervalo de datas e filtros, sob demanda.
  • Modelo Star Schema (fatos e dimensões) pronto para análise.
ArquiteturaCódigo confidencial
Metadados técnicos dirigem as transformaçõesFONTESAPIs RESTpaginação · retryBancosPostgresSQL Server · OracleMySQLEXECUÇÃOCloud ComposerAirflow · agendaAPI parametrizadadatas · filtrosasyncBRONZECloud StorageParquet · JSON · NDJSONSILVERBigQueryschema · tipos · dedupGOLDBigQueryStar SchemaCONSUMOBIanálises do negócio

Python / Cloud Composer / Airflow / Cloud Storage / BigQuery / Cloud Run / PostgreSQL / SQL Server

STSystem Informática · Azure · Big Data

Lakehouse na Azure com Databricks

Problema

Grandes volumes de dados de várias fontes e eventos precisavam ser processados diariamente com rastreabilidade, qualidade e custo de nuvem sob controle.

Solução

Lakehouse em Arquitetura Medalhão: o Data Factory orquestra as cargas, Event Hubs e Functions trazem eventos e integrações, e notebooks PySpark no Databricks fazem Bronze → Silver → Gold. Tuning com particionamento Parquet, paralelismo e ajustes de configuração; CI/CD com Azure DevOps e GitHub e monitoramento com Azure Monitor.

Impacto

  • Até 30% de redução nos custos operacionais da infraestrutura Azure.
  • Cargas diárias distribuídas com alta velocidade e baixo custo.
  • Rastreabilidade do dado bruto até a camada de negócio.
ArquiteturaCódigo confidencial
FONTESSistemas e bancosbatchEvent HubsstreamingINGESTÃOData FactoryorquestraçãoAzure FunctionsintegraçõesBRONZEDatabricksdado bruto rastreávelSILVERPySparkschema · Parquet particionadoGOLDDatabricksmodelo dimensionalCONSUMONegóciorelatórios e decisõesCI/CD com Azure DevOps + GitHubmonitoramento com Azure Monitor

Azure Data Factory / Databricks / PySpark / Event Hubs / Azure Functions / Parquet / Azure DevOps

TDW BI Consulting · Bradesco · Data Quality

Migração de regras de qualidade: SAS → Databricks

Problema

Regras complexas de qualidade de dados rodavam em rotinas legadas no SAS e precisavam ganhar escalabilidade e performance no ecossistema moderno do banco.

Solução

Análise e conversão das regras do SAS para PySpark e SQL no Databricks, com validação de schema e regras de negócio aplicadas nas camadas da Arquitetura Medalhão, além de rotinas DML para corrigir anomalias e enriquecer as bases.

Impacto

  • Fluxos de validação mais escaláveis e performáticos.
  • Aderência à Arquitetura Medalhão e à governança.
  • Dados bancários críticos mais confiáveis para decisão.
ArquiteturaCódigo confidencial
LEGADOSASregras de qualidadeCONVERSÃORefatoraçãoPySpark · SQLBRONZEDatabricksdado de origemSILVERDatabricksschema · regrasGOLDDatabricksbases confiáveisCONSUMONegóciotomada de decisãoCorreção de anomalias com DML (UPDATE /INSERT) e auditoria

Databricks / PySpark / SQL / Python / SAS / Lakehouse

Laboratório(05)

Experimentos e projetos paralelos.

Onde testo ideias e tecnologias fora do expediente.

  • LAB-01set. de 2026

    Catálogo digital Kurt Griffes

    Catálogo de produtos com variações, carrinho no navegador e pedido enviado pelo WhatsApp. Painel administrativo com senha para cadastrar, editar e pesquisar produtos.

    Python / Flask / SQLite / Jinja2 / Pillow

  • LAB-02mar. de 2026

    Programação de Computadores

    Exercícios e projetos da disciplina de Programação de Computadores do curso de Ciência da Computação.

    Python

  • LAB-03

    Agente de IA com n8n

    Agente inteligente integrado via n8n, estruturado para automatizar e otimizar fluxos de trabalho com engenharia de prompt.

    n8n / IA / Prompt engineering

    Sem repositório público
  • LAB-04

    Landing page acessível

    Protótipo no Figma com foco em usabilidade e navegação adaptada para pessoas com deficiência visual (alto contraste e acessibilidade).

    Figma / UX/UI / Acessibilidade

    Sem repositório público
Em construção(06)

Em desenvolvimento.

Em desenvolvimento · Zenith Tech

Loja Eli Soares · e-commerce e gestão

Loja online de moda fitness e moda íntima feminina com painel de gestão próprio: pedidos, estoque com histórico, planilhas Excel/CSV e controle de pontos de venda em consignado. Projeto desenvolvido pela Zenith Tech.

elisoares.com(abre em nova aba)

Arquitetura

  1. 01WordPress + WooCommerce com tema próprio, versionado no GitHub
  2. 02Plugins próprios em PHP: painel da loja, área da cliente e pagamento
  3. 03InfinitePay (Pix e cartão em até 12x), com cada pagamento conferido na operadora
  4. 04MySQL na Hostinger, com visões em português para consulta
  5. 05GitHub Actions: validação a cada push e deploy com backup e aprovação

WordPress / WooCommerce / PHP / MySQL / InfinitePay / Hostinger / GitHub Actions

Modelo de dados (ER)
wp_userscontas (WordPress)PKIDbigintuser_emailvarchardisplay_namevarcharwp_postsprodutos e variaçõesPKIDbigintpost_typevarcharpost_parentbigintpost_titletextwp_wc_orderspedidos (WooCommerce)PKidbigintstatusvarchartotal_amountdecimalpayment_method_titletextwp_loja_pontos_vendapainel da lojaPKidbigintnomevarcharresponsavelvarcharcidadevarcharcomissaodecimalativotinyintwp_loja_atividadespainel da lojaPKidbigintFKusuario_idbigintacaovarcharobjeto_tipovarcharobjeto_idbigintdescricaovarcharipvarcharcriado_emdatetimewp_loja_estoque_historicopainel da lojaPKidbigintFKproduto_idbigintFKpedido_idbigintFKusuario_idbigintquantidadeintestoque_antesintestoque_depoisintmotivovarcharcriado_emdatetimewp_loja_pontos_pecaspainel da lojaPKidbigintFKponto_idbigintFKacerto_idbiginttipovarchardescricaovarcharprecodecimalquantidadeintdatadatewp_loja_pontos_acertospainel da lojaPKidbigintFKponto_idbigintdatadatepecasinttotaldecimalcomissaodecimalvalor_pontodecimalvalor_lojadecimalpagotinyinttabela própria (painel da loja)tabela do WordPress / WooCommerceN : 1 (FK → PK)Visões só de leitura: wp_ver_usuarios · wp_ver_pedidos · wp_ver_produtos

Arraste para o lado para ver o diagrama completo

Zenith Tech(07)

Minha consultoria.

Zenith Tech CompanyZenith Tech Company

Fundador & CEO · Zenith Tech Company

Tecnologia, estratégia e inovação para empresas que querem crescer.

Consultoria especializada em transformar desafios empresariais em soluções tecnológicas inteligentes. Mais do que desenvolver software, construímos a base tecnológica que sustenta o crescimento dos nossos clientes. Como fundador, respondo pela estratégia, arquitetura de soluções, engenharia de dados e transformação digital.

@zenith_techcompany(abre em nova aba)
  • 01

    Engenharia de Dados

    Pipelines, integrações e arquitetura de informação para a tomada de decisão.

  • 02

    Infraestrutura Cloud

    Infraestruturas escaláveis em nuvem, com foco em desempenho, segurança e disponibilidade.

  • 03

    Desenvolvimento de Sistemas

    Plataformas, sistemas corporativos e soluções sob medida para empresas.

  • 04

    Automação e IA

    Otimização de processos com integrações e tecnologias inteligentes.

  • 05

    Sites e E-commerce

    Criação de sites e lojas virtuais prontas para vender.

  • 06

    Integrações Corporativas

    Conexão entre sistemas, APIs e dados para operações mais eficientes.

Formação(08)

Formação e estudo contínuo.

Graduação

  • Bacharelado em Ciência da Computação

    Universidade Cruzeiro do Sul

    2026 — 2030 (previsão)

  • Análise e Desenvolvimento de Sistemas

    Universidade Cruzeiro do Sul

    2025 · 2 semestres concluídos

Cursos

  • Google Cloud Platform (GCP)

    Udemy

  • Python do básico ao avançado

    Udemy

  • SQL completo e Banco de Dados Oracle

    STSystem Informática

  • Formação Analista de Dados

    STSystem Informática

Idiomas

  • Português

    Nativo

  • Inglês

    Intermediário técnico (leitura e escrita)

  • Espanhol

    Intermediário técnico (leitura e escrita)