Descrição da Vaga:
Buscamos um(a) Engenheiro(a) de Dados para atuar no mapeamento e documentação de fontes de dados junto aos times internos e fornecedores externos (ex.: SGA, PROSIS, ServiceNow), definindo especificações de ingestão, padronização de conectores e mecanismos de ETL/ELT. Será responsável por projetar, construir e operar pipelines com foco em segurança, desempenho, confiabilidade e conformidade (governança/LGPD), garantindo a disponibilização de dados para as camadas de consumo e para o catálogo corporativo.
Responsabilidades
Levantar requisitos técnicos com áreas internas e parceiros (SGA, PROSIS, ServiceNow etc.) para mapear, classificar e documentar fontes de dados (estruturados, semiestruturados e APIs).
Definir especificações de ingestão (batch/streaming), padrões de conectores e contratos de dados (esquemas, SLAs/SLOs, versionamento).
Projetar e implementar pipelines ETL/ELT resilientes e observáveis (reprocessamento, idempotência, alertas), com monitoramento de qualidade (DQ checks) e linhagem ponta a ponta.
Otimizar desempenho e custo (particionamento, clustering, compressão, paralelismo), observando FinOps quando aplicável.
Publicar datasets nas camadas Bronze/Silver/Gold e no catálogo corporativo (metadados, política de acesso, classificação).
Garantir segurança e conformidade: IAM, criptografia, mascaramento, anonimização/pseudonimização, retenção e auditoria, alinhado a LGPD e políticas de governança.
Operar e evoluir a orquestração (dep/execução, retries, SLAs), realizar tuning/troubleshooting e apoiar times de analytics/BI no consumo.
Colaborar com times de Produto/Negócio na definição de regras de negócio e no handoff para camadas de consumo (APIs, views, marts).
Requisitos
Experiência comprovada em engenharia de dados com construção e operação de pipelines ETL/ELT (batch e/ou streaming).
Sólido SQL e Python; vivência com Spark e/ou dbt é diferencial.
Prática em cloud data platforms (preferencialmente GCP: BigQuery, Dataflow/Dataproc, Pub/Sub, Cloud Storage, Cloud Composer, Dataplex; ou equivalentes em AWS/Azure).
Conhecimentos de catálogo e linhagem (ex.: Dataplex/Data Catalog/Atlas), qualidade de dados, modelagem para analytics (Medalhão, marts).
Experiência com orquestração (Airflow/Composer), Git/CI-CD e observabilidade (logs, métricas, alertas).
Noções de segurança e privacidade (IAM, criptografia, LGPD), integração por APIs e conectores (REST, JDBC/ODBC).
Habilidade de documentação técnica e comunicação com áreas de negócio e fornecedores.
Graduação em TI, Engenharias, Computação, Sistemas de Informação ou áreas correlatas; certificações (ex.: GCP Data Engineer, dbt, ITIL/DAMA) são diferenciais. ;