Missão
Nossa missão é encontrar um profissional altamente qualificado para garantir a estabilidade e escalabilidade das nossas plataformas de dados. O Engenheiro de Dados será responsável por liderar a evolução da arquitetura, apoiando o time na construção de uma operação previsível, automatizada e de alta qualidade.
Responsabilidades
* Domínio em Arquitetura e Engenharia de Dados: Experiência em projetar e implementar soluções de dados escaláveis, confiáveis e seguras, utilizando tecnologias como Airflow, Airbyte, Spark/PySpark, EMR, EKS/Kubernetes, S3/Lake, Redshift, BigQuery e DataFlow.
* Pipelines de Dados: Desenvolvimento de pipelines de dados de alta criticidade com foco em modularização, automação e confiabilidade, utilizando técnicas como integração contínua e entrega contínua.
* Boas Práticas de Desenvolvimento: Conhecimento em boas práticas de desenvolvimento, incluindo versionamento Git, ambientes DEV/STG/PRD, CI/CD, testes e data quality.
* Governança de Dados: Responsabilidade pela governança de dados lakes e data warehouses, garantindo reutilização de camadas e evitando duplicidades.
* Comunicação Técnica: Capacidade de traduzir regras de negócios complexas em soluções técnicas claras, robustas e escaláveis.
* Mentoria e Apoio: Experiência atuando como referência técnica, incluindo mentoria e apoio a times de engenharia.
* Orquestração e Processamento Distribuído: Experiência em orquestração e processamento distribuído, utilizando tecnologias como PySpark (forte), Spark SQL, EMR, Dataproc e DLT.
* Cloud e Infraestrutura como Código: Conhecimento em cloud computing e infraestrutura como código, utilizando tecnologias como AWS (EKS, EMR, Lambda, S3, Redshift), GCP (BigQuery, DataFlow, Composer) e Terraform, Docker, Kubernetes.
* Qualidade dos Dados: Experiência em gestão de qualidade dos dados, utilizando ferramentas como Great Expectations e DataHub ou similares.
* Governança e Segurança: Conhecimento em governança e segurança, incluindo IAM, VPN e segregação de ambientes.