Encontramos um profissional dedicado para contribuir para a plataforma de dados. Será responsável por projetar e implementar processos automatizados de ingestão e transformação de dados, seguindo as melhores práticas de confiabilidade e manutenção.
Responsabilidades:
* Ingestão e Transformação de Dados: Projetar e implementar processos automatizados de ingestão e transformação de dados, garantindo qualidade, consistência e disponibilidade dos dados por meio de monitoramento, alertas e validações.
* Criar Arquitetura de Dados: Contribuir para a arquitetura da plataforma de dados, liderando decisões técnicas sobre estratégia e evolução da infraestrutura.
* Colaborar com Times Multidisciplinares: Colaborar com times multidisciplinares (analistas, PMs, engenheiros e stakeholders) para traduzir requisitos de dados em soluções eficientes.
* Desenvolver Modelos de Dados: Desenvolver e otimizar modelos de dados e workflows de transformação em ambientes como Snowflake, Databricks e data lakes.
* Integração entre Sistemas: Atuar na integração entre sistemas via APIs e ferramentas modernas de ELT como Fivetran e Airbyte.
* Boas Práticas: Promover boas práticas em engenharia de dados, documentação e qualidade de código.
* Cultura Colaborativa: Fomentar uma cultura colaborativa, compartilhando conhecimento e alinhando objetivos com o time.
Requisitos Técnicos:
* Experiência com ETL/ELT: Experiência sólida em construção e gestão de pipelines ETL/ELT com uso de DBT, Fivetran e Airbyte.
* SQL Avançado e Plataformas de Dados: Domínio de SQL avançado e familiaridade com plataformas modernas de dados em nuvem, especialmente Snowflake e Databricks.
* Conhecimento em Ferramentas de BI: Conhecimento em ferramentas de BI como Looker, Power BI e Sigma Computing.
* Arquiteturas de Data Lake: Entendimento profundo de arquiteturas de data lake e modelagem de dados para cenários batch e em tempo real.
* Habilidades de Programação: Habilidades de programação em Python (ou linguagem similar) para automações e scripts.
* Plataformas de Streaming de Dados: Vivência com plataformas de streaming de dados (Apollo Kafka, por exemplo) e frameworks de qualidade de dados.
* Infraestrutura como Código: Conhecimento em infraestrutura como código (Terraform, Ansible).
* Perfil Colaborativo: Perfil colaborativo, com autonomia e bom relacionamento em ambientes dinâmicos.
* Código Limpo: Comprometimento com código limpo, manutenível e boas práticas de design de dados.
Qualificações:
1. Formação Superior: Formação superior em Ciência da Computação, Engenharia ou áreas correlatas.
2. Experiência em Engenharia de Dados: 5+ anos de experiência em engenharia de dados ou áreas relacionadas, atuando com grandes volumes de dados.
3. Histórico com Provado: Histórico comprovado com ferramentas modernas de dados: Snowflake, DBT, Databricks, Fivetran, Airbyte.
4. Ambientes de Nuvem: Experiência em ambientes de nuvem (preferencialmente AWS).
5. Vivência com Diferentes Soluções: Vivência com diferentes soluções de armazenamento (relacional, columnar, NoSQL, data lakes).
6. Desejável Conhecimento: Desejável conhecimento em Docker e plataformas de orquestração como Kubernetes.