Soluções de Engenharia de Dados para Um Futuro Desafiador
O papel do engenheiro de dados sênior é fundamental para a transformação digital de uma empresa. Nesta posição, você terá a oportunidade de projetar e implementar processos automatizados de ingestão e transformação de dados, garantindo qualidade, consistência e disponibilidade dos dados por meio de monitoramento, alertas e validações.
* Projetar e Implementar Processos Automatizados: Utilizando as melhores práticas de confiabilidade e manutenção, você projetará e implementará processos automatizados para a ingestão e transformação de dados, permitindo que a empresa tome decisões informadas com base em dados precisos.
* Garantir Qualidade e Disponibilidade dos Dados: Ao utilizar ferramentas avançadas de monitoramento e alertas, você garantirá que os dados estejam sempre atualizados e precisos, permitindo que a empresa funcione com eficiência e transparência.
* Liderar Decisões Técnicas: Com sua experiência e conhecimento em engenharia de dados, você liderará decisões técnicas sobre estratégia e evolução da infraestrutura de dados, garantindo que a empresa fique à frente das tendências tecnológicas.
* Colaborar com Times Multidisciplinares: Ao trabalhar em equipe com analistas, PMs, engenheiros e stakeholders, você contribuirá para traduzir requisitos de dados em soluções eficientes, alinhando objetivos e melhorando a comunicação entre departamentos.
* Desenvolver e Otimizar Modelos de Dados: Com sua habilidade em desenvolver e otimizar modelos de dados e workflows de transformação em ambientes como Snowflake, Databricks e data lakes, você garantirá que os dados estejam sempre atualizados e precisos, permitindo que a empresa tome decisões informadas.
Requisitos Técnicos:
* Experiência em Construção e Gestão de Pipelines ETL/ELT: Você precisa ter experiência sólida em construção e gestão de pipelines ETL/ELT utilizando DBT, Fivetran e Airbyte, garantindo que os dados estejam sempre atualizados e precisos.
* Dominio de SQL Avançado: Com seu domínio de SQL avançado e familiaridade com plataformas modernas de dados em nuvem, especialmente Snowflake e Databricks, você poderá projetar e implementar processos automatizados para a ingestão e transformação de dados.
* Conhecimento em Ferramentas de BI: Você precisa ter conhecimento em ferramentas de BI como Looker, Power BI e Sigma Computing, permitindo que a empresa visualize e interprete os dados de forma eficiente.
* Entendimento de Arquiteturas de Data Lake: Com seu entendimento profundo de arquiteturas de data lake e modelagem de dados para cenários batch e em tempo real, você poderá desenvolver e otimizar modelos de dados e workflows de transformação em ambientes como Snowflake, Databricks e data lakes.
* Habilidades de Programação em Python: Você precisa ter habilidades de programação em Python (ou linguagem similar) para automações e scripts, permitindo que a empresa execute tarefas automatizadas com eficiência.
* Vivência com Plataformas de Streaming de Dados: Com sua vivência com plataformas de streaming de dados (Apache Kafka, por exemplo) e frameworks de qualidade de dados, você poderá garantir que os dados estejam sempre atualizados e precisos, permitindo que a empresa tome decisões informadas.
* Conhecimento em Infraestrutura como Código: Você precisa ter conhecimento em infraestrutura como código (Terraform, Ansible), permitindo que a empresa gerencie a infraestrutura de dados de forma eficiente e escalável.
Qualificações:
* Formação Superior em Ciência da Computação: Você precisa ter formação superior em Ciência da Computação, Engenharia ou áreas correlatas, garantindo que tenha os conhecimentos necessários para o cargo.
* 5+ Anos de Experiência em Engenharia de Dados: Com sua experiência em engenharia de dados, você poderá projetar e implementar processos automatizados para a ingestão e transformação de dados, garantindo qualidade, consistência e disponibilidade dos dados.
* Histórico Comprovado com Ferramentas Modernas de Dados: Você precisa ter histórico comprovado com ferramentas modernas de dados: Snowflake, DBT, Databricks, Fivetran, Airbyte, garantindo que tenha os conhecimentos necessários para o cargo.
* Experiência em Ambientes de Nuvem: Com sua experiência em ambientes de nuvem (preferencialmente AWS), você poderá gerenciar a infraestrutura de dados de forma eficiente e escalável.
* Vivência com Diferentes Soluções de Armazenamento: Com sua vivência com diferentes soluções de armazenamento (relacional, columnar, NoSQL, data lakes), você poderá desenvolver e otimizar modelos de dados e workflows de transformação em ambientes como Snowflake, Databricks e data lakes.