Missão do Data Engineer
O Data Engineer desenhará pipelines de dados robustos e escaláveis com foco em integração, transformação e governança de dados na plataforma Snowflake.
* Projetar e implementar soluções de ingestão e orquestração utilizando Azure Data Factory, Databricks e outras ferramentas do ecossistema Azure;
* Integrar dados de diferentes fontes (REST, SOAP, OData APIs), garantindo a qualidade, consistência e performance dos processos;
* Modelar dados corporativos com boas práticas de modelagem relacional (E/R, normalização, chaves primárias e estrangeiras);
* Administrar e versionar código por meio do GitHub e CI/CD pipelines (GitHub Actions), aplicando automação e boas práticas de deploy;
* Gerenciar componentes da infraestrutura Azure, como Blob Storage, Key Vault, Azure SQL, Logic Apps e Azure Functions;
A missão é criar um pipeline de dados que seja escalável e possa suportar alta carga de trabalho. Isso inclui projetar pipelines que sejam robustos e capazes de lidar com diferentes tipos de dados. Além disso, o Data Engineer deve integrar dados de diferentes fontes para garantir a qualidade e consistência dos processos.
* Monitorar performance, custos e qualidade dos pipelines, aplicando tunning e melhorias contínuas nos processos; executar testes unitários para garantir a qualidade dos dados e rejeitar registros inconsistentes ou mal formatados.
Requisitos para o cargo:
* Especialização em Engenharia de Dados ou áreas afins;
* Conhecimento avançado em lógica de programação, estruturas de dados e algoritmos;
* Familiaridade com tecnologias de data science, como Python e R;
* Habilidades avançadas em manipulação e análise de dados;
* Experiência em ambientes de nuvem, preferencialmente Azure;
* Boa comunicação e habilidades de liderança.
Vantagens do cargo:
* Oportunidade de trabalhar em um ambiente de inovação e desenvolvimento;
* Acesso a recursos e ferramentas avançadas para auxiliar no desenvolvimento profissional;
* Potencial de crescimento e promoção baseada no desempenho;
* Ambiente colaborativo e diversificado;
* Benefícios adicionais, como plano de saúde e seguridade alimentar.
Outras informações:
* Obrigatório ter disponibilidade para viagens freqüentes;
* Necessário participar de treinamentos e workshops regulares;
* Ajudar a promover a cultura e valores da empresa dentro da equipe.