Buscamos um profissional qualificado para ocupar o cargo de Data Engineer na nossa empresa.
Nesta posição, você será responsável por projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT.
Certifique-se que tenha habilidades em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions.
* Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
* Habilidades avançadas em serviços Azure;
* Domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
Candidatura:
* Proficiência em SQL, NoSQL e bancos de dados de grafos;
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
* Conhecimento em frameworks de processamento de fluxo;
* Experiência com práticas de segurança de dados;
* Dominio da linguagem Python;
Obrigado pela sua candidatura!