Descrição do Cargo
Este é um cargo de engenheiro de dados sênior remoto, procurando por uma empresa que valorize a flexibilidade e o desenvolvimento pessoal da equipe.
O candidato ideal deve ter 28 anos de experiência em engenharia de dados, processamento de big data e soluções em nuvem.
Requisitos Essenciais:
* Inglês em nível avançado (C1);
* Experiência com Apache Spark, PySpark e Scala para processamento de dados em larga escala;
* Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics e Data Lake Storage (ADLS);
* Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas;
* Proficiência em SQL, NoSQL e bancos de dados de grafos;
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
* Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
* Domínio da linguagem Python e boas práticas de testes;
Responsabilidades:
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs e Flink;
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations e Monte Carlo;
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
* Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps;
Nossos Cuidados Com Você:
Benefícios variados, incluindo vale alimentação, seguro de vida e outros benefícios.
Conheça Mais Sobre Nosso Cargo:
* Oportunidade de trabalhar em projetos desafiadores e estimulantes;
* Ambiente de trabalho dinâmico e colaborativo;
* Apoio ao desenvolvimento profissional através de treinamentos e workshops;
Requisitos Adicionais:
* Inglês nível C2;
* Conhecimento em sistemas de informação geoespacial;
* Experiência com pipelines de machine learning utilizando MLflow ou Kubeflow;
Habilidades Desejáveis:
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas;
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink e ksqlDB;
* Experiência com práticas de segurança de dados avançadas;