A sua oportunidade de carreira!
Descrição do cargo:
Buscamos um profissional experiente para trabalhar em projetos de engenharia de dados, com foco em processamento de big data e soluções em nuvem. O candidato ideal deve ter conhecimento avançado em serviços Azure e Apache Spark.
* Obrigatório: Inglês em nível avançado (C1); Experiência em engenharia de dados, processamento de big data e soluções em nuvem; Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
* Proficiência em SQL, NoSQL e bancos de dados de grafos;
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
* Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
* Domínio da linguagem Python e boas práticas de testes.
Responsabilidades:
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
* Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps;
* Aplicar diretrizes de segurança como NIST, FedRAMP e Zero Trust para proteção e governança dos dados;
* Construir integrações via APIs GraphQL, REST ou gRPC com serviços internos e externos.
Requisitos adicionais:
* Inglês nível C2;
* Conhecimento em sistemas de informação geoespacial;
* Experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps);
* Noções de análise de grafos e links aplicadas a fluxos de inteligência.