Estamos em busca de um Engenheiro(a) de Dados para liderar nossos projetos de engenharia de dados e processamento de big data.
O que você fará:
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
Requisitos essenciais:
* Inglês em nível avançado (C1);
* Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
* Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
Nossas prioridades:
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
* Aplicar diretrizes de segurança como NIST, FedRAMP e Zero Trust para proteção e governança dos dados;
Aqui estão as ferramentas que usaremos:
* Docker, Kubernetes e Helm;
* Ferramentas de CI/CD, como Terraform, GitHub Actions ou Azure DevOps;
* Linguagem Python e boas práticas de testes com PyTest ou ferramentas similares;
Você precisará ter:
* Experiência com conteinerização e orquestração;
* Domínio da linguagem Python e boas práticas de testes;
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
Requisitos adicionais:
* Inglês nível C2;
* Conhecimento em sistemas de informação geoespacial;
* Experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps);
Benefícios:
Benefícios a variar de acordo com a modalidade de contrato. Você receberá benefícios como vale alimentação, vale refeição, auxílio creche, assistência médica, assistência odontológica, convênio para pet e outros.
Conheça mais sobre nós:
* Nossa empresa é reconhecida por oferecer oportunidades de crescimento e desenvolvimento para os funcionários.