Descrição do Cargo
">
Estamos em busca de um profissional experiente para ocupar o cargo de Engenheiro(a) de Dados Sênior. O candidato ideal terá experiência com engenharia de dados, processamento de big data e soluções em nuvem.
">
Responsabilidades:
">
">
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
">
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
">
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
">
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
">
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
">
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
">
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
">
* Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps;
">
* Abrir as portas a oportunidades de crescimento e desenvolvimento em uma empresa que valoriza a flexibilidade e o sucesso da equipe;
">
">
Requisitos Essenciais:
">
">
* Inglês em nível avançado (C1);
">
* Experiência com engenharia de dados, processamento de big data e soluções em nuvem;
">
* Conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions;
">
* Dominio de Apache Spark, PySpark e Scala para processamento de dados em larga escala;
">
* Familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion);
">
* Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas;
">
* Proficiência em SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis);
">
* Vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm;
">
* Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam;
">
* Experiência com práticas de segurança de dados, incluindo RBAC, ABAC e criptografia;
">
* Dominio da linguagem Python e boas práticas de testes com PyTest ou ferramentas similares.
">
">
Benefícios:
">
Nossos cuidados com você incluem benefícios variados e vagas para crescimento e desenvolvimento em uma empresa remota.
">
Outros:
">
Se você é uma pessoa curiosa e apaixonada por tecnologia, tem experiência com engenharia de dados e está procurando por uma nova aventura, então essa pode ser a oportunidade perfeita para você!
"]],