Vaga de Engenheiro(a) de Dados Sênior – Remoto
Encontramos um candidato perfeito para trabalhar em nossa equipe!
Descrição do Cargo:
Nossa empresa está procurando por alguém com experiência em engenharia de dados, processamento de big data e soluções em nuvem. O ideal é que você tenha conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions.
Além disso, gostaríamos de encontrar alguém com domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala. Se você tiver familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion), seria uma ótima qualidade adicional.
Também estamos procurando por alguém que tenha sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas. A experiência com SQL, NoSQL e bancos de dados de grafos (ex: PostgreSQL, Cosmos DB, Neo4j, Redis) é fundamental.
A ideia é que o profissional tenha vivência com conteinerização e orquestração usando Docker, Kubernetes e Helm. Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam, também seria muito útil.
O cargo exige domínio da linguagem Python e boas práticas de testes com PyTest ou ferramentas similares. Além disso, gostaríamos de encontrar alguém que conheça sistemas de informação geoespacial e tenha experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps).
Os requisitos adicionais incluem inglês nível C2, conhecimento em análise de grafos e links aplicados a fluxos de inteligência.
Responsabilidades:
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
* Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps;
* APLICAR DIRETRIZES DE SEGURANÇA COMO NIST, FedRAMP E ZERO TRUST PARA PROTEÇÃO E GOVERNANÇA DOS DADOS;
* Construir integrações via APIs GraphQL, REST ou gRPC com serviços internos e externos.
Benefícios:
* Benefício indireto (valor fixo para custeio parcial do plano de saúde ou somado ao vale alimentação);
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Sys Manager - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Auxílio Creche;
* Assistência Médica;
* Assistência Odontológica;
* Convênio para Pet;
* TotalPass;
* Day Off após 12 meses;
* Seguro de vida e outros.