Desenvolvedor de Soluções em Dados
">
Nossa equipe está à procura de um profissional habilidoso para desempenhar o papel de desenvolvedor de soluções em dados. Com experiência na engenharia de dados, processamento de big data e soluções em nuvem, você será responsável por projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT.
Acompanhando a tendência de transformação digital, nossa empresa busca alguém que saiba lidar com os fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades. Além disso, é fundamental ter conhecimento em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions.
O ideal é possuir domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala e familiaridade com arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion). Sólido entendimento de frameworks ETL/ELT, data warehousing e estratégias de evolução de esquemas também é essencial.
No nosso time, você trabalhará em conjunto com especialistas em DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps. O compromisso com a segurança dos dados é fundamental, então a aplicação de diretrizes de segurança como NIST, FedRAMP e Zero Trust também é necessária.
Responsabilidades:
* Projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;
* Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog;
* Melhorar o desempenho de consultas e estratégias de particionamento em ambientes analíticos baseados em nuvem;
* Trabalhar em conjunto com times DevOps para CI/CD de pipelines com Terraform, GitHub Actions ou Azure DevOps;
* APLICAR DIRETRIZES DE SEGURANÇA COMO NIST, FEEDRAMP E ZERO TRUST PARA PROTEÇÃO E GOVERNANÇA DOS DADOS;
* Construir integrações via APIs GraphQL, REST ou gRPC com serviços internos e externos.
Requisitos Adicionais:
* Inglês nível C2;
* Conhecimento em sistemas de informação geoespacial;
* Experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps);
* Noções de análise de grafos e links aplicadas a fluxos de inteligência.
Nossos benefícios:
* Vale alimentação ou vale refeição Ifood Empresas;
* Benefício indireto (valor fixo para custeio parcial do plano de saúde ou somado ao vale alimentação);
* Desconto em cursos, universidades e instituições de idiomas;
* Academia Sys Manager - plataforma com cursos online, gratuitos, atualizados e com certificado;
* Auxílio creche;
* Assistência médica;
* Assistência odontológica;
* Convênio para pet;
* TotalPass;
* Dia off após 12 meses;
* Seguro de vida e outros.