O objetivo desta posição é liderar e executar projetos de engenharia de dados em larga escala, otimizando pipelines ETL/ELT para ingestão e análise de dados OSINT. Projetar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades.
Criar soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming. Implementar observabilidade, qualidade e linhagem de dados com ferramentas como Great Expectations, Monte Carlo e Unity Catalog.
Desenvolver pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps). Aprender a trabalhar com sistemas de informação geoespacial e análise de grafos aplicada a fluxos de inteligência.
Se você tem experiência com Apache Spark, PySpark e Scala para processamento de dados em larga escala, conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions; além de domínio de arquiteturas Lakehouse, Delta Lake e modelos de dados em camadas (Medallion), então este é o seu posto ideal!
* Projetar e otimizar pipelines ETL/ELT de alta performance;
* Criar fluxos de enriquecimento com NLP e NER;
* Processar grandes volumes de dados;
* Gerenciar soluções de dados no Azure;
* Desenvolver soluções de streaming em tempo real;
* Implementar observabilidade e qualidade de dados;
* Desenvolver pipelines de machine learning;
* Aprender a trabalhar com sistemas de informação geoespacial;
Você precisará dominar SQL, NoSQL e bancos de dados de grafos, além de ter experiência com conteinerização e orquestração usando Docker, Kubernetes e Helm. Conhecimento em frameworks de processamento de fluxo, como Apache Flink, ksqlDB ou Apache Beam também é essencial.
Desejamos aproveitar sua habilidade de:
* Conhecer bibliotecas e APIs relacionadas a processamento de dados;
* Integrar sistemas externos através de APIs GraphQL, REST ou gRPC;
* Entender conceitos de segurança de dados, incluindo RBAC, ABAC e criptografia;
Nossos cuidados com você:
* Benefícios variáveis; Vale Alimentação ou Vale Refeição Ifood Empresas; Auxílio Creche; Assistência Médica; Assistência Odontológica; Convênio para Pet;
Por que esta empresa?
Somos uma equipe dinâmica e disposta a aprender. Valorizamos a flexibilidade e o desenvolvimento pessoal da equipe.
Quem somos?
Uma equipe diversificada, apaixonada por tecnologia e inovação.