O cargo de Engenheiro(a) de Dados Sênior visa alinhar processos de dados e soluções em nuvem para que possamos enfrentar desafios complexos e alcançar resultados transformadores. O engenheiro deve projetar e otimizar pipelines ETL/ELT de alta performance para ingestão e análise de dados OSINT.
A expertise necessária inclui conhecimento avançado em serviços Azure, como Databricks, Synapse Analytics, Data Lake Storage (ADLS) e Azure Functions, além de domínio de Apache Spark, PySpark e Scala para processamento de dados em larga escala. Requisitos adicionais incluem inglês nível C2, conhecimento em sistemas de informação geoespacial e experiência com pipelines de machine learning utilizando MLflow ou Kubeflow (MLOps).
Responsabilidades
* Projetar e otimizar pipelines ETL/ELT de alta performance;
* Criar fluxos de enriquecimento com NLP, tradução automática, NER e resolução de entidades;
* Processar grandes volumes de dados com Apache Spark, Delta Lake e Databricks;
* Gerenciar soluções de dados no Azure, incluindo Data Factory, Synapse, Databricks e AKS;
* Desenvolver soluções de streaming em tempo real com Kafka, Event Hubs, Flink e Spark Streaming;