Engenheiro de Dados Sênior.
Imprescindível experiência em Arquitetura e construção de Data Lake.
Arquitetura de Data Lake: Planeja e desenvolve a arquitetura de Data Lake, levando em consideração escalabilidade, segurança, governança e integração com outras plataformas de análise de dados.
Gerenciamento de dados:
Organiza e classifica dados brutos (raw data) em zonas de armazenamento: camada bruta (raw zone), camada de enriquecimento (processed zone) e camada de dados preparados para análise (curated zone).
Conhecimento em gerenciamento de metadados, utilizando ferramentas como AWS Glue ou Apache Atlas.
Pipeline de Dados: Criação e automação de pipelines de dados para ingestão, processamento e armazenamento. Capacidade de lidar com dados em tempo real ou batch.
Qualidade e Governança de Dados: Implementação de políticas de governança de dados, incluindo controle de acesso, versionamento de dados e auditoria, usando ferramentas como Apache Ranger ou AWS Lake Formation.
Segurança de dados: Conhecimento em como garantir a segurança e privacidade dos dados, incluindo criptografia, autenticação e autorização adequadas, e conformidade com regulamentações como LGPD ou GDPR.
Domínio de ferramentas e tecnologias:
Plataformas de Data Lake como AWS (S3, Lake Formation), Azure (Data Lake Storage), Google Cloud (BigLake), Apache Hadoop e Apache Spark.
ETL (Extract, Transform, Load) e ELT com ferramentas como Apache NiFi, Talend, Apache Airflow, Fivetran ou dbt.
Armazenamento distribuído: Experiência com HDFS, S3 e Azure Blob Storage.
SQL e NoSQL: Capacidade de trabalhar com bancos de dados relacionais (MySQL, PostgreSQL, etc.) e não-relacionais (MongoDB, Cassandra, etc.).
Linguagens de programação: Proeficiência em Python, Java, Scala, e até mesmo em R para manipulação de dados.
Contratação PJ.
Modelo Remoto
Inicio imediato