Descrição do Cargo
O engenheiro de dados trabalhará com a arquitetura de dados, desenvolvendo pipelines escaláveis e modelando estruturas de dados no Data Lake/Lakehouse.
Sua responsabilidade incluirá garantir a integridade, conformidade e resiliência dos dados, além de implementar ferramentas de monitoramento contínuo para garantir a disponibilidade e desempenho do Data Lake.
Responsabilidades:
* Pipelines Escaláveis:
o Criar e manter processos de ingestão de dados altamente eficientes (Batch, Streaming, CDC)
* Modelagem e Otimização:
o Projetar, implementar e otimizar estruturas de dados no Data Lake/Lakehouse
*
o Desenvolver e manter processos de tratamento, aplicando frameworks avançados de validação
*
o Implementar ferramentas e práticas de monitoramento contínuo
Requisitos e Conhecimentos
1.
* Fundamentos de bases de dados
* Arquitetura de dados
* Pipelines de dados
* Data Engineering
2.
* Python ou R
* SQL
* NoSQL
* Linguagens de programação