Perfil do Engenheiro de Dados
Estamos procurando por um profissional que possa ajudar na construção e manutenção de sistemas escaláveis para armazenamento e processamento de dados.
Responsabilidades:
O Engenheiro de Dados será responsável por desenvolver pipelines de dados em Python, utilizando tecnologias como DeltaLake, Spark e Superset. Além disso, ele precisará otimizar consultas, partições e índices de armazenamento, monitorar saúde e custos dos pipelines e documentar a arquitetura e fluxos de dados.
Habilidades Requeridas:
* Conhecimento avançado de SQL e modelagem de dados;
* Desenvolvimento de pipelines em Python e Airflow;
* Versionamento com GitHub e CI/CD;
* Comunicação clara com públicos técnicos e de negócio.
Pretende-se destacar o seguinte:
* Desenvolvimento de aplicações escaláveis em Python;
* Modelagem de dados e cálculo de desempenho;
* Algoritmos avançados para resolução de problemas complexos.