O Engenheiro de Dados é responsável por desenvolver e implementar pipelines de dados eficientes, garantindo a qualidade e segurança dos dados. Trabalha em estreita colaboração com equipes de engenharia e análise para atender às necessidades de negócios, contribuindo para a infraestrutura de dados da empresa.
* Desenvolvimento, implementação e manutenção de pipelines de dados.
* Colaboração com as equipes de engenharia e análise para entender os requisitos de dados.
* Garantia da qualidade, integridade e segurança dos dados.
* Projeto e implementação de ETL/ELT nos pipelines.
* Otimização de pipelines para desempenho e escalabilidade.
* Design e implementação de modelos de dados para suportar necessidades de negócios.
* Normalização e denormalização de dados conforme necessário.
* Lidar com dados em tempo real e dados em lote.
* Monitoramento proativo da integridade dos pipelines de dados.Resolução de problemas e depuração de falhas nos pipelines.Manutenção e atualização contínua dos pipelines conforme necessário.
* Implementação de medidas de segurança para proteção de dados, principalmente dados sensíveis.
* Colaboração eficaz com as equipes de dados e produtos.
* Comunicação clara de requisitos técnicos e progresso do trabalho.
* Documentação das bases de dados construídas/disponibilizadas e dos pipelines.
* Apoio na definição de arquitetura utilizada nos bancos de dados e pipelines de dados
* Automação de processos de inserção/atualização de dados.
* Manter-se atualizado com as tendências e tecnologias emergentes no campo de dados.
* Contribuição para a cultura de aprendizado e desenvolvimento da equipe.
* Construção de analises e relatórios de dados.
* Construção de processos automatizados de alertas e reports de dados e eventuais problemas.