Os profissionais que ocupam o cargo de Engenheiro de Dados desempenham um papel fundamental no desenvolvimento e manutenção de sistemas de dados em ambientes on-premise. Eles trabalham com uma gama diversificada de tecnologias, incluindo Python, Airflow, DBT, Nifi e Git.
O Engenheiro de Dados deve possuir conhecimento avançado da linguagem Python e ser capaz de integrá-la com outras ferramentas. Além disso, é importante ter experiência com bibliotecas como pandas.
A criação e manutenção de DAGs em Airflow são responsabilidade do profissional. Além disso, é necessário realizar a integração com dbt-core.
Outro aspecto importante é a capacidade de criar e manter modelos em DBT. Também é necessária a migração de códigos SQL para DBT.
Com relação à Nifi, o profissional deve ser capaz de construir e manter fluxos de dados.
No âmbito da gestão de código, é importante estruturar deploys em camadas, alinhado com a área de Infraestrutura.
Além disso, é necessário ter conhecimento intermediário em SQL Server e alcançar nível mínimo B2 em Inglês.
Por fim, conhecer as operações da Arquitetura Medallion também é essencial.