Responsabilidades e atribuições- Gerir a estratégia de engenharia de dados da empresa;
- Arquitetar e implementar soluções de dados complexas;
- Acompanhar as tendências do mercado e identificar oportunidades de inovação;
- Desenvolvimento e Gestão de Ambientes de Dados e Capacidades;
- Desenvolvimento e Gestão da Distribuição de Dados (Barramentos, APIs, Sandbox, etc.);
- Gerir e garantir a eficiência da orquestração dos Pipelines de Dados,Formação:
Graduação em áreas como Engenharia de Dados, Ciência da Computação, Engenharia da Computação, e áreas correlatas.Importante conhecer:
- Processamento:
Spark, Hadoop, Kafka, Flink, etc.;
- Armazenamento:
Bancos relacionais, NoSQL, Data Lakes, Lake Houses, e Data Warehouses;
- Análise de dados:
Python, R, Tableau, Power BI e QuickSight, etc.;
- Machine learning:
TensorFlow, scikit-learn, Apache Spark MLlib, H2O, etc.- Cloud computing:
Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP), etc.;
- Outras tecnologias:
Microsoft Fabric, Docker, Kubernetes, Apache Airflow, Git, etc.