Responsabilidades e atribuições
* Gerir a estratégia de engenharia de dados da empresa;
* Arquitetar e implementar soluções de dados complexas;
* Acompanhar as tendências do mercado e identificar oportunidades de inovação;
* Desenvolvimento e Gestão de Ambientes de Dados e Capacidades;
* Desenvolvimento e Gestão da Distribuição de Dados (Barramentos, APIs, Sandbox, etc.);
* Gerir e garantir a eficiência da orquestração dos Pipelines de Dados,
Formação:
Graduação em áreas como Engenharia de Dados, Ciência da Computação, Engenharia da Computação, e áreas correlatas.
Importante conhecer:
* Processamento: Spark, Hadoop, Kafka, Flink, etc.;
* Armazenamento: Bancos relacionais, NoSQL, Data Lakes, Lake Houses, e Data Warehouses;
* Análise de dados: Python, R, Tableau, Power BI e QuickSight, etc.;
* Machine learning: TensorFlow, scikit-learn, Apache Spark MLlib, H2O, etc.
* Cloud computing: Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP), etc.;
* Outras tecnologias: Microsoft Fabric, Docker, Kubernetes, Apache Airflow, Git, etc.