Engenharia de Dados em AWS
O desafio inclui a construção de um modelo de dados escalável que aproveite ao máximo as soluções da Amazon. Além disso, trabalharemos na criação de pipelines de dados eficientes para captura e processamento de dados.
* Conhecimento em Programação:
* Python, SQL, Scala, Pyspark, Shell Script
Requisitos necessários:
Linguagens de Programação:
1. Experiência com Python como linguagem principal de programação.
2. Domínio de SQL e sua capacidade de criar consultas complexas.
3. Entendimento das vantagens dos frameworks Apache Spark e PySpark.
Arquitetura de Dados:
1. Dominar conceitos de ETL (Extract, Transform e Load) e ELT (Extract, Load e Transform).
2. Ser capaz de projetar uma arquitetura dimensional híbrida.
3. Conhecer modelos tradicionais, dimensionais e híbridos.
E habilidades em: Data Ingestion, Data Stream, Processamento Paralelo, Processamento Massivo, Data Analytics, Data Viz, Data Storytelling