Desenvolvedor de Arquitetura de Dados
A arquitetura de dados em nuvem avalia a estrutura atual identificando lacunas e propõe mudanças com base em melhores práticas.
Responsabilidades:
* Mapear a arquitetura do data lake e serviços relacionados: Glue, EMR, S3, Lambda, MWAA, Secrets Manager, IAM
* Analisar o uso do Snowflake e integrações com Power BI e Strategy Cloud
* Identificar gargalos, riscos, problemas de desempenho e falhas de governança
* Levantar quantidade de usuários, volumes, SLAs e padrões de uso
* Propor soluções recomendadas para ingestão, ETL/ELT, data lake, armazém de dados e consumo
* Definir padrões de segurança, acesso, observabilidade e otimização de custos
* Desenvolver relatório de lacunas + blueprint da arquitetura ideal
Tecnologias utilizadas:
* AWS: Glue, EMR, S3, Lambda, MWAA, Secrets Manager, IAM
* Snowflake (design de armazém de dados, ingestão, otimização)
* Power BI
* Strategy Cloud
* Python, SQL, PySpark
* Git e CI/CD
Competências Desejadas:
* Arquitetura de data lake (raw/bronze/silver/gold)
* Otimização de desempenho
* Comunicação eficaz e documentação detalhada
Requisitos importantes:
* Familiaridade com AWS
* Conhecimento em Python, SQL e PySpark
* Experiência em design de arquitetura de dados