OverviewBuscamos um Analista de Dados experiente e proativo para projetar, construir e manter nossa infraestrutura de dados na nuvem AWS. O(A) profissional será fundamental para garantir que dados de alta qualidade e performance estejam disponíveis e acessíveis, permitindo que equipes de análise e ciência de dados gerem insights estratégicos para o negócio. Esta função exige profundo conhecimento técnico no ecossistema de dados da Amazon Web Services (AWS) e a habilidade de transformar grandes volumes de dados brutos em formatos otimizados para análise.Principais ResponsabilidadesDesenvolver e Manter Pipelines de Dados: Projetar, implementar e otimizar processos de ETL (Extração, Transformação e Carga) e ELT para coletar dados de diversas fontes (APIs, bancos de dados, streams, etc.).Gerenciar Infraestrutura na AWS: Estruturar e administrar nosso Data Lake no Amazon S3 e nosso Data Warehouse no Amazon Redshift.Processamento de Dados: Utilizar serviços como AWS Glue para orquestração de ETL, AWS Lambda para processamento orientado a eventos e Amazon EMR para processamento de big data com Spark.Modelagem de Dados: Criar e manter modelos de dados que sejam eficientes, escaláveis e que atendam às necessidades de relatórios e análises.Qualidade e Governança de Dados: Implementar rotinas para garantir a integridade, consistência e segurança dos dados, utilizando serviços como o AWS Lake Formation.Otimização e Performance: Monitorar o desempenho dos pipelines e custos dos serviços AWS, propondo e implementando melhorias contínuas.Colaboração: Trabalhar em estreita colaboração com analistas de dados, cientistas de dados e engenheiros de software para entender os requisitos e entregar soluções de dados eficazes.Formação Acadêmica: Graduação em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.Experiência Prévia: Experiência comprovada atuando como Engenheiro de Dados ou em posição similar.Linguagens de Programação: Domínio em Python para manipulação de dados.Bancos de Dados: Proficiência em SQL e experiência com bancos de dados relacionais (como PostgreSQL, MySQL) e NoSQL (como o DynamoDB).Conhecimento Mandatório em AWS: Experiência prática e sólida com os seguintes serviços:Orquestração de Workflows e Eventos: Step Functions e Event Bridge.ETL e Processamento: AWS Glue, AWS Lambda, Amazon EMR.Consulta, Análise e BI: Amazon Athena, QuickSight.Automação: Terraform.Conhecimentos Desejáveis (Diferenciais)Orquestração de Workflows: Experiência com Amazon MWAA (Managed Workflows for Apache Airflow).Infraestrutura como Código (IaC): Conhecimento em AWS CloudFormation ou Terraform.Streaming de Dados: Experiência com serviços de dados em tempo real, como Amazon Kinesis.Práticas de DevOps/DataOps: Vivência com esteiras de CI/CD para automação de deploy de pipelines de dados.
#J-18808-Ljbffr