Profissionais experientes em projetos de dados buscam destacar seus conhecimentos para criar soluções escaláveis e eficientes, desde a ingestão até a disponibilização das informações.
Conhecimentos Técnicos:
* AWS Glue – criação e manutenção de jobs, crawlers, catálogos de dados, e integração com outros serviços AWS.
* Apache Airflow – orquestração de workflows ETL/ELT, agendamento e monitoramento de pipelines.
* Python – desenvolvimento de scripts e automações para tratamento e transformação de dados.
* PySpark – processamento distribuído de grandes volumes de dados, otimização de jobs e tuning de performance.
Habilidades Complementares:
* Modelagem de Dados – entendimento de estruturas dimensionais, relacionais e não relacionais, normalização/desnormalização e boas práticas para ambientes analíticos.
* ETL/ELT – levantamento de requisitos, desenho e implementação de fluxos de extração, transformação e carga, com foco em qualidade e governança.