Um Engenheiro de Dados perfeito trabalhará em projetos de alta complexidade e grande volume, responsável pelo desenho e desenvolvimento de pipelines de dados escaláveis, seguros e com qualidade.
O(a) profissional ideal terá sólida experiência em ingestão e transformação de dados, utilizando ferramentas como Spark, Athena, SQL e NoSQL. Além disso, conhecimento em ETL/ELT, APIs RESTful (ex.: Flask) e integração com equipes de ciência de dados e engenharia de software é essencial.
Aqui estão as habilidades necessárias:
* Experiência com Databricks ou Azure Fabric
* Sólidos conhecimentos em ingestão de dados e arquitetura de dados
* Desenvolvimento de ETL/ELT com Spark, Athena, SQL e NoSQL
* Conhecimento em AWS, Azure ou GCP
* Desenvolvimento em Python (scripts, bibliotecas e boas práticas)
* Fluxos CI/CD (GitHub Actions, Azure DevOps, GitLab CI ou similares)
* Desenvolvimento de API RESTful com frameworks como Flask ou FastAPI
Aqui estão os diferenciais:
* Experiência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory)
* Conhecimento em práticas de DataOps e observabilidade de dados
* Experiência com ambientes de Big Data em múltiplas nuvens