Desenvolvimento de Pipelines de Dados
* Seu papel será desenvolver e manter pipelines de dados robustos e escaláveis em uma plataforma avançada.
* É necessário ter conhecimento em ingestão e orquestração de dados utilizando ferramentas como Azure Data Factory, Databricks e outras do ecossistema Azure.
* Além disso, é fundamental integrar dados de diferentes fontes garantindo qualidade, consistência e performance dos processos.
Soluções de Ingestão e Orquestração
Projetar e implementar soluções de ingestão e orquestração utilizando Azure Data Factory, Databricks e outras ferramentas do ecossistema Azure.
* Responsável por administrar e versionar código por meio do GitHub e CI/CD pipelines (GitHub Actions), aplicando automação e boas práticas de deploy.
* Além disso, gerenciar componentes da infraestrutura Azure, como Blob Storage, Key Vault, Azure SQL, Logic Apps e Azure Functions.
* Também monitorar performance, custos e qualidade dos pipelines, aplicando ajustes e melhorias contínuas nos processos.