Requisitos:
· Experiência na configuração e construção de processos de CI/CD com Azure DevOps pipelines. (MANDATÓRIO)
· Experiencia em trabalhar em projetos ágeis
· Conhecimento no ecossistema Azure.
· Experiência básica com Azure DevOps, incluindo trabalho com Repos, branches, Pull requests, tarefas, acompanhamento de pipelines CI/CD e uso de GIT. (MANDATÓRIO)
· Conhecimento em linguagens Python.
· Domínio em SQL, incluindo DDL e DML.
· Experiência com Azure Data Factory. (MANDATÓRIO)
· Experiência com Azure Databricks, incluindo criação, inicialização e utilização de clusters, uso do Databricks Repos, execução de SQL e desenvolvimento em PySpark. (MANDATÓRIO)
· Utilização de Azure Storage Accounts e Data Lake Store Gen 2.
· Experiência em projetos de ingestão e transformação de dados.
Além disso, é desejável que o engenheiro de dados tenha:
· Experiência prévia com dados operacionais de chão de fábrica.
· Conhecimento em integração com sistemas MES, ERP ou SCADA.
· Inglês técnico para leitura de documentação.
· Conhecimento em tecnologias Kubernetes do Azure, como Azure Container Instance, Azure Kubernetes Services e Azure Container Apps.
· Experiência no desenvolvimento de APIs em Python usando Kubernetes e/ou Azure Functions.