Pessoa Engenheira de Dados | Rio Grande do Sul
Esta oportunidade de Engenheiro(a) de Dados tem por responsabilidade construir e otimizar a nossa infraestrutura de dados, atuando como referência técnica e mentor(a), capacitando nossas equipes de Analistas, Especialistas e Cientistas de Dados a extrair o máximo valor dos nossos ativos de dados, assumindo a propriedade de domínios de dados e garantindo que nossas soluções sejam escaláveis, seguras e governadas.
Aqui na Pulse temos compromissos com a equidade de oportunidades para todas as pessoas. Valorizamos as diferenças e temos um ambiente onde todos e todas são mais que bem-vindos, por isso buscamos diversidade em identidade de gênero, idade, cor e etnia, orientação afetivo-sexual, origem, pessoas com deficiência e entre outras diversidades, pois entendemos que todas as pessoas devem sonhar, crescer e realizar.
Para te ajudar a entender este desafio, aqui estão algumas responsabilidades:
* Construção de Pipelines de Dados: Desenvolver, otimizar e manter pipelines de dados (ETL/ELT) robustos, eficientes e escaláveis, utilizando o ecossistema Azure Databricks, incluindo Databricks Jobs e Delta Live Tables.
* Otimização e Performance: Otimizar a performance de queries complexas e processos de ingestão e transformação, garantindo o processamento eficiente de grandes volumes de dados.
* Liderança Técnica e Mentoria: Atuar como referência técnica para o time de dados, promovendo as melhores práticas de engenharia, governança e qualidade de dados, mentorando o time.
* Monitoramento e Qualidade: Implementar e manter rotinas de monitoramento que garantam a saúde, a consistência e a qualidade dos nossos pipelines e bases de dados.
* Arquitetura e Desenvolvimento em Data Mesh: Liderar a concepção e ser o guardião técnico de domínios de dados específicos, garantindo a qualidade, disponibilidade, segurança e documentação dos produtos de dados.
* Governança de Dados: Implementar e disseminar estratégias de governança de dados dentro do time, incluindo conhecimento de todos os domínios de dados, garantindo a conformidade e a segurança das informações acessadas.
* Suporte Estratégico: Colaborar ativamente com stakeholders, Analistas e Cientistas de Dados para entender os requisitos de negócio e traduzi-los em soluções de dados eficazes, disponibilizando datasets prontos para consumo.
* Disseminação da Cultura Data-Driven: Agir como evangelista de dados, auxiliando as áreas de negócio a compreender e utilizar os dados disponíveis para tomar decisões mais inteligentes.
Para esta oportunidade, é necessário que você tenha:
* Superior completo em Engenharia da Computação, Ciência da Computação, Sistemas de Informação ou áreas correlatas.
* Experiência sólida e comprovada em engenharia de dados, atuando em ambientes de Big Data.
* Profundo conhecimento e experiência prática com a plataforma Databricks no Azure, dominando Databricks Jobs, Delta Live Tables e integração com Azure Data Lake Storage.
* Domínio avançado de Python e SQL para manipulação e processamento de dados em larga escala.
* Experiência avançada com Apache Spark / PySpark, incluindo otimização de jobs e performance.
* Conhecimentos sólidos em modelagem de dados (Dimensional, Data Vault) e arquitetura de dados.
* Compreensão profunda e experiência prática com arquiteturas Data Mesh.
* Experiência com práticas e ferramentas de governança de dados, qualidade de dados e segurança.
* Conhecimento em ferramentas de versionamento de código, como Git.
* Excelentes habilidades de comunicação, colaboração e mentoria.
É um diferencial se você possuir:
* Conhecimento em bancos de dados NoSQL, especialmente MongoDB.
* Familiaridade com metodologias ágeis (Scrum, Kanban).
#J-18808-Ljbffr