Será responsável por garantir que os processos de processamento, transformação e transmissão de dados sejam executados corretamente, desde a extração na fonte até a entrega ao cliente gerador. Também atua na automação desses processos, garantindo rastreabilidade e segurança.
Responsabilidades:
Processamento de Dados e Automação:
* Realizar extração, transformação e organização de dados para ingestão em diferentes plataformas.
* Implementar automação de fluxos de trabalho utilizando ferramentas como Airflow, garantindo eficiência, rastreabilidade e segurança.
* Implementar verificações de qualidade de dados para garantir a qualidade dos fluxos.
Integração e Monitoramento de APIs:
* Realizar integrações com APIs externas, incluindo configuração de autenticação, consumo de endpoints e tratamento de respostas e erros.
* Monitorar o envio de arquivos XML, acompanhar retornos e garantir o armazenamento adequado de logs para auditoria.
Banco de Dados e Gestão de Dados:
* Desenvolver e otimizar consultas e procedimentos SQL em Snowflake e DBT, garantindo a correta extração e preparação dos dados.
Risco, Segurança e Compliance:
* Garantir que todos os processos estejam alinhados às boas práticas de segurança da informação, incluindo criptografia, certificação digital e controle de acesso.
* Atuar para manter a rastreabilidade dos processos, garantindo que os dados transmitidos estejam em conformidade com as normas regulatórias vigentes.
Requisitos:
* Ensino superior completo em Engenharia, Ciência de Dados, Sistemas de Informação, Estatística, Administração, Economia ou áreas correlatas.
* Conhecimento em SQL (consultas, procedures e modelagem de dados). DBT é um diferencial.
* Conhecimento em Python. Java e/ou Scala são um bônus.
* Conhecimento de APIs (REST ou não).
* Conhecimento em Airflow.
* Inglês intermediário.