DESCRIÇÃO SUMÁRIA:Responsável por projetar, implementar e otimizar pipelines de dados para coleta, ingestão, transformação e armazenamento de grandes volumes de dados, garantindo que as soluções sejam seguras, escaláveis e orientadas para a geração de insights estratégicos. Atua na construção de uma infraestrutura robusta para suportar análises complexas e decisões baseadas em dados. DESCRIÇÃO DETALHADA:
Integração e Coleta de Dados: Agrega dados estruturados, semiestruturados e não estruturados de diversas fontes (bancos de dados, APIs, arquivos);Ingestão de Dados em Tempo Real e Lote: Implementa pipelines para ingestão em tempo real (streaming) e em lote (batch), assegurando transferência eficiente e segura para o Data Lake;Processamento e Transformação de Dados: Constrói pipelines para transformar dados brutos com processos de padronização, deduplicação, filtragem e enriquecimento;Orquestração e Automação de Pipelines: Define e gerencia a orquestração dos pipelines para garantir execuções automáticas dentro dos cronogramas;Monitoramento e Alertas: Cria e monitora alertas e logs para continuidade dos processos, com resposta rápida a falhas;Otimização de Performance: Ajusta pipelines para reduzir custos e melhorar a eficiência operacional;Documentação: Documenta processos e soluções, facilitando o entendimento e manutenção contínua das soluções. ESPECIFICAÇÃO DO CARGO: INSTRUÇÃO:Superior Completo nas áreas de Tecnologia da Informação, tais como, Sistemas de Informação, Ciências da Computação, Engenharia da Computação. EXPERIÊNCIA: Entre 5 a 8 anos de experiência em Engenharia de Dados ou funções semelhantes;Proeficiência em SQL, e em pelo menos uma linguagem de programação, como Python, Scala ou Java;Experiência em ETL/ELT (inclusive ferramentas, como Apache NiFi, Powercenter, entre outros) e com orquestração de workflows (como Apache Airflow);Conhecimento de ambientes de Cloud Computing (AWS, Azure, GCP), com foco em soluções de armazenamento e processamento de dados;Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines de dados;Habilidade em monitoramento e troubleshooting de processos em ambientes de produção;Conhecimento de práticas de CI/CD e DevOPS;Pacote Office. COMPETÊNCIAS PROFISSIONAIS INSTITUCIONAIS EXIGIDAS:Proatividade: Antecipar-se para alcançar resultados;Flexibilidade: Adaptar-se rapidamente a novas tecnologias e processos;Trabalho em Equipe: Colaborar eficazmente com equipes multidisciplinares;Comprometimento: Assumir responsabilidade e compromisso com as atividades. COMPETÊNCIAS ESPECÍFICAS EXIGIDAS – COMPORTAMENTAISPensamento Analítico: Analisar problemas complexos e identificar soluções estratégicas;Interesse: Buscar constantemente o aprimoramento e o aprendizado contínuo. COMPETÊNCIAS ESPECÍFICAS EXIGIDAS –TÉCNICASOrganização e Planejamento - Planejar e priorizar ações para garantir a eficiência na execução das tarefas.
RESPONSABILIDADE POR RESULTADOExecuta e mantém os pipelines de dados, com qualidade e eficiência, garantindo o cumprimento dos padrões e objetivos estabelecidos pela organização, realizando a manutenção de processos, mantendo os padrões de resultados.
AUTONOMIAAtua com um nível elevado de autonomia para otimizar e ajustar processos, recebendo supervisão e feedback´s periodicos da liderança.