A Teddy está em busca de um Engenheiro de Dados apaixonado por transformar informações em insights impactantes. Se você tem experiência com pipelines de dados, garante a qualidade e a consistência, e adora trabalhar com tecnologias como Apache Airflow, Git e AWS, queremos você no nosso time Junte-se a nós para desenvolver soluções inovadoras em um ambiente colaborativo, usando suas habilidades em SQL, NoSQL, ETL e Python. Se está pronto para esse desafio e deseja impulsionar nossa estratégia de dados, estamos ansiosos para conhecê-lo
Responsabilidades:
· Ingestão de Dados no Data Lake: Desenvolver e gerenciar pipelines de dados que permitem a ingestão de grandes volumes de dados em tempo real ou em batch no Data Lake, garantindo a qualidade e a consistência dos dados armazenados.
· Conhecimento em Bancos de Dados: Forte entendimento de bancos de dados relacionais (SQL) e não relacionais (NoSQL), incluindo modelagem de dados, consultas complexas e otimização de performance.
· ETL (Extract, Transform, Load): Design e implementação de processos ETL para transformar dados brutos em informações utilizáveis, garantindo que os dados estejam limpos, formatados e prontos para análise.
· Ferramentas e Tecnologias:
o Apache Airflow: Automação de fluxos de trabalho e orquestração de processos de dados para garantir que as tarefas sejam executadas de forma eficiente e em sequência correta.
o Git: Controle de versão de código, garantindo que todas as alterações em scripts e pipelines de dados sejam registradas e que as colaborações em equipe sejam organizadas e seguras.
o AWS (Amazon Web Services): Utilização de serviços de cloud computing para armazenamento, processamento e análise de dados, incluindo S3, Redshift, Lambda, e outros serviços relevantes.
· Programação em Python: Uso avançado de Python para desenvolvimento de scripts de automação, manipulação de dados, integração de APIs, e criação de pipelines de dados complexos. Python é frequentemente utilizado em conjunto com bibliotecas específicas para manipulação de dados, como Pandas, PySpark, entre outras.
Habilidades:
· Sólidos conhecimentos em SQL e NoSQL.
· Experiência prática com ETL e Data Lakes.
· Proficiência em Python e bibliotecas relacionadas a dados.
· Familiaridade com ferramentas de orquestração e automação de fluxos de trabalho, especialmente Airflow.
· Capacidade de trabalhar com sistemas de controle de versão, como Git.
· Experiência com serviços de nuvem, particularmente AWS.