Overview
Estamos em busca de um(a) Engenheiro(a) de Dados para compor o time responsável por estruturar a fundação de dados que alimenta nossa solução de precificação dinâmica e predição de ocupação com base em inteligência artificial.
Você será o elo crítico entre as fontes de dados das empresas de transporte e os modelos de IA, sendo responsável por construir pipelines de dados resilientes, escaláveis e auditáveis. Além disso, atuará na implementação de práticas modernas de governança, garantindo qualidade, segurança e disponibilidade dos dados para consumo analítico e preditivo.
Responsabilidades
Projetar, implementar e manter pipelines de ETL/ELT para ingestão, transformação e disponibilização de dados de diversas fontes (APIs, bancos de dados, arquivos históricos, etc.).
Construir e manter o data lake e/ou data warehouse, organizando os dados de forma eficiente e acessível para os cientistas de dados e desenvolvedores.
Preparar datasets de treinamento e validação para os modelos preditivos, com foco na qualidade, consistência e rastreabilidade dos dados.
Participar ativamente da implantação e manutenção de uma feature store, viabilizando o reuso e versionamento de features para machine learning.
Colaborar com cientistas de dados e engenheiros de machine learning para operacionalizar modelos em produção com dados atualizados em tempo real.
Garantir boas práticas de governança de dados, incluindo limpeza, anonimização, versionamento e atualizações incrementais.
Automatizar processos de ingestão e transformação com ferramentas modernas como Apache Airflow, Apache Spark ou equivalentes.
Trabalhar com armazenamento em nuvem (como AWS S3, Google Cloud Storage, BigQuery, Redshift) para garantir escalabilidade e performance dos fluxos de dados.
O que você precisa ter para embarcar com a gente
Sólida experiência com ETL/ELT, usando ferramentas como Apache Airflow, Spark, dbt ou similares.
Domínio em modelagem de dados, tanto relacional (SQL) quanto orientada a dados analíticos.
Experiência com armazenamento em nuvem e arquitetura de dados em ambientes como AWS (S3, Glue, Redshift), GCP (BigQuery, Cloud Storage) ou Azure.
Experiência em limpeza, normalização e versionamento de dados, além de estratégias de atualização incremental.
Experiência com pipelines de dados para projetos de machine learning, como preparação de features, join de múltiplas fontes, e atualização de dados em produção.
Prática com ferramentas de orquestração, agendamento e monitoramento de processos.
Experiência prévia com feature stores e sistemas de MLOps.
Conhecimento em programação com Python ou Scala, voltada a manipulação de dados.
Graduação completa em Engenharia (s): Computação, Mecânica, Dados, Ciência de Dados, Sistemas de informação e áreas afins.
Diferenciais
Noções de segurança e compliance de dados (ex: LGPD).
Noções de Modelagem dimensional;