Buscamos profissionais de engenharia de dados para trabalhar em projetos avançados que envolvam construção de plataformas de feature store e desenvolvimento de pipelines escaláveis.
A plataforma de feature store é uma solução interna que visa acelerar o desenvolvimento de modelos de machine learning e inteligência artificial. O foco será no desenvolvimento de soluções robustas, com forte colaboração com os times de Data Science e MLOps para:
* Desenvolver pipelines performáticos;
* Projetar soluções modulares e reutilizáveis;
* Criar e manter frameworks internos para automação de processos;
* Implementar mecanismos de validação e monitoramento de dados;
Requisitos e qualificações:
* Experiência sólida com Spark (PySpark) e processamento distribuído;
* Dominio de AWS (S3, EMR, Glue, Lambda, Step Functions, Redshift);
* Prática com Terraform e conceitos de infraestrutura como código;
* Conhecimento em CI/CD com uso de Git e Jenkins;
* Vivência com frameworks de qualidade de dados ou validações personalizadas;
* Conhecimento em engenharia de software (boas práticas, testes, modularização).
Diferenciais:
* Experiência com automação de pipelines de dados e projetos de MLOps/Feature Store;
* Experiência com projetos de inteligência artificial genérica.