Uma empresa revolucionária procura por uma pessoa engenheira de dados para atuar em um papel crucial na construção e evolução da plataforma de Feature Store.
O foco será no desenvolvimento de pipelines performáticos, frameworks reutilizáveis e mecanismos de qualidade de dados, com forte colaboração com os times de Data Science e MLOps para:
* Desenvolver pipelines escaláveis e de alta performance;
* Projetar soluções com foco em modularização, versionamento e reuso;
* Criar e manter frameworks internos para automação de processos;
* Implementar mecanismos de validação e monitoramento de dados;
Requisitos e qualificações:
* Experiência sólida com Spark (PySpark) e processamento distribuído;
* Domínio de AWS (S3, EMR, Glue, Lambda, Step Functions, Redshift);
* Prática com Terraform e conceitos de infraestrutura como código;
* Conhecimento em CI/CD com uso de Git e Jenkins;
* Vivência com frameworks de Data Quality ou validações customizadas;
* Conhecimento em engenharia de software (boas práticas, testes, modularização).