Consideramos um candidato experiente em engenharia de software aplicada a dados e machine learning.
Necessitamos alguém com proficiência em Python e frameworks como PySpark, Pandas, Scikit-learn ou similares.
Além disso, é fundamental ter experiência com ferramentas e serviços AWS, como S3, Lambda, Step Functions, Glue, Athena, SageMaker ou ECS.
E necessárias habilidades em MLOps e CI/CD para pipelines de dados e modelos.
Podemos aproveitar sua capacidade de orquestrar workflows?
Conhecimento em métricas de avaliação de modelos (ex: MAE, RMSE, Precision, Recall) também é desejável.
e trabalhar com código limpo, modular e testável.
Aqui estão algumas responsabilidades principais:
Projetar e implementar pipelines de validação de dados e avaliação de modelos em ambiente cloud (AWS).
Integrar dados e métricas de avaliação em um fluxo automatizado e auditável.
Módularizar o pipeline para facilitar reuso, testes e manutenção.
Trabalhar em colaboração com times de Data Science, Engenharia de Dados e Produto.
Garantir boas práticas de versionamento, logging, monitoramento e testes automatizados.
Propor melhorias contínuas na arquitetura de dados e nos processos de validação.