Este é um papel fundamental para um profissional de machine learning sênior que deseja contribuir com a arquitetura de dados em ambiente cloud.
Função
Projetar e implementar pipelines de validação de dados e avaliação de modelos em ambiente cloud (AWS).
Integrar dados e métricas de avaliação em um fluxo automatizado e auditável.
Modularizar o pipeline para facilitar reuso, testes e manutenção.
Responsabilidades
Trabalhar em colaboração com times de Data Science, Engenharia de Dados e Produto.
Garantir boas práticas de versionamento, logging, monitoramento e testes automatizados.
Propor melhorias contínuas na arquitetura de dados e nos processos de validação.
Conhecimentos necessários
Experiência sólida com engenharia de software aplicada a dados e machine learning.
Proficiência em Python e frameworks como PySpark, Pandas, Scikit-learn ou similares.
Experiência com ferramentas e serviços AWS, como S3, Lambda, Step Functions, Glue, Athena, SageMaker ou ECS.
Familiaridade com MLOps e CI/CD para pipelines de dados e modelos.
Experiência com orquestração de workflows.
Familiaridade com métricas de avaliação de modelos (ex: MAE, RMSE, Precision, Recall).
Capacidade de escrever código limpo, modular e testável.
Desejáveis
Experiência com validação de modelos de séries temporais.
Experiência com infraestrutura como código (Terraform, CloudFormation).
Participação em projetos de ML em produção com foco em confiabilidade e rastreabilidade.