Dados de Entrada
É essencial desenvolver pipelines escaláveis e de alta performance para construir modelos de machine learning e inteligência artificial. Precisamos de um profissional experiente em engenharia de dados para atuar na nossa plataforma de Feature Store, que acelera o desenvolvimento.
O que você precisa fazer
* Desenvolver frameworks reutilizáveis;
* Mecanismos de qualidade de dados com colaboração estrita com os times de Data Science e MLOps;
Etapas necessárias:
Pipeline Escalável
A construção de uma pipeline escalável é fundamental para garantir a entrega contínua e confiável dos dados.
Certifique-se de trabalhar com ferramentas de processamento distribuído como Spark (PySpark) e AWS (S3, EMR, Glue, Lambda, Step Functions, Redshift).
Bem-Estar do Dado
Noções sólidas em CI/CD são importantes para gerenciar e integrar todo o fluxo de trabalho.
Ferramentas como Git e Jenkins devem ser usadas para implementar práticas de integração contínua e entrega contínua.
Sobre a Plataforma
Em nossa equipe, você precisará colaborar com os times de Data Science e MLOps para implementar requisitos de qualidade de dados nos nossos projetos.
Nossa plataforma de Feature Store permite que você acumule e compartilhe recursos utilizados por todas as equipes da empresa.