O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade. Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.
Responsabilidades e atribuições
Projetar e desenvolver pipelines de ingestão e transformação de dados utilizando Python, dbt e AWS (Step Functions, ECS Fargate, S3, RDS PostgreSQL);
Implementar parsers para extração automatizada de dados de relatórios de inspeção (Excel, PDF);
Desenvolver e manter modelos dbt seguindo padrões de nomenclatura e testes obrigatórios;
Colaborar na definição e evolução da arquitetura de dados, incluindo modelagem dimensional e design de tabelas fato/dimensão;
Implementar soluções de data quality e validação de dados com Pydantic;
Participar de decisões técnicas sobre extração de dados de PDFs (AWS Textract vs soluções open source como Camelot, PaddleOCR);
Documentar padrões técnicos, guidelines e boas práticas para o time de dados.
Requisitos e qualificações
3+ anos de experiência em engenharia de dados, com histórico de entrega de projetos de ETL/ELT;
Domínio de Python para processamento de dados (Pandas, SQLAlchemy);
Experiência com dbt (data build tool) ou forte desejo de aprender;
Conhecimento de arquiteturas de Data Lake/Data Warehouse e padrões como medallion;
Experiência com SQL e modelagem de dados relacional (PostgreSQL);
Familiaridade com AWS (S3, RDS).
Requisitos desejáveis
Experiência com AWS Step Functions, ECS Fargate ou arquiteturas serverless;
Conhecimento em extração de dados de PDFs (OCR, Textract, Camelot, Tesseract);
Familiaridade com FastAPI ou desenvolvimento de APIs;
Experiência com Infrastructure as Code (Terraform, CloudFormation).
A EVCOMX desenvolve tecnologias que inserem a indústria e o mundo dos negócios na era digital. Nos posicionamos como agentes de inovação desenvolvendo soluções a fim de resolver problemas nas áreas de produção, logística e vendas. Para isto, utilizamos técnicas associadas aos conceitos de Indústria 4.0, Pesquisa Operacional, Big Data e Machine Learning. Nossas soluções são personalizadas e de alto valor agregado, que envolve uma gestão embasada em processos ágeis e focada em resultados.
#J-18808-Ljbffr