Desenvolvimento de Soluções de Dados
Nossa empresa está em busca de um profissional experiente para trabalhar como Engenheiro de Dados com foco na construção e otimização de pipelines de dados. Este candidato terá papel fundamental no desenho, desenvolvimento e manutenção de soluções de integração de dados confiáveis, escaláveis e seguras.
Responsabilidades Principais:
* O design, desenvolvimento e manutenção de pipelines ETL/ELT para a ingestão, transformação e entrega de dados estruturados e não estruturados devem ser feitos por esse profissional.
* A implementação de frameworks de ingestão de dados a partir de múltiplas fontes (bancos de dados, APIs, arquivos, streaming etc.) é uma das principais responsabilidades do engenheiro de dados.
* A garantia da qualidade, consistência e confiabilidade dos dados por meio de validação, monitoramento e testes automatizados também são atribuições importantes.
* Otimizar fluxos de processamento de dados visando custo e performance é outro aspecto crucial.
* Colaborar com Cientistas de Dados, Analistas e áreas de negócio para fornecer datasets limpos, confiáveis e bem documentados é uma parte importante do trabalho.
* Trabalhar com serviços nativos de nuvem (ex.: BigQuery, Dataproc, Dataflow, Databricks, Snowflake) para implementar arquiteturas escaláveis é necessário.
* A aplicação de boas práticas de CI/CD, versionamento e infraestrutura como código (IaC) em pipelines de dados também é fundamental.
* Assegurar conformidade com normas de segurança, governança e privacidade (ex.: PII, GDPR, LGPD) é crucial.