Descrição do Cargo:
O profissional responsável por projetar, desenvolver e manter soluções escaláveis de dados em equipe é um especialista em tecnologia da informação com expertise em Big Data.
Responsabilidades:
* Desenvolver arquiteturas de dados escaláveis e resilientes;
* Avaliar novas tecnologias e frameworks para modernizar a stack de dados;
* Construir e manter plataformas de dados para produtos analíticos e de inteligência artificial;
* Garantir a qualidade e integridade dos dados através de processos robustos de validação, auditoria e monitoramento;
* Trabalhar na orquestração de pipelines utilizando ferramentas como Apache Airflow;
* Implementar soluções serverless e arquiteturas distribuídas, otimizando custo e performance;
* Atuar na governança e segurança de dados, garantindo conformidade com regulamentações (LGPD, GDPR);
* Desenvolver e manter APIs e data products para integração entre sistemas internos e externos;
* Trabalhar em colaboração com Product Managers e Data Scientists para transformar dados em insights estratégicos;
Requisitos e Qualificações:
* Proficiência avançada em SQL e otimização de queries;
* Dominio em Python, Scala e/ou Java para manipulação e processamento de dados;
* Sólida experiência em Cloud Computing (AWS, Azure, GCP) e seus serviços de dados;
* Experiência com bancos de dados relacionais e NoSQL (PostgreSQL, Cassandra, DynamoDB);
* Conhecimento avançado em Infraestrutura como Código (Terraform, OpenTofu, CloudFormation);
* Experiência com ferramentas de orquestração de workflows (Airflow, Dagster, Prefect);
* Conhecimento avançado em monitoramento, logging e observabilidade (Prometheus, Grafana, AWS CloudWatch);
* Experiência na implementação de DataOps, CI/CD e automação de deploys;
* Dominio de segurança e compliance de dados (LGPD, GDPR, ISO 27001);
* Experiência na criação de produtos de dados e APIs escaláveis para consumo interno e externo;
* Experiência avançada com Data Governance e Catalogação de Dados (Data Catalog, Apache Atlas, Collibra);
* Vivência em arquitetura orientada a eventos e soluções de baixa latência;
Ferramentas Utilizadas:
* Python
* Scala
* Java
* AWS
* Azure
* GCP
* Terraform
* Airflow
* Prefect
* Prometheus
* Grafana