* Buscamos um profissional experiente para assumir o papel de engenheiro de dados. O candidato deve ter conhecimento em gestão de estruturas de dados, definição de modelos e padrões lógicos de dados como única fonte de informação (data lake com governança de dados).
A experiência em arquitetura de dados, desenvolvimento em Python, coleta, transformação e carga de dados (ferramentas de ETL) e modelagem de banco de dados (SQL, Hadoop, MySQL, Redshift) é essencial.
O conhecimento em bancos NoSQL (MongoDB, DynamoDB) e integração de dados com outros sistemas também é importante.
Além disso, a plataforma AWS é fundamental, com experiência em workloads de missão crítica, containers (Docker, ECS, Kubernetes, EKS Openshift) e DevOps (Gitlab; Gitlab CI, Puppet).
Cloudformation (Code Build, CodePipeline) também é uma habilidade necessária.
Os softwares necessários incluem API Gateway, Kafka, AWS Lake Formation, AWS Banco de Dados (Redshift, MySQL, Dynam DB,...), AWS Athena, AWS GLUE (Crawlers, Jobs, workflow), AWS Quick Sigth e AWS EMR.
Essa posição requer que você tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento.
Também é necessário transformar ideias em soluções criativas e buscar qualidade em toda sua rotina.
A resolução de problemas é crucial nessa função.
E, finalmente, você precisa ser capaz de trabalhar de forma independente e gerenciar seu tempo.
Requisitos
* Gestão de estruturas de dados
* Definição de modelos e padrões lógicos de dados
* Arquitetura de dados
* Desenvolvimento em Python
* Coleta, transformação e carga de dados (ETL)
* Modelagem de banco de dados (SQL, Hadoop, MySQL, Redshift)
* Bancos NoSQL (MongoDB, DynamoDB)
* Integração de dados com outros sistemas
* Plataforma AWS
* Workloads de missão crítica
* Containers (Docker, ECS, Kubernetes, EKS Openshift)
* DevOps (Gitlab; Gitlab CI, Puppet)
* Cloudformation (Code Build, CodePipeline)
Vantagens
* Crescimento profissional
* Trabalho autônomo
* Gerenciamento de tempo
Sofware requisitado: API Gateway. Kafka. AWS Lake Formation. AWS Banco de Dados (Redshift, MySQL, Dynam DB,..). AWS Athena. AWS GLUE ( Crawlers, Jobs, workflow). AWS Quick Sigth. AWS EMR. AWS Lambda