Carreira em Engenharia de Dados
A engenharia de dados é uma área que envolve a coleta, processamento e armazenamento de grandes conjuntos de dados. No contexto da nossa empresa, a carreira de engenheiro de dados visa atuar na resolução de problemas complexos utilizando ferramentas de processamento de linguagem natural (NLP) e análise de dados.
Responsabilidades:
* Desenvolvimento de pipelines de ingestão de dados: O candidato deve ser capaz de projetar e implementar pipelines de ingestão de dados em grande escala, garantindo a qualidade e a precisão dos dados.
* Processamento de ETL/ELT: O engenheiro de dados deve desenvolver processos de ETL/ELT utilizando diferentes ferramentas, como Spark, Athena e SQL, para extrair, transformar e carregar os dados nos bancos de dados.
* Criação de APIs RESTful: O candidato deve criar e manter APIs RESTful para disponibilizar os dados aos usuários finais.
Habilidades Requisitadas:
* Databricks ou Azure Fabric: O candidato deve ter experiência com Databricks ou Azure Fabric, sendo um dos dois suficientes, ambos são diferenciais.
* Ingestão de dados e arquitetura de dados: O engenheiro de dados deve ter sólidos conhecimentos em ingestão de dados e arquitetura de dados.
* Desenvolvimento de ETL/ELT: O candidato deve ter habilidade em desenvolver ETL/ELT com Spark, Athena, SQL e NoSQL.
* Ferramentas de nuvem: O engenheiro de dados deve ter experiência em AWS, Azure ou GCP.
* Desenvolvimento em Python: O candidato deve ter habilidade em desenvolver scripts, bibliotecas e boas práticas em Python.
Vantagens:
* Experiência em orquestração: O candidato pode ter experiência com ferramentas de orquestração, como Airflow, Databricks Workflows e Azure Data Factory.
* Conhecimento em práticas de DataOps: O engenheiro de dados pode ter conhecimento em práticas de DataOps e observabilidade de dados.
Se você está procurando por uma carreira desafiadora e estimulante em engenharia de dados, este é o seu lugar. Apenas insira o conteúdo do perfil e compartilhe!
Palavra-chave: Dado