#Nosso jeito de fazer história
Entre para a história de construção do maior Hub de Dados e Analytics do Brasil.
Além de você contribuir diretamente neste objetivo, você estará se desenvolvendo constantemente, por meio de grandes desafios de negócio, junto a um time de alto impacto. Na Neoway, acreditamos em fazer as coisas de forma inovadora, colaborativa, responsável e com foco no cliente.
Sobre a Engenharia de Dados:
Somos a área responsável pela coleta, tratamento, organização e disponibilização dos dados nas soluções e API da Neoway, bem como manter a sustentação desses dados. Nossos times estão organizados de acordo com o contexto de negócio de cada pacote de dados que sustentamos. Estes times são compostos por uma coordenação técnica, responsável por fazer a ponte entre os times de dados e o time de negócio, e pessoas Engenheiras de Dados, responsáveis pelo desenvolvimento e configuração de todas as etapas do fluxo da operação e produção de dados.
Responsabilidades e atribuições:
Dentre as principais funções do papel estão:
* Desenvolvimento de web crawling para coleta de dados;
* Monitoramento dos serviços de produção;
* Evolução e manutenção de serviços de coleta, tratamento e agregação;
Requisitos e qualificações
Para desenvolver tudo isso contamos que você possua/ou esteja a fim de aprender os conhecimentos abaixo:
* Desenvolvimento web crawling;
* Linguagem de programação Python;
* MongoDB, Kafka, RabbitMQ, SQL;
* Parser de HTML, JSON, PDF, entre outros;
Seguimos práticas básicas de desenvolvimento:
* Testes unitários, integração, e em alguns casos, sistema.
* Projeto de infraestrutura como código.
* Usamos CI do gitlab, para automatizar a maior parte de rotinas (testes, release).
* Nos preocupamos com um código limpo e bem estruturado.
* Fazemos Code Review. Nenhuma mudança vai para a operação sem o time aprovar. Seja via thumbs up do Gitlab ou durante uma discussão da daily.
* Todo desenvolvimento de uma nova fonte é baseado em especificações que são escritas pela nossa pessoa Data Owner. Nela temos as definições de inputs e outputs, regras de negócio e resultados esperados. A especificação técnica fica sob responsabilidade do desenvolvedor que tem total abertura para decidir a melhor forma de desenvolvimento em conjunto com os demais colegas de time.
#NeoJourney l Cardápio de Benefícios:
Vale Alimentação/Refeição;