O papel de um Engenheiro de Dados é crucial para o sucesso de qualquer empresa. Neste contexto, estamos procurando alguém que possa ajudar a construir soluções inovadoras e otimizar nossas operações logísticas.
Responsabilidades da posição:
* Projetar, construir e manter pipelines de dados robustos e escaláveis focados em dados de logística, utilizando Airflow.
* Desenvolver e otimizar consultas e transformações de dados em BigQuery, explorando informações sobre a oferta de frete e mecanismos regulatórios.
* Trabalhar com diversos formatos de dados logísticos, incluindo a otimização para o formato Parquet.
* Desenvolver scripts e ferramentas em Python para extrair, transformar e carregar dados relevantes para a análise da oferta de frete e conformidade regulatória.
* Criar e manter dashboards e visualizações informativas em Looker Studio que permitam o acompanhamento de métricas de frete, impacto de regulamentações e outras análises logísticas.
* Colaborar com as áreas de Logística, Compliance e outros times para entender as necessidades de dados e fornecer soluções que otimizem a oferta de frete e garantam a conformidade com as regulamentações.
* Garantir a qualidade, integridade e segurança dos dados logísticos.
* Participar da definição e implementação de melhores práticas de engenharia de dados no contexto da logística.
Para ter sucesso nesta posição, você precisará de:
1. Experiência prática com BigQuery para análise de grandes volumes de dados, idealmente com foco em dados logísticos.
2. Experiência com ferramentas de orquestração de workflows de dados, como Airflow.
3. Conhecimento em trabalhar com o formato de dados Parquet para otimização de armazenamento e leitura.
4. Proficiência em programação em Python para manipulação e processamento de dados logísticos.
5. Experiência na criação de visualizações e dashboards utilizando Looker Studio para apresentar insights logísticos.
6. Familiaridade com conceitos de modelagem de dados, com aplicação em dados de logística (ex: dados de transporte, tabelas de frete, informações regulatórias).
7. Experiência com controle de versão (Git).],