Requisito importante para nossa equipe de desenvolvimento é um profissional com conhecimento em engenharia de dados que tenha experiência prática em BigQuery e ferramentas de orquestração de workflows de dados como Airflow.
Dados logísticos
* Ao trabalhar com dados de logística, você precisará projetar, construir e manter pipelines de dados robustos e escaláveis focados em dados relacionados à oferta de frete, regulamentações logísticas e outros aspectos cruciais para a eficiência da nossa cadeia de suprimentos.
* No entanto, ao proposito do trabalho dos pipelines você precisará utilizar BigQuery
* Foco nos dados de Logistica que pode utilizar o formato Parquet para otimização de armazenamento e leitura.
* Nossa equipe também utiliza Pipeline Airflow
Responsabilidades da posição:
* Projetar e implementar pipeline de dados utilizando Airflow para processamento de dados de oferta de frete e conformidade regulatória.
* Desenvolver consultas e transformações de dados em BigQuery explorando informações sobre a oferta de frete e mecanismos regulatórios.
* Desenvolver scripts e ferramentas em Python para extrair, transformar e carregar dados relevantes para análise da oferta de frete e conformidade regulatória.
* Criar e manter dashboards e visualizações informativas em Looker Studio permitindo o acompanhamento de métricas de frete, impacto de regulamentações e outras análises logísticas.
* Colaborar com as áreas de Logística, Compliance e outros times para entender as necessidades de dados e fornecer soluções que otimizem a oferta de frete e garantam a conformidade com as regulamentações.
* Garantir a qualidade, integridade e segurança dos dados logísticos.
Experiências Requeridas:
* Experiência prática com BigQuery para análise de grandes volumes de dados, idealmente com foco em dados logísticos.
* Experiência com ferramentas de orquestração de workflows de dados, como Airflow.
* Conhecimento em trabalhar com o formato de dados Parquet para otimização de armazenamento e leitura.
* Proficiência em programação em Python para manipulação e processamento de dados logísticos.
* Experiência na criação de visualizações e dashboards utilizando Looker Studio para apresentar insights logísticos.
* Familiaridade com conceitos de modelagem de dados, com aplicação em dados de logística (ex: dados de transporte, tabelas de frete, informações regulatórias).
Características deselegíveis:
* Conhecimento do domínio de logística, incluindo conceitos de oferta de frete e mecanismos regulatórios do setor de transporte.
* Experiência com automações utilizando técnicas de Inteligência Artificial para análise de dados logísticos, como previsão de demanda de frete ou identificação de padrões em dados regulatórios.
* Experiência com outras plataformas de nuvem (GCP, AWS).
* Conhecimento de bancos de dados NoSQL.
* Experiência com ferramentas de ETL/ELT.
* Noções de práticas de DevOps para pipelines de dados (CI/CD).
Perfis adequados
* Muito bom conhecimento em BigQuery, empresa, Python, Parquet, Looker Studio, Pipelines airflow, Gerenciamento de banco de dados, Banco de Dados SQL, Indice e modelo de dados.
],