A NT: Somos uma consultoria global de desenvolvimento de software personalizado e contratação de projetos de TI sem restrições geográficas; operamos globalmente, navegando em desafios tecnológicos e empresariais com expertise. Nossa sede nos Estados Unidos está localizada em San Diego, Califórnia, e também temos centros de desenvolvimento estrategicamente localizados no Brasil, México, Peru e Uruguai. Nossa sede na América Latina está sediada em Porto Alegre, Brasil, com uma filial em São Paulo. Há mais de duas décadas, somos reconhecidos globalmente no mercado de software e inovação por entregar projetos com valor agregado, elaborados por equipes ágeis de profissionais qualificados. Confira nossa página nacional e internacional em: ntconsult.com.br e ntconsultcorp.com. O projeto: Estamos procurando excepcionais profissionais em Engenharia de Dados para esta oportunidade para trabalhar em um cliente na indústria de telecomunicações, com presença em 12 países da Europa e da América Latina. Estão há mais de 20 anos atuando no Brasil, são um hub digital que facilita o acesso a serviços em diferentes áreas, como entretenimento, esportes, segurança digital, finanças, saúde e educação. Atuará em um projeto estratégico de migração de SQL dedicado para postgres, sendo responsável por realizar uma análise profunda e detalhada das aplicações Spark (Jobs & Notebooks), sendo Jobs implementados na linguagem Scala e PySpark, além das Procedures, Functions, scripts SQL, Modelagem Dimensional da camada gold, Schedulers, Pipelines de Dados, Data Lake (Azure ADLS Gen2), Storage Accounts, EventHubs e PowerBI. Os requisitos mandatórios : Mínimo de 5 anos de experiência em Engenharia de Dados; Experiência em implementação e testes de pipeline de dados; Experiência em implementação de Jobs para processamento Batch & Streaming; Experiência em Python, Scala, Java e PySpark; Experiência em Arquitetura de Data Lake, Delta Lake e Lakehouse (Data Mesh, Medallion, Kappa, outros); Experiência em frameworks para processamento de dados distribuídos (Apache Beam, Apache Spark, outros); Experiência em Data Governance e Data Quality (Time Travel, Lineage, Anonimização, outros); Vivência em computação em nuvem (preferencialmente Microsoft Azure); Vivência em plataformas de integração de dados e Lakehouse (Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Teradata, Dremio, outros); Vivência em desenvolvimento utilizando práticas de CI/CD e DataOps; Conhecimento avançado de SQL e Modelagem de Dados Dimensional para Datawarehouse (ex. Star Schema, Snowflake, Kimbal); Experiência com otimização avançada de consultas SQL (Query Plan, Analyze, outros); Conhecimento em plataformas/motores de busca textual (ex. ElasticSearch, Lucene, Solr, outros); Conhecimento em plataformas de streaming de Dados (ex. Apache Kafka, Azure Event Hubs, outros); Conhecimento avançado em bancos de dados relacionais (preferencialmente Postgresql), incluindo Functions, Procedures e técnicas de modelagem de dados performáticas); Experiência em soluções de Visualização de Dados & Reporting (ex. PowerBI, Tableu, Qlik, Looker, outros); Experiência em técnicas de dimensionamento de ambientes de dados (ex. Cálculo de Storage, Memória e vCPU). A Stack tecnológica : Azure Synapse Analytics (Clusters Spark & Dedicated SQL); Azure ADLS Gen2; Azure DevOps; Azure Key Vault; Azure AKS; Azure PostgreSQL, Atlas MongoDB e CosmosDB; Azure Log Analytics; GitHub Copilot. Os diferenciais : Boas práticas de engenharia de software aplicadas para dados (ex. Clean Code); Vivência em Squad Ágeis (Scrum/ Kanban); Conhecimento avançado na utilização de IA para acelerar o desenvolvimento de código fonte (ex. GitHub Copilot, Claude, outros); Experiência em soluções de orquestração de dados (ex. Apache Airflow, Apache NiFi, GCP Composer, Azkaban, outros; Maturidade em avaliação de tecnologias de dados alinhadas com a expectativa das despesas operacionais dos clientes/ projetos (FinOps e uso de calculadoras dos provedores de Cloud); Conhecimento em bibliotecas e frameworks de LLM (scikit-learn, pycaret, Keras, Pytorch, Tensorflow, outros) e NLP (spacy, NLTK, gensim, outros). O perfil desejado : Capacidade de aprendizado rápido em ambientes complexos; Forte habilidade analítica e visão crítica para entender código fonte e processos de negócio; Boa comunicação para interação com stakeholders técnicos e de negócio; Mentalidade de inovação e uso de IA para acelerar resultados; Experiência com elaboração de documentações e digramas para a ntrega de projetos.