Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez, confiabilidade e eficiência dos sistemas de coleta de dados da empre A posição é hands-on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping. Responsabilidades • Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala. • Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup. • Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta. • Implementar e melhorar estratégias de rotação de proxies e uso de VPNs. • Desenvolver mecanismos para contornar bloqueios e sistemas anti-bot. • Integrar solucionadores de CAPTCHA em pipelines de scraping. • Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ. • Otimizar armazenamento e consultas em PostgreSQL. • Desenvolver APIs e integrações utilizando Django. • Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e proteções WAF. • Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados. • Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código. Requisitos • Forte experiência com Python. • Experiência sólida com web scraping em ambiente de produção. • Experiência com Scrapy, Requests, Selenium e BeautifulSoup. • Experiência com programação assíncrona utilizando asyncio. • Experiência com Celery, Redis e RabbitMQ. • Experiência com PostgreSQL. • Conhecimento avançado de HTTP, cookies, headers e autenticação. • Experiência com proxy rotation e uso de VPNs. • Experiência com solucionadores de CAPTCHA. • Experiência com bypass de sistemas anti-bot. • Experiência com Git e workflows de versionamento. • Experiência trabalhando com times ágeis (Scrum ou Kanban). Diferenciais • Experiência com infraestrutura de scraping em larga escala. • Experiência com automação de browsers e simulação de comportamento de usuário. • Experiência com Docker e containerização. • Experiência com sistemas distribuídos de coleta de dados. • Experiência com monitoramento e observabilidade de crawlers. • Experiência com CI/CD. • Experiência com GitHub Actions.