Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez, confiabilidade e eficiência dos sistemas de coleta de dados da empre. A posição é hands‑on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping.
Responsabilidades
Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala.
Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup.
Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta.
Implementar e melhorar estratégias de rotação de proxies e uso de VPNs.
Desenvolver mecanismos para contornar bloqueios e sistemas anti‑bot.
Integrar solucionadores de CAPTCHA em pipelines de scraping.
Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ.
Otimizar armazenamento e consultas em PostgreSQL.
Desenvolver APIs e integrações utilizando Django.
Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e proteções WAF.
Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados.
Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código.
Requisitos
Forte experiência com Python.
Experiência sólida com web scraping em ambiente de produção.
Experiência com Scrapy, Requests, Selenium e BeautifulSoup.
Experiência com programação assíncrona utilizando asyncio.
Experiência com Celery, Redis e RabbitMQ.
Experiência com PostgreSQL.
Conhecimento avançado de HTTP, cookies, headers e autenticação.
Experiência com proxy rotation e uso de VPNs.
Experiência com solucionadores de CAPTCHA.
Experiência com bypass de sistemas anti‑bot.
Experiência com Git e workflows de versionamento.
Experiência trabalhando com times ágeis (Scrum ou Kanban).
Diferenciais
Experiência com infraestrutura de scraping em larga escala.
Experiência com automação de browsers e simulação de comportamento de usuário.
Experiência com Docker e containerização.
Experiência com sistemas distribuídos de coleta de dados.
Experiência com monitoramento e observabilidade de crawlers.
Experiência com CI/CD.
Experiência com GitHub Actions.
#J-18808-Ljbffr