Desenvolvedor de Software Sênior – Web Crawling / Scraping
Modelo de atuação: Remoto
Carga horária: Tempo integral
Duração do projeto: Aproximadamente 4 meses
Forma de contratação: PJ ou Cooperado
Nível: Sênior
Sobre a Oportunidade
Estamos em busca de um(a) Desenvolvedor(a) de Software Sênior com forte experiência em Web Crawling, Scraping e bypass de proteções anti-bot, para atuar em um projeto de alta complexidade com duração estimada de 4 meses.
O profissional será responsável por desenvolver soluções robustas e escaláveis para coleta de dados em ambientes altamente protegidos, com foco em performance, resiliência e capacidade de adaptação a mecanismos anti-bot em constante evolução.
Responsabilidades
* Desenvolver e evoluir crawlers escaláveis para coleta de dados em larga escala
* Projetar soluções com controle de filas, retry e rate limiting
* Realizar parsing de conteúdos estruturados e dinâmicos (HTML, JSON, XML)
* Atuar em crawling de aplicações modernas (SPAs e renderização client-side)
* Implementar técnicas de bypass de sistemas anti-bot
* Realizar engenharia reversa de APIs privadas e fluxos protegidos
* Garantir estabilidade, performance e resiliência das aplicações
Requisitos Obrigatórios:
Linguagens e Runtimes
* Java
* Node.js
Web Crawling & Scraping
* Arquitetura de crawlers escaláveis (filas, retry, rate limiting)
* Parsing de HTML, JSON e XML dinâmico
* Experiência com crawling em SPAs e páginas com renderização client-side
Desbloqueio e Bypass de Proteções
* Experiência com sistemas anti-bot (Cloudflare, Akamai, DataDome, PerimeterX)
* Técnicas de evasão de fingerprint (TLS fingerprint, headers HTTP, rotação de user-agent)
* Gerenciamento de proxies (residenciais rotativos)
* Manipulação de cookies e sessões
Captcha Solving
* Integração com serviços como 2Captcha, Anti-Captcha ou CapSolver
* Experiência com reCAPTCHA v2/v3, hCaptcha e Turnstile
Segurança Web
* Conhecimento de OWASP
* Análise de tráfego com Burp Suite e DevTools
* Engenharia reversa de APIs privadas (tokens dinâmicos, headers e fluxos)
* Conhecimento em autenticação (OAuth, JWT e cookies de sessão)
Diferenciais
* Experiência com headless browsers em ambiente containerizado (Docker)
* Conhecimento em filas de mensagens (Kafka, RabbitMQ ou similares)
* Experiência com mobile scraping (APIs Android/iOS)
* Noções de visão computacional aplicada a captcha
Perfil Comportamental
* Forte raciocínio analítico para engenharia reversa de fluxos complexos
* Autonomia para resolução de problemas com pouca documentação
* Perfil investigativo e orientado a desafios técnicos
* Capacidade de adaptação rápida a mudanças tecnológicas