Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
Sobre a vaga
Buscamos um(a) QA Engineer com automação para atuar na garantia de qualidade de soluções inovadoras baseadas em IA generativa (LLMs, agentes, RAG) desenvolvidas com Python. Você fará parte de um time multidisciplinar responsável por sistemas inteligentes para atendimento e integração com múltiplos canais digitais.
Responsabilidades
Definir, implementar e executar estratégias de testes para pipelines de agentes IA generativa, chains e integrações (Python/LangChain).
Criar e manter datasets de prompts, casos de teste e expected outputs para validação automatizada de respostas de LLMs.
Desenvolver e automatizar testes unitários, funcionais, de regressão e adversariais para agentes e aplicações baseadas em LLM.
Utilizar ferramentas como LangSmith, TruLens, Promptfoo para observabilidade, rastreamento, análise e avaliação automática/humana de resultados.
Colaborar com time de desenvolvimento para identificar e corrigir bugs, analisar falhas e melhorar continuamente a robustez dos agentes.
Monitorar, reportar e analisar métricas de desempenho, precisão e segurança dos agentes em ambiente de produção.
Documentar procedimentos, critérios de aceitação, testes e resultados.
Participar de rituais ágeis, reviews e definição de estratégias de releases.
Requisitos
Experiência comprovada em Quality Assurance/Testing em projetos de software.
Conhecimento avançado em Python e familiaridade com práticas de automação de testes (pytest, unittest, etc).
Experiência com ferramentas de observabilidade e testes para LLM/IA generativa (LangSmith, TruLens, Promptfoo ou similares).
Entendimento de processos de avaliação de LLMs: datasets, métricas, validação automática e humana.
Noções de integração contínua e pipelines de CI/CD.
Boa comunicação para detalhar bugs, falhas e colaborar com o time de desenvolvimento.
Diferenciais
Experiência com testes de aplicações LLM (OpenAI, Azure OpenAI, Anthropic, Google Gemini, etc).
Vivência prática com arquitetura de agentes e chains (LangChain, LlamaIndex).
Familiaridade com Kafka, eventos, arquiteturas distribuídas.
Conhecimento sobre avaliação de segurança (prompt injection, jailbreaking).
Benefícios
Plano de saúde e odontológico
Vale alimentação e refeição
Licença parental estendida
Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass
Participação nos Lucros e Resultados (PLR)
Plataforma de aprendizagem contínua (CI&T University)
Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar
Curso gestante e parentalidade responsável
E muitos outros
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.
Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.
#J-18808-Ljbffr