Description O QUE É SER UM MUTANT? Quando você decide ser Mutant, você decide dar um passo diferente na sua vida e na sua carreira. Ser Mutant é aceitar ser parte de um grupo com coragem para traçar novos caminhos e ambição para chegar mais longe a cada dia. A gente não é a empresa da moda - nem faz questão de ser. Ao contrário, fazemos muito mais do que falamos. E preferimos fazer em grupo porque aqui é com todos e por todos. Estamos sempre em busca de gente talentosa e apaixonada para crescer e evoluir com a gente. Se você acredita no seu talento e consegue mostrar isso na prática, venha ser um Mutant. A gente te aguarda. Responsibilities Estamos buscando um QA Engineer especializado em testes de agentes conversacionais baseados em IA Generativa. Esse profissional será responsável por garantir a qualidade, confiabilidade e consistência das respostas de agentes baseados em LLMs, estruturando estratégias de teste, automação de validação e monitoramento de comportamento dos agentes. Essa pessoa trabalhará próximo de Prompt Engineers, especialistas de IA e analistas de dados, garantindo que os agentes evoluam de forma segura e confiável ao longo do tempo. Diferente de testes tradicionais de software, este papel envolve validar comportamentos probabilísticos de modelos de linguagem, analisando aspectos como: Precisão das respostas; Consistência do comportamento; Alucinações; Aderência a políticas e guardrails; Qualidade da experiência conversacional Essa pessoa irá: Criar estratégias de testes para agentes conversacionais baseados em LLMs Desenvolver cenários de teste para validação de comportamento do agente Automatizar testes de prompts e respostas do modelo Identificar alucinações, inconsistências e respostas inadequadas Criar datasets de teste e suites de regressão Validar aderência a guardrails e políticas de resposta Participar da análise de qualidade antes de deploy de novas versões do agente Trabalhar com times técnicos na correção e melhoria do comportamento do agente Monitorar qualidade das respostas em produção Você trabalhará com tecnologias como: Large Language Models (LLMs) Test automation frameworks APIs e automação de testes Ferramentas de análise de conversas Test datasets Pipelines de avaliação de IA Ferramentas comuns incluem: Python (desejável) Frameworks de testes automatizados Ferramentas de experimentação com LLMs Ambientes de simulação de conversas Prerequisites Experiência em Quality Assurance ou Test Automation Experiência em criação de cenários e planos de teste Capacidade de estruturar testes sistemáticos para sistemas complexos Experiência com APIs e testes automatizados Experiência prática com ferramentas de IA como ChatGPT, Claude, Gemini Perfil analítico e investigativo Forte atenção a detalhes Diferenciais fortes Experiência com IA Generativa ou LLMs Experiência com testes de chatbots ou voicebots Conhecimento em NLP ou análise de texto Experiência com automação de testes em Python Experiência em Customer Experience ou Contact Centers Experiência com testes de sistemas baseados em IA Experiences O que você vai encontrar por aqui: Flexibilidade nos seus horários; Estrutura horizontal; Dress code livre; Estacionamento para bikes e patinetes (em caso de ida ao escritório); Oportunidades de crescimento cross brands; Empresa Cidadã: Nossos colaboradores tem a licença parental estendida; Benefícios: Assistência médica e odontológica; Seguro de vida; Vale-transporte; Vale-refeição e alimentação; Wellhub (Gympass); Auxílio Creche; Auxílio filhos com deficiência; Bônus por resultados; Dayoff para aniversários; Alelo Multibenefícios; Allya - parcerias e descontos no app; Plano de saúde para o seu pet; Além disso, incluímos também alguns benefícios com o propósito Mutant: • Liberdade para ser quem você é. Incluir todos com o mesmo olhar está em nosso DNA. Aqui não fazemos distinção de gênero, raça, credo ou cor! Somos todos Mutants! • Pessoas e experiências são o que nos movem. São a nossa essência e nosso propósito. Ações e programas voltados a clima, desenvolvimento e cultura; • Gerar valor para pessoas e negócios. Juntos, criamos produtos digitais que impulsionam os negócios.; • Fazer parte de um time sensacional, que joga junto, com uma cultura de colaboração, inovação e transformação. E o mais importante: que se diverte em toda a jornada; • Trabalhar e trocar conhecimentos diários. As melhores cabeças do mercado em um lugar que elas podem ser elas mesmas: é assim que entregamos soluções disruptivas;