Senior Quality Analyst (Gen AI)
Garantir a qualidade em sistemas de IA Generativa é um desafio único: as respostas podem ser não-determinísticas. Sua missão será desenhar e implementar estratégias de testes que validem não apenas o código, mas a precisão, segurança e confiabilidade dos nossos sistemas agênticos.
Principais Responsabilidades
* Estratégia de Testes de IA: Criar frameworks para validar saídas de LLMs, combatendo alucinações, vieses e garantindo a aderência ao contexto.
* Automação: Desenvolver e manter scripts de automação de testes (E2E, API e Integração) utilizando ferramentas como Playwright ou Cypress.
* Shift-left Testing: Atuar desde a fase de requisitos para garantir que a qualidade seja pensada no início do desenvolvimento.
* Testes de Performance e Segurança: Validar a resiliência das integrações com modelos de IA e a segurança contra vulnerabilidades como prompt injection.
* Monitoramento de Qualidade: Definir e acompanhar métricas de qualidade e bugs, reportando resultados para o time global.
Requisitos e Qualificações
* Formação em Tecnologia da Informação ou áreas correlatas.
* Experiência avançada em automação de testes e ferramentas de QA.
* Conhecimento em Python (para scripts de teste e validação de dados).
* Inglês Avançado: Capacidade de interagir e reportar resultados para times internacionais.
* Desejável: Experiência anterior testando aplicações que consomem APIs de LLM (OpenAI, AWS Bedrock).