Contexto
A Gameram é um app social em que gamers encontram pessoas para jogar, disponível nas Américas. O feed é onde essas conexões começam.
O time de Machine Learning tinha desenvolvido quatro versões novas do algoritmo de recomendação. Métricas técnicas ajudam a comparar modelos, mas não dizem se o resultado faz sentido para quem está do outro lado da tela.
Pergunta de pesquisa: o que torna um feed “bom” para quem usa a Gameram, e onde cada um dos quatro algoritmos acerta ou falha?
Abordagem
Antes de comparar os algoritmos, era preciso ter uma régua. Por isso o estudo começou definindo critérios a partir das pessoas, e só depois passou à avaliação.
Na prática, um problema de psicometria: medir de forma objetiva algo subjetivo, a qualidade de um feed.
Resultado
Não houve um vencedor. Cada feed tinha forças e fraquezas, e a realidade era mais complexa do que “melhor” e “pior”.
O time recebeu um guia com as forças e as fraquezas de cada algoritmo, medidas pelos 12 critérios definidos com usuários, além das métricas técnicas. Em vez de apontar um ganhador, a pesquisa mudou a pergunta: queremos esta força, mesmo com aquela fraqueza?
Assim, a escolha do feed passou a ser uma decisão informada, com os riscos e os benefícios de cada opção à vista. Os resultados foram apresentados em relatórios orientados à decisão para o CPO e o time de ciência de dados.
Alguns detalhes foram omitidos por confidencialidade.