Todo o conteúdo Experimentos

Da entrevista ao teste A/B.

Uma entrevista sugere o que pode mudar o comportamento. Um teste mostra se mudou.

Achados de entrevista têm uma fraqueza conhecida: convencem, mas são difíceis de medir. Times de produto, com razão, perguntam quanto aquilo vale antes de mudar o roadmap. Minha resposta é transformar o achado em hipótese testável.

Do achado à hipótese

Na Gameram, transformei achados de entrevistas em testes A/B. O que as pessoas contavam virava uma hipótese: se a entrevista mostra o que trava o caminho, mudar esse ponto deve mudar o comportamento medido.

Um desses testes aumentou a conversão em 30%.

O teste não substitui a entrevista. A entrevista diz o que testar e por quê. O teste diz quanto.

Quando o número vem antes

O caminho inverso também funciona. Depois do lançamento do modo escuro, os dados mostravam que muita gente seguia no tema claro. Nas entrevistas com usuários ativos e novos, o design funcionou bem. O problema era outro: muitas pessoas não sabiam que podiam trocar o tema.

Um survey com cerca de 650 usuários confirmou: 74% de quem conhecia a opção usava o modo escuro, contra 54% de quem não conhecia. Os dados mostravam o resultado. A pesquisa explicou o motivo. Leia o case completo.

O que eu levo disso

  • Escrever o achado como hipótese. “Se mudarmos isto, esperamos ver aquilo” deixa claro o que medir.
  • Deixar a entrevista escolher o teste. Testar o que as pessoas disseram que trava custa menos que testar tudo.
  • Voltar às pessoas quando o número surpreende. Um resultado inesperado é uma pergunta nova de pesquisa.

Insight bom vira experimento. E experimento bom volta para a pesquisa.

Alguns detalhes foram omitidos por confidencialidade.

Continue lendo

Veja os estudos de caso