Contexto
Gameram es una app social donde gamers encuentran personas para jugar, disponible en todas las Américas. El feed es donde empiezan esas conexiones.
El equipo de Machine Learning había desarrollado cuatro versiones nuevas del algoritmo de recomendación. Las métricas técnicas ayudan a comparar modelos, pero no dicen si el resultado tiene sentido para la persona del otro lado de la pantalla.
Pregunta de investigación: ¿qué hace que un feed sea “bueno” para quienes usan Gameram, y dónde acierta o falla cada uno de los cuatro algoritmos?
Enfoque
Antes de comparar los algoritmos, hacía falta una vara de medir. Por eso el estudio empezó definiendo criterios con las personas y, solo después, pasó a la evaluación.
En la práctica, un problema de psicometría: medir de forma objetiva algo subjetivo, la calidad de un feed.
Resultado
No hubo un ganador. Cada feed tenía fortalezas y debilidades, y la realidad era más compleja que “mejor” y “peor”.
El equipo recibió una guía con las fortalezas y debilidades de cada algoritmo, medidas con los 12 criterios definidos con usuarios, además de las métricas técnicas. En lugar de señalar un ganador, la investigación cambió la pregunta: ¿queremos esta fortaleza, aun con aquella debilidad?
Así, la elección del feed pasó a ser una decisión informada, con los riesgos y beneficios de cada opción a la vista. Los resultados se presentaron en reportes orientados a la decisión para el CPO y el equipo de ciencia de datos.
Algunos detalles se omitieron por confidencialidad.