Métricas em Gestão de Produto - Quando uma métrica melhora, o produto realmente melhorou?

Imagine a seguinte situação sobre métricas em gestão de produto.

Você identifica um ponto de atrito no produto. Propõe uma mudança. Ela é implementada. Na semana seguinte, a conversão aumenta 12%.

Imediatamente você comemora: A mudança que fiz deu certo!

Mas... como você sabe?

Não como você acredita. Como você sabe?

O que garante que foi justamente a sua alteração que fez a conversão subir?

E se uma campanha de marketing trouxe um público diferente? E se houve sazonalidade? E se um concorrente saiu do mercado? E se o comportamento dos usuários mudou por outro motivo qualquer?

A verdade desconfortável é que uma métrica melhorar não prova que a sua decisão provocou essa melhora.

Mesmo assim, esse salto lógico acontece todos os dias. Vemos uma mudança, observamos um resultado e rapidamente conectamos os dois. Nosso cérebro procura padrões e explicações. É uma característica humana. O problema é que produtos são sistemas complexos, e sistemas complexos raramente têm uma única causa para um único efeito.

É aqui que começa um dos erros mais comuns na análise de métricas: confundir sequência temporal com relação de causa e efeito.

Esse erro tem até nome. Em lógica, é conhecido como post hoc ergo propter hoc, uma expressão em latim que significa "depois disso, logo por causa disso".

Parece um problema de lógica. Na prática, é um problema de negócio. Toda decisão construída sobre uma relação de causa inexistente tende a produzir novas decisões equivocadas.

Toda métrica é influenciada por diversos fatores ao mesmo tempo. Marketing, sazonalidade, mudanças no comportamento dos usuários, ações da concorrência, melhorias anteriores, preço, desempenho da aplicação e até acontecimentos externos podem alterar um indicador. Por isso, atribuir um resultado a uma única decisão, costuma ser muito mais difícil do que parece.

Uma métrica fornece uma evidência e não uma prova. Uma evidência aumenta nossa confiança em uma hipótese e não elimina outras explicações possíveis.

Essa diferença é importante porque métricas respondem o que aconteceu. Elas não respondem por que aconteceu. E responder "por que" exige investigação.

Da mesma forma, uma correlação pode indicar que duas variáveis caminham juntas. Isso, por si só, não significa que uma tenha causado a outra.

Imagine que aquela alteração realmente tenha sido seguida por um aumento de 12% na conversão. Excelente. Mas imagine também que, na mesma semana, uma campanha trouxe usuários muito mais qualificados para o produto.

Quanto desse crescimento veio da funcionalidade?

Quanto veio da campanha?

Sem considerar essas variáveis, qualquer resposta está mais próxima de uma hipótese do que de uma conclusão.

É por isso que conceitos como experimentação, significância estatística, correlação, causalidade e variáveis de confusão são tão importantes em Gestão de Produtos. Cada um contribui para avaliar as evidências sob uma perspectiva diferente, mas todas existem para responder a uma mesma pergunta: até que ponto podemos confiar na conclusão que estamos tirando?

O objetivo de um experimento não é provar que uma ideia funciona. É reduzir explicações alternativas para que possamos atribuir o resultado, com muito mais confiança, à mudança realizada.

Esse raciocínio não vale apenas para experimentos. Vale para qualquer análise de métricas.

Quando acreditamos que encontramos a resposta cedo demais, paramos de investigar. Deixamos de perguntar.

O resultado apareceu em todos os usuários ou apenas em um segmento?

Ele continua existindo semanas depois?

Outras métricas acompanharam esse movimento?

Existe alguma mudança externa que explique o comportamento observado?

Toda conclusão encerra uma investigação. Se a conclusão veio cedo demais, talvez a investigação também tenha terminado cedo demais.

Maturidade em dados não significa acompanhar mais métricas. Significa construir explicações melhores para elas.

Antes de comemorar qualquer indicador, vale fazer uma pergunta simples:

O que realmente me permite afirmar que foi essa decisão que produziu esse resultado?

Se a única resposta for "porque aconteceu depois", talvez você ainda não tenha encontrado uma causa. Apenas uma hipótese.

As métricas mostram que alguma coisa mudou. Descobrir por que  mudou continua sendo um dos maiores desafios da Gestão de Produtos.