Como saber se as atualizações que entregamos ao cliente realmente geram tanto valor quanto pensamos (se é que geram algum valor para eles)?

Essa dúvida sempre se faz presente para mim quando trabalho em projetos que requerem alto esforço para serem entregues. Seria bom saber que os usuários do produto que tanto me esforço para melhorar realmente terão suas experiências impactadas de forma positiva com as tarefas que realizo no dia a dia.

Acredito que eu não seja o único que pensa sobre isso, por isso fiz desse assunto o tema da minha Cyber.

Aprendizagem Validada

Ao contrário do que se pode pensar à primeira vista, descobrir se as atualizações em um produto digital geram valor aos usuários não é tão fácil como procurar algum aumento no número de clientes ou receita. Isso porque é muito fácil ser enganado por esse tipo de métrica caso ela não seja analisada corretamente. Ver o crescimento de clientes ou receita após o lançamento de uma funcionalidade pode te levar a acreditar que a equipe acertou na mosca com o desenvolvimento dela e que ele mudou realmente a vida dos usuários, mas nem sempre vai ser o caso.

Para descobrir se as entregas nas quais trabalhamos de fato geram valor ao usuário, é necessário primeiro identificar que mudanças ela causou no comportamento dele, o que não pode ser feito analisando somente métricas brutas de uso, receita ou aquisição do produto. Isso requer uma análise mais profunda e o resultado desse estudo de como o cliente percebe as nossas entregas de valor é chamado de Aprendizagem Validada.

Aprendizagem Validada é um termo introduzido por Eric Ries em Startup Enxuta. O livro descreve uma metodologia de administração para startups voltada à inovação que defende como um dos princípios que, para se manter inovadora, a startup não pode perseguir a mera entrega de funcionalidades, mas também o conhecimento do que gera valor ao cliente.

Isso significa que existe aquilo que pensamos gerar valor para o usuário e existe o que realmente gera valor para o usuário; independentemente de serem a mesma coisa ou não, a Aprendizagem Validada é a descoberta do segundo através da análise de como os usuários reagem ao primeiro.

Análise de cohort

A principal forma de gerar Aprendizagem Validada é através da análise de cohort. Essa técnica de análise consiste em segmentar grupos de usuários e observar como eles se comportam ao longo do tempo. No contexto do estudo do impacto de entregas, os grupos seriam separados conforme a versão do produto que estão usando e a observação do comportamento buscaria identificar se e como a entrega da funcionalidade impactou determinadas métricas.

Diferentes métricas podem ser usadas para medir o impacto de uma entrega na análise de cohort, mas, segundo Eric Ries, as mais certeiras para gerar Aprendizagem Validada no contexto de uma Startup são as métricas de funil: Aquisição, Ativação, Retenção, Receita e Recomendação. Implementações no produto que não resultarem em crescimento de conversão em direção ao fundo do funil podem ser interpretadas como um falso entendimento da empresa sobre o que entrega valor ao cliente.

O gráfico anterior exemplifica como a análise de cohort pode ser usada para identificar mudanças no comportamento dos usuários após a entrega de uma funcionalidade. O exemplo foi tirado do livro Startup Enxuta, onde é usado para mostrar como as diversas atualizações do IMVU, a startup do autor, não tiveram resultados satisfatórios ao longo de meses. Embora a parcela de usuários que chegou à penúltima etapa do funil, a de usar o serviço em 5 conversas, cresceu, a parcela que pagou pelo serviço se manteve virtualmente a mesma.

No livro, Eric Ries explica como o resultado da análise fez com que percebesse que sua empresa não sabia o que de fato gerava valor para seu público. Isso motivou eles a conversar com os clientes para perguntar o que os fazia se interessarem pelo produto. Com os resultados das entrevistas, perceberam estar investindo esforços em atualizações que, para o cliente, eram pouco importantes. O conhecimento que esse processo gerou é a Aprendizagem Validada, e ele permitiu que repensassem a estratégia de produto para uma que estivesse alinhada com a percepção de valor dos usuários.

Como aplicar na Mainô

A Mainô, como toda startup, tem a obrigação de se manter inovadora para sobreviver. Por ser uma startup mais madura, com um número significante de clientes e espaço no mercado, tem uma certa vantagem. Mas isso não significa que, porque acertou ao criar um produto que resolvia uma dor do mercado, a mesma estratégia de produto que trouxe sucesso no início continuará gerando valor ao longo dos anos, especialmente em um nicho tão volátil quanto o nosso. Desta forma, garantir que as entregas nas quais trabalhamos sigam alinhadas com a percepção de valor do mercado é um esforço necessário.

Para começarmos a adquirir Aprendizagem Validada, o primeiro passo é definir quais métricas serão usadas para estudar o comportamento dos usuários. Elas precisam expressar a hipótese de valor do produto, afinal serão usadas para medir a percepção de valor dos usuários.

No caso do ERP, poderíamos definir as seguintes métricas:

1. Emissor cadastrado – Aquisição
2. 1 NF-e Emitida – Ativação
3. 10 NF-es Emitidas – Retenção
4. Upsell – Receita
5. CSAT positivo – Recomendação

Em seguida, será necessário configurar uma ferramenta de análise de dados para monitorar os eventos que representam a conversão de uma etapa do funil. Por sorte, já temos o Posthog para fazer a coleta dos dados — que, inclusive, já tem uma funcionalidade de análise de cohort pronta para ser usada.

Então, separaríamos os grupos pela versão do produto com a qual interagem e analisaríamos as métricas de funil de cada grupo. Se identificarmos crescimento nas últimas etapas do funil conforme novas funcionalidades são lançadas, poderíamos interpretar que nossa estratégia de produto está alinhada com a percepção de valor dos nossos usuários, o que é uma ótima notícia! Contudo, se essa análise não demonstrar grandes diferenças no comportamento dos usuários, mesmo que estejamos “melhorando” o sistema consistentemente, arriscamos estar gastando energia em entregas que os usuários não se importam. Se for o caso, não significa que é o fim do mundo, mas com certeza que precisamos conversar com os nossos clientes para entender o que os faz escolher a gente.

Diferença de analisar coorte e métricas brutas

A Aprendizagem Validada não pode ser gerada analisando métricas brutas porque elas costumam ser enganosas no contexto de medir o impacto de entregas. Eric Ries chama as métricas brutas de métricas de vaidade, pois sugerem crescimento mesmo quando implementações lançadas não gerarem impacto algum nos usuários. E também porque é difícil atribuir responsabilidade por crescimento ou redução nesse tipo de métrica.

Imagine que um gráfico diga que no último mês conseguimos 200 clientes a mais que a média: a quem pode ser atribuído esse crescimento? À equipe de desenvolvimento A, que lançou o projeto X, ou à equipe de desenvolvimento B, que lançou a funcionalidade Y? Talvez o crescimento nem tenha sido resultado de entregas dos times de desenvolvimento, mas sim à campanha nova do marketing, ou à contratação de mais pessoas para o time comercial.

Seria impossível apontar qual foi a mudança responsável pelo crescimento avaliando somente métricas brutas — pode ser que nenhum dos esforços das equipes tenha impactado o comportamento dos clientes e o crescimento foi um fator meramente sazonal, que teria acontecido mesmo que as equipes não tivessem trabalhado. É um exemplo pessimista, mas que explica de forma simples por que métricas brutas não geram Aprendizagem Validada.

O gráfico anterior faz parte do mesmo contexto do primeiro. A IMVU lançava constantemente novas atualizações, mas elas não impactavam o comportamento dos usuários como esperavam. Vendo somente por este ângulo, parece não haver problema algum, mas, com o cohort analisado anteriormente, a conclusão é a de que, com o passar do tempo, eles tinham mais pessoas usando o produto, mas sem o produto se tornar melhor do ponto de vista de entrega de valor.

Mas se os números estão crescendo, por que se dar ao trabalho?

Como deve ter dado para perceber, adquirir a Aprendizagem Validada requer esforço considerável para coleta e análise dos dados. Você pode se perguntar se realmente vale a pena ter esse trabalho todo se, no fim das contas, os números de clientes ou receita estiverem crescendo. Mas eu diria que sim.

Minha justificativa é a de que qualquer empresa que deseja se manter competitiva precisa entregar cada vez mais valor aos seus clientes, afinal, eles se tornam cada vez mais exigentes. Se nossas novas entregas não gerarem valor, mesmo que o produto atual resolva algum problema do cliente, não há garantias de que ele continuará atendendo a todas as necessidades deles no futuro. O que significa que, se estivermos fazendo implementações que não geram valor, podemos estar nos esforçando para, no fim, perdermos os nossos clientes para empresas que de fato compreendem o que o público valoriza.

Ter a preferência dos clientes hoje não garante que continuaremos tendo amanhã. Por isso, acho importante nos certificarmos de que estamos investindo nossas energias no que importa para quem usa.