Perché le metriche mentono senza contesto
All'inizio della mia carriera da PM, sono entrato in una revisione trimestrale con una slide che diceva "utenti attivi giornalieri su del 23%." La stanza era contenta. Il VP annuiva. Siamo andati avanti.
Tre settimane dopo, abbiamo scoperto che l'aumento veniva da un errore nel tracciamento delle sessioni che contava due volte gli utenti che passavano da una scheda all'altra. Gli utenti attivi reali erano piatti. Avevamo passato il trimestre a ottimizzare per una metrica che ci mentiva.
Ogni metrica ha bisogno di tre cose
Il numero è cosa è successo. Gli utenti attivi sono su del 23%. Il fatturato è cresciuto del 15%. I ticket di supporto sono calati del 40%.
Il meccanismo è perché è successo. Gli utenti attivi sono cresciuti perché abbiamo lanciato le notifiche push. Il fatturato è cresciuto perché abbiamo alzato i prezzi. I ticket sono calati perché abbiamo rimosso una funzionalità.
La contro-metrica è cosa stai pagando per ottenerlo. Le notifiche push hanno aumentato gli utenti attivi ma hanno anche triplicato il tasso di disiscrizione. L'aumento di prezzo ha fatto crescere il fatturato ma il tasso di abbandono è passato dal 3% al 7%. Rimuovere la funzionalità ha tagliato i ticket ma la soddisfazione è scesa di 12 punti.
La trappola della dashboard
Ho lavorato con team che avevano più di 30 metriche sulla dashboard principale. La controllavano ogni mattina. Potevano dirti il numero esatto di qualsiasi indicatore in qualsiasi momento.
Ma quando chiedevo "quale di queste metriche cambierebbe la vostra prossima decisione?", la risposta di solito era due o tre. Il resto erano metriche di vanità — numeri che salivano, che facevano sentire bene, ma non informavano nessuna scelta concreta.
La migliore dashboard che abbia mai costruito aveva quattro numeri. Uno per acquisizione, uno per attivazione, uno per ritenzione, uno per fatturato. Ognuno aveva un obiettivo, una linea di tendenza, e una spiegazione in una frase del perché si stava muovendo. Fine.
Tre domande che faccio ogni volta
Quando qualcuno presenta una metrica, faccio tre domande:
"Qual è il meccanismo?"
Se non sanno spiegare perché il numero si è mosso, il numero è rumore.
"Qual è la contro-metrica?"
Se non c'è un compromesso, o siamo stati fortunati o non stiamo cercando abbastanza.
"Cosa faresti diversamente se questo numero fosse 10 volte peggiore?"
Se la risposta è "niente," allora stiamo tracciando la cosa sbagliata.
Queste domande non sono popolari nelle riunioni. Nessuno vuole sentirsi dire "la vostra crescita del 23% potrebbe essere un errore." Ma l'alternativa è costruire strategia sulla sabbia.