Detta är ett gästinlägg från John Ekman på Conversionista.
A/B-testning är spännande, belönande och lönsamt, men det är också segt att mindre än hälften av ens tester (oftast) inte förmår leverera en vinnare. 😭 Fast många tester levererar ju andra värdefulla insikter.
Så frågan är: Finns det något sätt att mäta sina resultat så att vi fångar upp ALLA positiva effekter av vårt A/B-testnings-program? Jag tror det.
Let’s talk win rate
Låt oss börja med att definiera vår problemställning. Ett A/B-test kan ha tre typer av resultat:
- Vinnare
- Oavgjort
- Förlorare
När man pratar om ”Win rate”, så menar man den andel av ens totala tester som producerar en vinnare.
Vilken win rate ska man förvänta sig då?
Vi brukar säga att de allra flesta företag och organisationer ligger på en win rate om ca 30 %. Vi har träffat på väldigt få (om ens några), som konsekvent levererar en win rate på över 50 %.
De som testar mycket och är väldigt duktiga på testning har också väldigt optimerade sajter, efter flera års kontinuerligt optimeringsarbete. Det betyder att de har ännu svårare att producera nya vinnare, eftersom de redan har kramat ur det mesta av potentialen från sina sajter.
Jaha – det var ju inte kul att höra. Visst känns det lite trist att försöka sälja in den här grejen med A/B-testning och säkra en vettig budget med det kärnfulla budskapet att två tredjedelar av det vi gör kommer att misslyckas – vilken chef går igång på det?!
Ja, det var en förlorare, fast………
Nu kommer vi till nästa steg i resonemanget.
”Det enda förlorande testet är det som du inte lärt dig något av”.
Även om ett test levererar ett negativt resultat till att börja med, så kan det leverera nya värdefulla insikter, som inspirerar till nya tester, till produktutveckling eller något annat som i slutändan levererar ett positivt resultat för verksamheten.
Det låter ju toppen, fast….
När vi sedan går till chefen och berättar att man inte ska stirra sig blind på att bara 30% är vinnare, utan istället se alla de här andra bra sakerna också – då är vi ute på hal is.
Varför då?
Jo, därför att vi har predikat ”data-drivet” för hela organisationen.
– ”Sluta ta beslut baserade på magkänsla, lita på data”.
Men sedan kommer vi och säger att det ska gälla för allt utom våra egna resultat, där datan säger 30% vinnare, och sedan försöker vi toppa upp med något löst fluff-fluff i stil med:
–”Jo, men vi lärde oss en massa andra bra saker också.”
”A/B-testare talar med kluven tunga”, tänker chefen. Typ så här:
Så nu har vi ett val. Antingen kan vi försöka ändra på chefen, eller så kan vi ändra hur vi följer upp och presenterar våra resultat. Och då tänker jag så här:
”If you can’t change the player, change the game”
5D rapportering – ett nytt sätt att mäta
I grunden handlar vårt problem om att vi har tydliga resultat i båda ändar av vårt spektrum: Tydliga vinnare och tydliga förlorare. Men sedan har vi en massa otydlighet i mitten. Så om vi bara kunde göra en del av de otydliga resultaten tydliga, skulle mycket vara vunnet.
Låt oss försöka.
”Det enda förlorande testet är det som du inte lärt dig något av”
I 5D-modellen har vi skapat fem klasser av testresultat: Direct, Delayed, Discovery, Dead loser och Deferred.
- Direct – Ett testresultat som visar på en direkt vinnare. En tydlig positiv effekt som vi kan implementera direkt. Detta är de ca 30 % som vi räknar som vinnare i vår ursprungliga modell.
- Delayed – Det här är ett test som inte levererar en vinnare på första försöket, men vi får en del idéer som vi omsätter i uppföljningstester och till slut får vi en vinnare. Alla tester på vägen till vår slutliga vinst, räknas nu inte som förlorare utan som ”fördröjda vinnare”.
- Discovery – Här har vi ett test som lett till en insikt som vi sedan omsatt till ett relaterat positivt resultat. Det behöver inte vara ett uppföljande A/B-test, utan egentligen vad som helst som har sitt ursprung i vårt test och som vi sedan kunde applicera för att skapa en positiv effekt – vilken som helst.
- Dead loser – Detta är en förlorare som vi inte klarat av att ”väcka från de döda”. Hur vi än försöker tweaka och göra uppföljningstester når vi aldrig en vinnare. Vi har heller inte lyckats skapa några andra värdefulla insikter från testerna. Testet levererar inte några vettiga resultat och vi vet inte varför.
De fyra första kategorierna handlar mycket om vad som är de direkta omedelbara resultaten av våra tester. Och då ser våra resultat ut så här:
Toppen, nu har andelen positiva resultat ökat!
Nästa kategori handlar om vad som händer sedan.
Många organisationer har problem med att implementera de positiva test-resultat som man skapat. Det kan ju bero på problem i IT-organisationen eller hur backloggen prioriteras. Det går också att se det som att ni testar fel saker eftersom det ni testar inte är ”implementerbart”. Därför handlar den sista kategorin om de tester som varit vinnare men inte blivit implementerade.
Deferred – Direct winners som inte blivit implementerade inom mätperioden.
Hur fungerar det i praktiken?
Det här verkar kanske komplicerat, så låt oss illustrera med några konkreta exempel.
Vi säger att du vill testa copyn på en call to action-knapp på din sida.
Idag står det ”Handla nu”. Du tänker att det är lite för lite action i din call to action så du vill testa texten ”Handla kläder nu”. Lite mera drag under galoscherna och ”här och nu”, helt enkelt.
Du testar det och får 10% färre konverteringar.
Nu tänker du att du kanske var lite för ”gå-på-ig” och kanske ska göra precis tvärtom?! Kanske måste besökarna informera sig lite mer innan de tar beslut, så du testar – ”Se alternativ”.
Du testar det och får 5% fler konverteringar – wohoo!
Så här ser skillnaden ut när du räknar på det gamla sättet vs med 5D
| Gamla sättet | 5D-reporting | |
| Test 1 | Vinnare | Delayed |
| Test 2 | Förlorare | Direct |
| Win rate | 50% | 100% |
Inspirerad av dina framgångar ger du dig nu på att testa fler saker. Du funderar på att göra formuläret lite enklare genom att ta bort fältet för kundens telefon-nummer.
En sak mindre att fylla i => Högre konverteringsgrad?!
Du testar det och ser – ingen skillnad!
Du bestämmer dig då för att behålla fältet. Ingen skillnad i konverteringsgrad, men värdefullt att få in kundens telefonnummer, om det inte kostar något. Det här ett test-resultat av typen ”Discovery”. Inget direkt resultat i testet, men en efterföljande positiv effekt som resultat av testet.
Med det gamla sättet att räkna hade resultatet varit:
Test 1 – Förlorare
Win rate = 0%
Med det nya sättet att räkna blir resultatet:
Test 1 – Discovery
Win rate = 100%
Det vi har gjort med det här nya ”räknesättet” är att kategorisera om en del av våra tidigare förlorare så att de nu räknas som riktiga vinnare istället för en flummig ”en förlorare, fast…..”.
Nya mål för ditt testningsprogram
Nu har vi skaffat oss ett nytt sätt att räkna. Då blir nästa steg att sätta nya mål för vårt arbete.
Tidigare var vårt mål: ”Högsta möjliga win rate”.
(Det är det fortfarande – fast vi har ett nytt sätt att räkna våra vinnare.)
Fast jag tycker att det blir ännu mer intressant om man vänder på det hela. Högsta möjliga win rate är detsamma som minsta möjliga ”lose rate”. Och nu är våra förlorare bara de som är ”Dead losers” (vilket bara blir ca ~30% med vårt nya sätt att mäta).
Fundera lite. Blir det någon skillnad om man arbetar med att:
Maximera antalet ”Direkta vinnare” (enligt vår gamla definition)
eller
Minimera antalet ”Dead losers” (de tester som vi inte får ut någonting som helst av.)
Jag är rätt säker på att två testningsprogram som strävar efter de här två olika målen, kommer att se rätt olika ut.
Dina nya mål är nu:
Mål 1: Minimera andelen ”Dead losers”
Mål 2: Maximera andelen implementerade ”Direct wins”
Det andra målet handlar om din ”implementation rate”, d.v.s. hur många av dina direct wins som faktiskt blir implementerade.
Vi hoppas att det här nya sättet att räkna och följa upp dina framgångar kan leda till fler framgångar och framförallt ett tydligare sätt att kommunicera i er organisation och bättre förståelse för optimeringsarbetet.