A/B-testning (även kallat split testing) är ett av de bästa sätten att jämföra två olika varianter av — en webbsida, en annons, ett erbjudande, ett mail — för att se vilken version som ger bäst resultat.
A/B-testning är vanligast inom digital marknadsföring. Men metoden är över 100 år gammal, och används även inom läkemedelsbranschen vid framtagning av nya mediciner genom s.k. Randomized Controlled Trials (som går till på samma sätt som ett A/B-test).
På 1920-talet upptäckte statistikern och biologen Ronald Fischer de grundläggande principerna bakom A/B-testning och randomized controlled trials.
Fischer experimenterade inom jordbruk, och ställde frågor som ”vad händer om jag sprider ut mer gödsel på den här marken?”
Hans metoder spred sig till läkemedelsindustrin, och på 1950-talet började de utföra s.k. Randomized Controlled Trials med Fischers metoder.
På 1960-, och 1970-talet började direktmarknadsförare använda metoden för att utvärdera effekten av olika erbjudanden, rubriker, och sätt att få sin målgrupp att agera.
A/B-testning som vi känner till det idag började ta sin form redan på 1990-talet.
Men mattematiken och de statistiska beräkningarna bakom testerna har inte ändrats sedan 1920-talet då Fischer experimenterade inom jordbruk.
Den stora skillnaden idag är att du (oftast) gör A/B-tester online, tekniken är mer lättillgänglig, ett test kan utföras på en mycket större skala både gällande antal experiment och mängden deltagare.
Hur fungerar A/B-testning?
Ett A/B-test börjar med att du bestämmer vad du vill testa, och en hypotes om varför en specifik ändring kommer förbättra eller försämra ditt nuvarande resultat.
Ditt test och din hypotes bör vara baserade på insikter från en målgruppsanalys.
Här är några exempel på hur det kan se ut…
Dåligt exempel:
Din chef vill att fler personer handlar i er webbshop. Du vet att ni har ca 100.000 besökare och 1500 köp per månad. Din chef säger att det inte är tillräckligt bra, och ber dig testa nya saker som kan öka konverteringen. Du blir tillsagd att testa om en röd knapp på produktsidorna konverterar bättre än den gröna knappen ni har just nu, eftersom de hörde att en konkurrent hade testat det. Du blir ombedd att presentera ditt resultat om 3 dagar, innan nästa styrelsemöte.
Bättre exempel:
Du tittar i Google Analytics och ser att 98% av alla som besöker era produktsidor lämnar er webbshop utan att varken lägga en produkt i varukorgen, eller klicka sig vidare till någon annan produkt. Du gör en snabb holistisk analys av produktsidorna i din webbshop, och ser att ”Lägg till i varukorg”-knappen knappt syns. Den är vit med en svart ram runt, och smälter in i bakgrunden. Din hypotes är att om knappen sticker ut mer från bakgrunden och är mer synlig, så kommer fler personer att lägga produkter i varukorgen och slutföra sina köp.
Bäst:
Du och ditt team har fått i uppdrag att öka konverteringen i er webbshop, från 1.5% till 1.8% — en ökning om 20%.
Det första ni gör är att analysera hela sajten för att hitta svagheter i kundresan. Ni letar efter uppenbara konverteringsdödare. Ni tittar i Google Analytics för att se om någonting sticker ut (ex. Om en webbläsare eller besökare från en viss källa har märkbart lägre konverteringsgrad), och ni kollar igenom sessionsinspelningar. Ni läser även igenom de senaste kundmailen, och frågar kundsupport om de vanligaste klagomålen. Ni kommer på 5-10 olika tester ni skulle kunna köra, och ni använder ICE-ramverket för att prioritera era tester.
Testet ni bestämmer er för att börja med handlar om personerna som signar upp sig på ett nyhetsbrev. Ni upptäckte att det är många besökare som anmäler sig till nyhetsbrevet för att få 10% rabatt på sitt första köp, men nästan ingen av dessa köper någonting. Ni bestämmer er för att gå igenom hela flödet ur ögonen på en ny kund. Ni upptäcker att rabattkoden som kunderna får efter att de signat upp på nyhetsbrevet är 1) knappt synlig eftersom den är dold i mitten av brödtexten i tackmeddelandet, och 2) den visas aldrig igen när man väl har prenumererat på nyhetsbrevet.
Eftersom flödet inte är särskilt bra, bestämmer ni er för att designa om det helt.
Istället för att ha ett formulär som är en del av sidan, visar ni en popup direkt när besökaren landar på sajten.
Och istället för att gömma rabattkoden i mitten av tacktexten, så lyfter ni ut den och gör den extra tydlig separat från tacktexten.
Ni gör även popupen minimerbar, så att när man stänger den så visas rabattkoden hela tiden nere i högra hörnet av skärmen — så den inte går att glömma bort.
Ni skriver även ett nytt välkomstmail som
innehåller rabattkoden, men det gör ni utan att testa eftersom ni är överens om att det omedelbart lyfter användarupplevelsen, och gör hela konverteringsflödet tydligare.
Efter det sätter ni upp alla nödvändiga mätpunkter. Ni räknar ut att ni behöver ha testet aktivt i 14 dagar (två hela veckor/affärscykler) och utfallet mäts genom att jämföra antalet transaktioner efter signup på nyhetsbrevet.
TLDR;
- En enkel, men genomgående, research och analys lägger grunden för vilka tester du borde göra
- Du bör prioritera dina tester, och börja med de som är mest troliga att påverka
- Du behöver inte testa allt. Om någonting omedelbart förbättrar användarupplevelsen eller gör det enklare för användaren att ta ett beslut, så kan du ofta implementera det direkt utan att testa.
- Bäst är om du kan mäta utfall baserat på ett viktigt konverteringsmål — som transaktioner. Om du testar ett erbjudande så borde din mätpunkt vara transaktioner, inte hur många som klickade på erbjudandet.
Hur använder företag A/B-testning?
A/B-testning har ökat i popularitet i takt med att det har blivit mer tillgängligt. Det används kanske mest inon marknadsföring, men även av produktteam och utvecklare.
Anledningen till att A/B-testning har blivit så populärt är för att kvaliten på datan från resultaten är väldigt hög. Du kan ofta bevisa svart på vitt att en sak fungerar bättre än en annan.
Med hög datakvalitet kan du också besvara frågor som “Vilket erbjudande konverterar högst? 7% eller 10% rabatt?” eller “Vilken ämnesrad leder till fler öppnade mail?” — detta hjälper även ledningsgruppen att fatta bättre beslut.
Med det sagt används A/B-testning främst för 3 syften:
- Utvärdering
När du testar för att utvärdera vill du få insikt i vad som behöver förbättras.- Elimineringstester: Används för att se vilka element som är betydelsefulla för dina kunder och användare. Kör ett A/B-test med två identiska sidor, men ta bort ett eller fler element i ena varianten för att se hur det påverkar konverteringen. Här letar du inte efter en definitiv vinnare — snarare för att se vilka element på din webbsida som är överflödiga.
- Motivationstester: Hjälper dig upptäcka vad som motiverar dina kunder. Detta kan tillfälligt sänka din konverteringsgrad, men det är endast ett test för att se om ett specifikt budskap har en positiv eller negativ effekt.
- Optimering
När du testar för att optimera så letar du efter positiva resultat/förändringar (uplift). Genom att göra en förändring i en popup, ett mail eller på din webbsida. Dessa tester utförs vanligtvis av marknadsförare, ofta utan hjälp av IT eller en utvecklare. Här letar du efter en vinnande variant — en förbättring/ökning i resultat. Om du hittar en vinnare vill du implementera den. - Lansering (inom mjukvara)
När ett produktteam lanserar en uppdatering eller ny version av sin mjukvara, så kan det vara en god idé att lansera den nya versionen som ett A/B-test mot en mindre målgrupp. Du vill veta att din nya variant inte har några negativa effekter för dina användare och KPI:erna du förhåller dig till. Och så länge den nya varianten inte har någon negativ effekt så är det grönt att lansera brett.
De flesta experiment görs utan att vi som användare vet om det, och i de flesta kanaler. Du kan A/B-testa en popup, två olika e-postkampanjer, annonser och allt däremellan.
Vilka är de vanligaste misstagen inom A/B-testning?
Misstag 1: Att avbryta ett test för tidigt
Ett av de vanligaste misstagen är att avbryta ett test för tidigt — innan testperioden är slut, eller så fort du ser att ena varianten presterar bättre.
Detta har att göra med både din provstorlek (sample size) och statistisk signifikans.
Om du avbryter ett test när du anser att ena varianten är en vinnare, så gissar du bara. Det finns ingenting vetenskapligt med ditt eget omdöme när det kommer till a/b-testning.
Det första du måste tänka på är att din webbtrafik är periodisk. Alla webbsidor har mer eller mindre trafik på olika dagar. Logga in i Google Analytics och titta på en 28-dagars graf.
Skillnaden i konverteringsgrad under veckodagar och helger är ofta ganska stor — och du vill undvika att avsluta ditt test på en lågkonverterande dag om du startade det på en högkonverterande dag.
Så, startade du ditt A/B-test på en måndag? Då borde du också avsluta det på en måndag för att utesluta alla säsongseffekter.
Misstag 2: Att testa med för lite konverteringar (och trafik)
Som en tumregel brukar man säga att 1000 konverteringar per månad är gränsen för när du kan börja A/B-testar effektivt.
Om du får en eller två konverteringar per vecka, och gör ett A/B-test där din B-variant konverterar 20% bättre än A, vad har du lärt dig?
Förmodligen ingenting.
Alla älskar A/B-testning, och alla vill gärna göra det. Men du borde inte använda det i optimeringssyfte om du har väldigt lite trafik.
Även om du gör ett test där din B-variant konverterar bättre, så kan det ta månader innan du når statistisk signifikans.
Och om det tar 5-6 månader för dig att få ett pålitligt resultat så är det slöseri med din tid.
Istället borde du bara göra stora förändringar direkt, utan att testa, och sedan se om du märker någon skillnad i konverteringsgrad.
Så, istället för att ändra en rubrik, eller färgen på en knapp…
Designa om hela sidan. Skapa en helt ny startsida, eller en helt ny produktsida. Gör stora, radikala förändringar och se om det gör någon skillnad.
När du börjar närma dig 500-1000 konverteringar per månad kan du börja A/B-testar på riktigt.
Misstag 3: Att inte ha en hypotes
Att testa är bra, men du måste också veta varför du testar någonting.
Om du testar 10% vs. 15% rabatt, och 15% rabatt har 50% högre konvertering — vad har du lärt dig? Att din målgrupp gillar att handla samma produkter till ett lägre pris?
Varje test behöver en hypotes.
En hypotes är ett påstående baserat på en begränsad mängd data, som kan bevisas eller motbevisas med hjälp av vidare undersökning (A/B-testning).
En hypotes borde inte vara ett påstående taget ur luften. Eller ett slumpmässigt görslag från din chef eller kollega.
Det bästa är om du kan göra en ordentlig konverteringsanalys för att upptäcka ett problem och sedan formulera din hypotes.
Misstag 4: Att testa oviktiga saker
Du har säkert hört om Google som testade 41 olika nyanser av blått, eller diverse historier om en e-handlare som fick högre konverteringsgrad med en röd knapp istället för grön?
Denna typ av tester är i 9.9 fall av 10 inte av någon nytta för dig.
Först och främst, allt handlar om visuell hierarki. ”Den bästa färgen” existerar inte. Desto skarpare och mer iögonfallande färg dina knappar har, desto mer syns de (och desto fler kommer klicka på dem).
För det andra, vad lär du dig om din målgrupp om du får fler köp med en röd knapp? Att de gillar rött bättre?
80% av värdet med A/B-testning kommer från att du lär känna din målgrupp bättre.
För det tredje, denna typ av tester är bara till användning om du har tiotals miljoner besökare varje månad eller om det inte finns någonting mer att optimera. Tänk Google, Booking, Zalando.
Sammanfattning
A/B-testning är ett av de mest effektiva sätten att hitta nya taktiker som fungerar. Och så länge du har tillräckligt många konverteringar (~1000 st / mån) så kan du effektivt testa ungefär en sak i veckan.
Förblinda dig inte på vad dina konkurrenter testar, eller vad du gör på konferenser. Alla har olika strategier och målgrupper — även om du solklart ser att någon annans test hade fungerat fint för dig.
Så länge du grundar dina tester och hypoteser på en grundlig målgruppsanalys, kommer du att omedelbart få bättre tester.