A/B-testning för webbsidor
Vad är A/B Testning för webbsidor?
A/B testning är en teknik som inom webbutveckling och dataanalys på webben används för att skapa jämförelser mellan alternativa utformningar av olika aspekter av en webbsida. Den bygger på att de olika versionerna – A och B, men det kan röra sig om ytterligare version – testas av ett randomiserat antal användare. Användarna randomiseras ofta genom Javascript-kod sätts in, vilken kan skapas automatiskt skapas med hjälp av olika verktyg (Siroker & Koomen 2013, s. 10-20).
Den som utför ett A/B har ett på förhand identifierat konverteringsmål – t ex att så många användare som möjligt gå vidare till och stanna på en viss sidan, eller klicka på en specifik knapp – och testningen gör det möjligt att med statistiskt säkerhet avgöra vilken version som är mest framgångsrik med avseende på detta mål. Det är möjligt att utvärdera en mängd olika aspekter av en webbsida, från grafisk design till olika typer av användarbeteenden (Beasley 2013, s. 201, Siroker & Koomen (2013, s. 10-20).
A/B-testningens olika faser
A/B testning kan alltså gälla ett stort antal aspekter, men Beasley menar att den är särskilt effektiv att använda på sidor där användare kan genomföra någon av webbsidans centrala mål. Några vanliga typiska UI/UX föremål att göra A/B-testning på är emellertid placering av knappar liksom färger på olika grafiska element på webbsidan; produktpriser; popupboxar; och formulär (Mightybites 2022). Sidor vars syfte är att användaren ska genomföra en handling – t ex intressera sig för och köpa en produkt eller ladda ned ett informationsdokument – lämpar sig alltså väl för att utvärderas på detta sätt. Ofta är målet naturligtvis knutet till sidans övergripande syfte, som skiljer sig åt beroende på om det är en informerande eller kommersiell webbsida (Siroker & Koomen 2013, s. 19)
Centralt för framgångsrik A/B-testning är också att ha tydligt definierade kriterier för att mäta framgång. Det krävs att vi på förhand bestämmer vilken handling som bör räknas som en konvertering (a conversion rate) så att vi kan avgöra vilken version som har högst konverteringgrad (som är är antalet konverteringar delade med antalet besökare). Siroker & Koomen betonar att det är centralt att reflektera över vad som gör att konverteringar avbryts eller varför konverteringsgraden i nuläget inte är optimerad (2013, s. 17-20).
När det gäller utformandet av de olika alternativ i förhållande till ett conversion rate, betonar Siroker & Koomen att formulera hypoteser utifrån det vi tidigare vet om användare utifrån till exempel intervjuer, enkäter och nuvarande beteende på webbsidan (2013, s 18-20). Även Mightybytes (2022) betonar att det för vissa A/B-testning-projekt kan vara värt att få kunskap om användarna genom kvalitativa metoder, som personas, intervjuer och användartester. Testets utformning bör enligt Siroker & Koomen grunda sig på på ett klart utformade framgångsmål och vad som i nuläget förhindrar dessa konversioner, liksom på hypoteser som i hög grad tar in den nuvarande kunskapen om användarna (2013, s 18-20). Beasley menar att det med begränsade resurser och tid ofta är lättare att lära sig av A/B-testning av olika versioner som tydligt skiljer sig från varandra – samtidigt som det då kan vara svårt att identifiera vad i utformningen som påverkar conversion rate. Med mer tid och resurser går det emellertid att göra små, stegvisa förändringar av designen, och på sätt även bättre få en och mer detaljerad förståelse vad som orsakar ett högre conversion rate (Beasley 2013 s. 205)
Många A/B-tester är relativt tidskrävande och fordrar ett stort antal användare; ibland framträder små skillnader i conversion rates först efter månader. Som testare kan det alltså vara bra att kunna uppskatta hur lång tid och hur många användare som krävs för att få statistiskt signifikant resultat – något som räknas ut genom att till exempel jämföra med sidans genomsnittliga antal besökare under en viss tidsperiod, även om ett stort antal faktorer också kan vara relevanta för detta syfte (Beasley 2013 s. 205).
1. Fördelar och nackdelar med A/B-testning på webben
Fördelar med A/B-testning
Många UX-designers och utvärderingsexperter tycks vara överens om att AB-testning har många fördelar, och det tycks finnas en relativt starkt konsensus om vilka fördelar dessa är.
Ett av dem är att A/B-testning i högre grad än andra utvärderingar (t ex kvalitativa) ger en relativt säker evidens om vilka förändringar som kommer att öka konverteringsgraden. Utvecklare har ofta ett stort antal idéer om vad som öka konverteringsgraden, men för att prova vad som fungerar i verkligheten krävs att vi studerar faktiskt användarbeteende. (Mightybytes 2022, Budd 2020, Berezhnoi 2021, Rees, 2020). Det är också sannolikt att andra metoder för att få reda på vad användare anser om ett förändringsförslag riskerar är att vara föremål confirmation bias, då hur och vilka frågor vi ställer kan leda till vi som utvecklare får våra egna favoritidéer bekräftade.
En annan fördel med A/B-testning är att ofta finns konflikter mellan olika personer i ett designarbete om vad som bör förändras, och då kan ett A/B -test fälla ett avgörande som kan komma överens om (Budd 2020). Även detta skiljer den från från andra mer kvalitativa metoder, som i högre grad går att manipulera utifrån egna preferenser.
En annan fördel som flera identifierat är att A/B-testning kan bidra till en kultur av experimenterande, där nya och originella idéer kan prövas eftersom det med ett tillförlitligt test finns färre risker (Budd 2020).
Nackdelar med A/B-testning
En nackdel med A/B-testning som flera utvecklare identifierade är de ofta är tids- och resurskrävande. Det kräver ofta att man koordinerar ett team under en längre tidsperiod, och kan ofta kräva ett relativt avancerad tekniskt kunnande om webbutveckling, samt tillgång verktyg för uforma de olika alternativen. Det är en form av utvärdering som ofta både innefattar design, programmering och dataanalys, och som om man arbetar i team ofta innefattar förhandlingar och samarbeten mellan olika parter med skilda kompetenser (Budd 2020).
En annan nackdel med A/B-testning är att den kan göra designers och utvecklare alltför fokuserade på enskilda konversioner, och därmed missar användarens helhetsupplevelse av en webbsida. Förändring som leder till ökade konverteringar – som fungerar bäst i A/B-tester – är inte nödvändigtvis de gör användare nöjda med och känner förtroende för en webbsida som helhet på lång sikt (Budd 2020).
Flera utvecklare lyfter också fram att A/B-testning inte är idealiskt när det gäller att mäta vissa delar av användarupplevelsen, och att andra användbarhetstester gör dessa bättre (Saleh 2022). När det gäller kvantitativa frågor som är knutna till enskilda handlar är A/B-tester överlägsna. Dessa kan t ex vara frågor som: “Vilken meny kommer att ge flest besök hos den mest viktigaste informationen på webbsidan?” “Hur bör popupboxen vara utformad för att få maximalt antal prenumeranter?” När det å andra sidan handlar om frågor som är längre processer och som involverar användaren upplevelser och känslor, kan A/B-tester ha svagheter i jämförelse med andra metoder. Dessa är frågor som “Blir användare distraherande eller frustrerade under något av stegen för att utföra en steg-för-steg process?” “Kan användare effektivt nå sitt huvudsakliga slutmål på en webbsida?” (Saleh 2022). A/B-testning kan ge indikationer även på det senare frågorna, men det krävs ofta de kompletterar med användarundersökning för att ge en fullt tillfredställande svar. Det tar också ofta betydligt mind tid i anspråk att för att få fram värdefulla resultat andvändartester.
Enligt Saleh (2022) kan det vara fruktbart att genomföra mindre tids- och resurskrävande användartester som en förberedelse för att A/B-test, vilket som vi tidigare varit inne på kan leda till relevanta hypoteser om användarbeteende. Men kunskap om användarna som är baserade på kvalitativa undersökningar kan också användas för att validera och säkerställa kvantitativa resultat. Det bästa är med andra ord om det sker en växelverkan mellan kvalitativ utvärdering och A/B-testning, som skapar en helhetlig bild av användarna och deras erfarenhet av webbsidan.
Sammanfattning
A/B testning kan göras på många element av en webbsida, och är särskilt effektiva när det gäller kvantifiering av handlingar. I processen att skapa ett A/B-test är det viktigt att utgå från det vi redan vet om användarna, och det kan vara värt att genomföra mindre krävande användartester för att komma fram med mer välgrundade hypoteser. Centralt är även att identifiera av ett tydligt framgångsmål och att kunna uppskatta hur lång tid och hur många användare som krävs för att nå statistiskt signifikans. När det gäller fördelar framhåller många webbutvecklare och optimeringsexperter det faktum att A/B-testningen är en av de mest objektiva och verklighetsbaserade typerna av utvärdering som särskilt viktig, eftersom det gör det möjligt att med stor säkerhet verifiera om idé eller förändringsförslag fungerar hos användare. Detta gör det möjligt att nå lösningar som alla i ett team kan vara ense om och kan bidra till en experimentell miljö. Nackdelar är att A/B-testning ofta är tids- och resurskrävande; att det kräver koordination mellan olika arbetsgrupper med skilda kompetenser; att saker som “fungerar” ibland kan bidra till aspekter av användarnas helhetsupplevelse som negligeras; samt att det finns vissa typer av användarerfarenhet som bättre och snabbare kan fångas upp av mer kvalitativa metoder.
Litteratur:
Budd, A., (2020). ‘The Good, The Bad and The Ugly of A/B Testing’, Clear Left.
Available at https://clearleft.com/thinking/the-good-the-bad-and-the-ugly-of-a-b-testing (Accessed: 12/1 2022).
Mightybytes, (2022). Mightybytes. How A/B Testing Improves Websites Available at https://www.mightybytes.com/blog/ab-testing-user-experience-website/ (Accessed: 12/1 2022).
Berezhnoi, R., (2021). Pros and сons of split testing (A/B testing). F5 Studio. Available at https://f5-studio.com/articles/split-testing-a-b-testing/ (Accessed: 12/1 2022).
Brebion, A. (2022). User Testing and A/B Testing… Strengths and Differences https://Available at www.abtasty.com/blog/ab-testing-user-testing-difference-strength/ (Accessed: 12/1 2022).
Saleh, K. (2022). User Usability Testing Vs A/B Testing: Friends or Foes? Available at https://medium.com/@khalidh/user-usability-testing-vs-a-b-testing-friends-or-foes-593a8124982c (Accessed: 12/1 2022).
Rees, D., (2020). The pros and cons of A/B testing Available at https://www.experienceux.co.uk/ux-blog/the-pros-and-cons-of-ab-testing/ (Accessed: 12/1 2022).
Siroker, D., Koomen, P. and Harshman, C. (2015). A/B testing : the most powerful way to turn clicks into customers. Hoboken, New Jersey: John Wiley & Sons, Inc.
Beasley, M. (2013) Practical web analytics for user experience: How analyticscan help you understand your users. Waltham, MA: Morgan Kaufmann.
