Få detaljene på plass med A/B-testing 1

Du har sikkert vært der. Prosjektet nærmer seg slutten, men alle i møterommet er helt overbevist om at de vet akkurat hvordan den siste lille detaljen må være..

Da kan det være på tide å ty til A/B-testing! Her er tips fra Josh Porters workshop på UX London.

Hva er A/B-testing?

A/B-testing vil si at man publiserer ulike versjoner av den samme nettsiden, og så ser hvilken av disse som klarer seg best.

Det første du må gjøre er dermed å finne en målsetning for A/B-testen din, for eksempel hvordan du kan øke salget i nettbutikken din. Tenk gjennom hva som kan påvirke salget.

• Hva har det for eksempel å si hvor mye tekst det er?
• Hva har det å si hvor bildene er plassert?
• Eller er det kanskje “legg til i handlekurv”-knappen som er mest avgjørende?

Etter dette lager man to eller flere alternativer som testes med faktiske brukere av nettsiden. Det finnes en rekke verktøy som kan hjelpe til med dette, for eksempel

• Google Website Optimizer
• Visual Website Optimizer
• Optimizely
• Unbounce

Ofte er det ikke så store forskjeller mellom variantene, så det er lurt å sjekke om resultatene faktisk er statistisk signifikante.

Fem ting å huske på..

Lag to eller flere varianter

Det er en god idé å begynne med å teste én ganske stor endring, og så kan heller gjøre flere tester senere for å finpusse.

Test en variabel av gangen

Hvis du ender med å endre farger, tekst og plassering av elementer så aner ikke du ikke hvorfor den ene varianten gjorde det bedre enn den andre. Hvis du har flere ting du har lyst til å endre på, må du teste alle kombinasjonene for seg.

Trafikkfordelingen må være tilfeldig

For å vite om én variant faktisk er bedre enn en annen, så må du sørge for at alle variantene får samme type trafikk. Alle som kommer til siden må sendes til en helt tilfeldig variant.

Test variantene parallelt, ikke etter hverandre

Om du tester ulike varianter etter hverandre, så kan du ikke vite om endringen i resultater skjer fordi du har andre type besøk på mandager enn på fredager, eller om det var fordi versjon B faktisk var bedre enn versjon A.

Ha et mål du kan teste mot

For at skal kunne lese noe ut av testen bør du ha et helt konkret konverteringsmål, for eksempel hvor mange av de som kom til siden som faktisk klikket på “Bestill” eller registrerte seg til nyhetsbrevet.

Hva får du ut det?

Om man forsøker å diskutere seg frem til hvordan siden skal se ut, så kan man i stedet lage to eller flere variasjoner og se hvilken som klarer seg best. Takket være menneskets fantastiske evne til å etterrasjonalisere er det ikke like enkelt å få svar på dette gjennom å spørre folk!

Når man gjennomfører testen så kan man fort erfare at brukerne er opptatt av helt andre ting enn det vi hadde trodd. Dermed er det også en god måte å lære noe om hva som faktisk har konsekvenser for hvordan nettsidene brukes – og ikke minst hvor ens egne styrker er i utvikling av nettsider. Hvor ofte klarer du gjette hvilken variant som gjør det best?

Hvem passer A/B-testing for?

A/B-testing avhengig av at man har en del trafikk på nettstedet. Det finnes kalkulatorer for dette, men Josh Porter sa det slik:

If you have 5 people visiting every day, don’t bother. If you have 1 million, it’s done in 15 minutes.

Om man har mye trafikk er det dermed en veldig kostnadseffektiv måte å forbedre nettsiden, og det gir deg frihet til å prøve og feile litt etter litt.

Ikke minst så gir A/B-testing deg tall du kan slå i bordet med, også når du må overbevise folk som normalt ikke arbeider med nett. Når tallene viser at salget har økt med 40%, så er det vanskelig for sjefen å si nei.

Selvsagt er det ulemper og utfordringer også…

A/B-testing er bare en av mange verktøy i verktøykassa. Styrkene ligger først og fremst i at det er en god måte å teste hypoteser, og at det er kostnadseffektivt for nettsider med mange besøkende.

Hvorfor ble B bedre enn A?

Det er vanskelig å vite hvorfor en variant klarer seg bedre enn andre. Vær derfor forsiktig med å kopiere andres A/B-resultater til din egen nettside. Om en A/B-test for eksempel viser at en grønn knapp ga større konvertering, så kan det godt være fordi grønn ga en høyere kontrast på akkurat den nettsiden, heller enn at knapper alltid bør være grønne!

Er det endringen i seg selv som gjorde utslaget?

Om du har en nettside som folk besøker jevnlig, så vil de sannsynligvis legge merke til det om du gjør en stor endring på nettsiden din. Kanskje er det flere enn før som klikker seg inn. Dette er en effekt som vil reduseres over tid, om folk venner seg til det nye utseendet.

Er det endelig konvertering du måler?

Det finnes to typer konvertering, umiddelbar og endelig. Den umiddelbare er den enkleste å måle. Av de som kommer inn på siden, hvor mange trykker på knappen?

På den annen side, om du har klart å øke antallet som legger en vare i handlekurven, så er det ikke sikkert at alle disse fullfører kjøpet. Eller om du får økt antall donasjoner, så kanskje det har skjedd på bekostning av beløpet de har donert. Derfor er det viktig å tenke gjennom hva tallene dine egentlig forteller deg!

Den forferdelige selvtvilen!

En ganske underholdende del av workshopen til Josh Porter var når han viste oss ulike varianter av nettsider, og fikk et rom fullt av profesjonelle UX-folk til å gjette på hvilken variant som klarte seg best. Veldig ofte så gjettet vi feil!

Det betyr jo på den ene siden at A/B-testing er veldig nyttig, på den annen side kan man det også bety at man mister helt troen på egen kunnskap og intuisjon. Douglas Bowman holdt ut 3 år hos Google:

Reduce each decision to a simple logic problem. Remove all subjectivity and just look at the data. Data in your favor? Ok, launch it. Data shows negative effects? Back to the drawing board. And that data eventually becomes a crutch for every decision, paralyzing the company and preventing it from making any daring design decisions.

Når synes dere man skal benytte A/B-testing? Det finnes en hel haug med eksempler på ABTests.com.