Slik måler du effekten av nettstedet ditt 25

Mange synser og mener mye om nettstedet sitt. Utfør heller konkrete målinger og slå i bordet med fakta. Da får du mer penger å rutte med i neste års webbudsjett.

De aller fleste brukere har konkrete mål når de kommer til nettstedet ditt. De har et problem de ønsker å løse. De har en oppgave de skal utføre.

Ifølge Gerry McGovern bør du hele tiden fokusere nådeløst på de viktigste av disse oppgavene – det han kaller “the top tasks”. For å oppnå suksess på nett må du pleie oppgavene og kontinuerlig forbedre nettstedet basert på målinger og observasjoner. Gerry har utviklet en metode, Task Performance Indicator, som han mener kan hjelpe brukerne raskere til mål.

Slik gjør du det:

Steg 1: Identifiser oppgavene

Det første du må gjøre er å finne de viktigste bruksoppgavene.

Eller rett og slett bruk den kunnskapen du har om brukerne dine.

Du bør definere 10 eller flere bruksoppgaver.

Steg 2: Rekrutter deltagere

Rekrutter 15-20 representative brukere.

Steg 3: Utfør målingene

Be deltakerne om å utføre oppgavene en etter en så fort som mulig. Registrer om de klarer å gjennomføre oppgavene, mål tiden det tar og noter utfordringer.

Forskjellen på denne typen måling og mer tradisjonelle brukertester er at vi ikke ber deltakerne tenke høyt og vi diskuterer ikke generelle problemstillinger underveis.

Steg 4: Beregn og rapporter

Det er tre mulige utfall av målingene:

Videre ønsker vi å regne ut Task Performance Indicator (TPI), et tall som gir deg en pekepinn om hvor bra eller dårlig nettstedet er. For å regne ut TPI trenger du:

Og den magiske formelen for å regne ut TPI er som følger:

TPI = suksessrate x (optimal tid / median tid)

Et eksempel: En definert oppgave burde ta 40 sekunder, men testpersonene bruker 100 sekunder (median tid). 9 av 15 klarer å gjennomføre oppgaven, noe som gir en suksessrate på 60 prosent. Regnestykket blir da:

TPI = 0,60 x (40 / 100) = 0,24 = 24%

Hva forteller dette deg?

Dette er de tallene vår samarbeidspartner Gerry McGovern og vi operer med.

Steg 5: Forbedre nettstedet

Poenget med å gjennomføre slike “Task Management”-målinger og regne ut TPI er at du skal ha noe konkret å gå etter når du forbedrer nettstedet og at du samtidig skal kunne rapportere tallene videre. Dette fungerer som et springbrett for økt tilskudd i budsjettet. Ikke fordi mer penger er et mål i seg selv, men fordi ledelsen endelig får øynene opp for problemene på nettstedet ditt.

Steg 6: Utfør nye målinger

Dersom du utfører målinger med jevne mellomrom vil du på sikt drepe synsing. Har du tall og fakta å vise til er det enklere å få gjennomslag for endringer og du kan peke på hva som fungerer og hva som ikke fungerer. Anbefalingen er å måle de samme oppgavene igjen etter ett år.

25 kommentarer

  1. Pingback: → Tweets that mention Slik måler du effekten av nettstedet ditt | IAllenkelhet -- Topsy.com
  2. To spørsmål om denne metoden som slå meg med en gang, håper dere kan svare:

    1. Hvorfor må man gjennomføre dette på rekrutterte deltagere, kan man ikke bare bruke korrekt oppsatt webstatistikk, eller om ikke annet gjøre det remote så man slipper kostnader ved leie av lab, masse koordinering o.l.? Jeg sitter med følelsen at webstatistikk kan gi meg de eksakt samme svarene som denne metoden gir, men på en litt annen måte.

    2. Man måler ingen Satisfaction etter gjennomført oppgave, burde man ikke det? Det kan være 1 minutt med et smil om munnen er bedre enn 45 sekunder med litt panikk, hvordan håndteres dette?

    Kort sagt sliter jeg litt med å finne ut hvor denne metodikken hører hjemme i en verktøykasse som allerede består av Brukertesting, Webstatistikk og konverteringsmåling, A/B/N Testing og Feedback/Customer Satisfaction målinger?

  3. @magnus: Bør/skal kjøres remote. Og bør kombineres med undersøkelse av brukertilfredshet. Sjekk foredraget på Slideshare.

    Hvordan klarer du å finne samme svarene ved hjelp av tradisjonell webstatistikk?

  4. @eirik: Gjennom korrekt oppsett av konverteringer og funnels så bør jeg kunne få ut en task completion rate ved å se på hvor mange som starter, men så avslutter oppgaven. Jeg kan også få ut task competion time. Må nok kombineres/suppleres med f.eks. 4Q som spør bl.a. om hva du som bruker kommer på siten for å utføre. Jeg får ikke en magisk formel, men kan få de samme svarene. Jeg får riktignok mindre presise svar, men større sampling rate og umiddelbar feedback veier opp.

    Føler også at korrekt oppsatte konverteringspunkter og beregning av konverteringsrater (per besøk og per bruker) sammen med voice of the customer undersøkelser vil gi meg bedre svar på om nettstedet fungerer optimalt kontinuerlig enn å gjennomføre en slik test en gang i året.

    Men, som sagt, jeg har ingen erfaring med metoden som blir beskrevet og lurer derfor egentlig mest på hva den kan gi meg som andre metoder ikke kan.

  5. @Magnus Det finnes flere måter å regne ut hvor lang tid en person bruker på å utføre en oppgave og om han eller hun i det hele tatt klarte det. Og du kan supplere med flere forskjellige typer målinger for tilfredshet.

    Tilnærminger og metodikker vil variere, og jeg tror ikke nødvendigvis at det ene utelukker det andre. Det viktige er å sette fokus på bruksoppgavene og gjøre det så enkelt som mulig for brukerne å få gjort det de skal. TPI og CCI, som vi pratet om på seminaret, er utprøvde metoder som fungerer og som vi har tro på :)

  6. It’s great to see interest in the task management approach. We’ve been doing a lot of work with organizations such as Cisco and Microsoft over the years and there are clear signs of a shift in thinking. The old model of web management–managing the content or technology simply hasn’t worked. The new model which involves managing the tasks–the things people do–delivers much more actionable management metrics. I’m very much looking forward to working with NetLife to develop these management techniques in Norway. I think the Norwegian market has the necessary web maturity to embrace and properly use the task management approach.

  7. hmm, stusser litt på “Optimal tid: Estimert optimal tid det burde ta å utføre oppgaven”. Siden dette er en vesentlig del av kalkylen… hvordan finner dere denne?

    Må si at jeg ikke er helt overbevist om at metrics på gjennomføring av oppgaver i en brukertest er riktig vei å gå, og vil utvalget på 15-20 personer gi god not statistisk grunnlag for å si noe som helst?

    Meh, er nok mer enig med Magnus Revang at det er enkelte ting som analytics passer bedre til å måle (som f.eks. tid brukt på å gjøre en oppgave). Samtidig som jeg tror at satisfaction på oppgavegjennomføring i en brukertest vil lide samme skjebne som metrics.

    Disse tingene vil kun fungere som en slags pekepinn, ikke noe å slå hardt i bordet med. Selv om vi alle vet at kunder gjerne vil se tall og statistikk ifbm. brukertesting, så er vi likevel plaget med at utvalget blir for lite til å kunne si noe som helst.

    Mvh
    Haakon
    Tarantell / Making Waves

  8. Takk for innspill, Haakon.

    Skjønner godt at du stusser over ”estimert optimal tid”. Det er definitivt den vanskeligste komponenten å definere. Vi kjører gjennom oppgaven noen ganger med eier av nettstedet. Det forteller oss hvor lang tid det tar å utføre oppgaven med maksimal hastighet. Deretter legger vi på typisk 20 prosent (kan variere). Dermed har vi en estimert optimal tid.

    Vi bruker gjerne webstatistikk til måling av de viktigste bruksoppgavene. Men vår erfaring er at denne metodikken fungerer bedre. Ikke minst pga at vi ser HVORFOR brukerne ikke lykkes. Dermed er det svært enkelt å iverksette konkrete tiltak.

    Statistisk grunnlag: Mener du at 15 til 20 personer ikke er tilstreklig her, mens 5 personer på en tradisjonell brukertest holder? Utdyp gjerne.

  9. @Eirik Er helt enig med deg i at webanalyse ikke gir svar på -hvorfor-, det gir bare svar på -hva-. Det er derfor at man alltid må supplere med løsninger som gir deg -voice of the customer-. I tillegg så vil riktig bruk av AB testing, hvor man behandler testene som eksperimenter på samme måte som i adferdspsykologi, med hypotese, test og resultat, føre til at man også får tilbakemelding på -hvorfor-.

    Foreløpig føler jeg ikke at jeg har fått noen tungtveiende argumenter for å inkludere denne type måling der jeg allerede bruker brukertester, webstatistikk, feedback og ab testing. Hvilken innsikt er det data fra denne målingen kan gi som eksisterende (og muligens billigere) metoder allerede kan gi?

  10. Beklager at jeg gjentar meg til det kjedsommelige her :-)

    @Bjørn Jeg ser at det da er et verktøy til i verktøykassa, men da blir spørsmålet mitt heller: I hvilke tilfeller skal jeg velge denne metoden over de verktøyene jeg nevner? Jeg mangler fortsatt svaret på hva denne metoden gir meg som de andre metodene ikke gir meg?

    I tillegg, hvis jeg har et begrenset budsjett, burde jeg ikke investere i løsninger som man kan bruke igjen og igjen (webanalyse, feedback og ab-testing), og ikke en metode som krever samme investering i tid og penger hver gang man skal gjennomføre den?

  11. @Magnus Kjør på, jeg kjeder meg ikke! Det er godt å bli utfordret :)

    Hvilken metode du bruker avhenger av preferanser og erfaringer. Denne metoden er mye brukt i forbindelse med intranett i større organisasjoner – altså mange personer som skal utføre de samme oppgavene (f.eks. personsøk) ofte. Du kan hente ut tall på hvor mye tid organisasjonen totalt sett ville ha spart dersom det var enklere for de ansatte å søke etter personer.

    Denne metoder trenger ikke å koste mye i kroner og øre fordi du ikke må ha tilgang til brukertestlab. Det den koster er tid og “dedication” – noe alle metoder krever dersom du skal gjøre det skikkelig.

  12. @Magnus Dersom du allerede kjører brukertester, webstatistikk (analyse), tilbakemeldinger og AB-testing så er det ikke sikkert du trenger å plusse på med TPI. Task measurement underkjenner ikke andre metoder. Det er ett av flere redskaper du kan ta i bruk for å måle effekten av nettstedet ditt og for å navigere stødigere gjennom internpolitiske diskusjoner.

  13. Pingback: → Hvorfor er 5 brukere nok i en brukertest? « Information Design & Usability
  14. @Eirik hmm, du trigget et langt svar fra meg.

    Fant ut at jeg måtte poste det på min egen blogg i fare for å gå fullstendig “offtopic” på denne tråden :)

    Kortversjon: i følge Jakob Nielsens utregninger ender dere opp med en feilmargin på +/- 19% med 20 brukere. Det er jo nokså mye… dessuten trekker dere inn suksessrate inn i miksen, noe som gjør det enda litt mer “hårete” å stole på tallene. http://www.useit.com/alertbox/quantitative_testing.html

    Og – ja – man kan få helt gyldige resultater ved å teste med 5 brukere i brukertest. Les mitt svar på akkurat det her:
    http://haakonha.wordpress.com/2010/09/09/hvorfor-er-5-brukere-nok-til-brukertest/

  15. @Bjørn Nå er tittelen på innlegget “Slik måler du effekten av nettstedet ditt” og ikke “Slik måler du effekten av intranettet ditt”. En vesensforskjell ettersom måling av Nettsteder og Intranett knapt er samme fagfelt. Jeg ser fortsatt absolutt ingen fordeler ved denne metoden over tradisjonelle metoder på Nettsteder – og du har enda ikke gitt meg noen argumenter.

  16. @haakon: Morsomt at vi tolker samme referanse helt ulikt:)

    Jakob Nielsen skriver: “Based on the above analysis, my recommendation is to test 20 users in quantitative studies.” Det samme som vi anbefaler.

    Om feilmargin: “Also, remember that the +/- 19% is pretty much a worst-case scenario; you’ll do better 90% of the time. The red curve shows that half of the time you’ll be within +/- 8% of the mean if you test with 20 users and analyze data from 19. In other words, half the time you get great accuracy and the other half you get good accuracy. That’s all you need for non-academic projects.”

    Til slutt x 2:

    - TPI er like mye kvalitativ som kvantitativ.

    - Metodikken skal ikke erstatte tradisjonelle brukertester i regi av Netlife Research. Den er et supplement.

  17. @Eirik ok, vi kan bli enige om å være uenige om TPI er en bra metode eller ikke, men du er enig i at det ikke er sammenlignbart med 5 brukere i brukertest?

    OG som jeg tvitret nå nettopp. Jeg synes det er bra at dere prøver å utvide produktspekteret innenfor brukertestområdet – fortsett med det!

  18. @haakon: ja, jeg er enig i at 5 – 8 holder i rent kvalitative tester. Skal vi få ut noen kvantitative data trenger vi ca 20. Som herr Nielsen påpeker.

    Gir deg gjerne en demo hvis du ønsker. Kanskje du blir mer positiv til metodikken, kanskje ikke:)

    Uansett: tusen takk for kommentarer og diskusjon!

  19. Metoden vi diskuterer her er utviklet og utprøvd av Gerry McGovern og Rolf Molich. Vi spilte derfor ballen over til Irland for å høre hvilke innspill Gerry har:

    Question 1: Why should users choose TPI over traditional user testing? What added value does it give?

    TPI is a management metric. When you can say that there is a “50% failure rate” on a task that will get attention. The disaster rate is also very powerful, as it can have legal implications. Traditional user testing covers a massive range and often has an exploratory, talk aloud angle. TPI does use elements of usability but is much more in the time and motion study area.

    In a TPI the tasks should be “top tasks” as identified in the task identification process. This is really essential as if you measure and improve “tiny tasks” you could actually make the website worse, in that it will deliver less overall value, because an improvement in the tiny task could have caused a disimprovement in a top task. These top tasks are then very carefully measured to get actual normal behaviour on task. We have spent a lot of effort developing a process that encourages such behaviour.

    TPI delivers management metrics:
    - Success rate
    - Disaster rate
    - Completion time
    - Overall TPI score

    We say to management that “fix the basics” is getting the success rate about 90% and the disaster rate below 5%. Then “best practice” is to focus on the time on task and reduce it. So, they are managing the tasks, not the content or technology. We find this approach is resonating very strongly with organizations such as Cisco, Microsoft and Tetra Pak. It’s really making a difference to how they manage their websites.

    Question 2: Is 15-20 test participants enough to provide statistically reliable results?

    Yes, we believe so. We have tested as various numbers and have found that 15-20 will get us reliable management metrics. In fact, we usually begin to see the percentages stabilize as we go over 10.

    Question 3: How do you calculate the “optimal time”?

    The optimal time is, no doubt, hard to get absolutely precise and for this reason we have created flexibility in the formula which means that it doesn’t have to be absolutely precise. If someone takes twice the optimal time then the score is not impacted too badly. However, if it’s 10 times the optimal time for most participants then that’s telling us something.

    We do think it’s absolutely essential to have an optimal time. We work with experts within the organization to calculate it. We use our own expertise. We task into account the time of the fastest participant. We take a number of issues into account.

    Question 4: Is lowering the time it takes to complete a task always better?

    People are happy with a task when they complete it and all the evidence we see is that people crave speed—to get it done as quickly as possible. Google have understood the need for speed better than anyone and just last week Google CEO Eric Schmidt stated: “We’re trying very hard to get you something fast. Never underestimate the power of fast. Quick, quick, quick–we want to help you right now.”

    But, of course, the task must be completed and there must be no disasters (getting wrong answers and thinking it’s the right one). So, that’s why we stress that “fix the basics” involves focusing on the success and disaster rates and only after they are of a high quality to focus on the time.

  20. @Magnus TPI har den fordelen at du kan måle tid uavhengig av teknologier, plattformer og andre backend-systemer. Du vil kunne fange opp hvor lang tid brukeren tar på å utføre en oppgave selv om brukeren underveis velger å gå ut av nettsiden/intranettet for deretter å komme tilbake. F.eks. via Google.

  21. @Gerry McGovern and @Bjørn: I have to say that even though a webguru like McGovern uses this method and argues quite well about its advantages, I don’t trust the results and the TPI number will be… well… useless?

    Again, I feel my response got a bit lenghty so I posted it on my blog: http://haakonha.wordpress.com/2010/09/17/task-performance-indicator/

  22. Pingback: → Continued debate about the “Task Performance Indicator” « Information Design & Usability
  23. Man kommer også langt med å se andre bruke nettsiden og diskutere med dem.

  24. For meg koker det ned til at TPI ikke blir bedre enn synsing fordi det innholder synsing, spesielt hva man mener er “optimal tid” (men også antall testdeltakere ser jeg av debatten over). Optimal-/mediantid gir bare et forholdstall som plasserer brukerne relativt til egne forventninger, og har dermed liten verdi som “harde fakta”.

    Suksessraten kan si noe, men ikke alene. Jeg leverer måleravlesning til Trondheim Energi regelmessig, plundrer hver gang og forbanner systemet like ofte, men jeg får det til. 100% suksess, 100% misfornøyd. (Rimelig fort går det faktisk også).

    Da står man vel egentlig ikke igjen med så mye tallfakta å slå i bordet til mellomlederne med?

  25. Hadde denne diskusjonen i Irland for noen uker siden med de som har jobbet med metoden i flere år. Det var en lang diskusjon og det meste av det som har kommet opp her ble drøftet i detalj.

    “Optimal time” er fortsatt vanskelig, selv om jeg mener du kan regne ned ganske nøyaktig hva den burde være. TPI tar høyde for dette (som Gord Hopkins også poengterte på bloggen til haakonha).

    Om raskeskt mulig completion time er “best” kommer an på kontekst. TPI er ikke en metode som fungerer på alle mulige nettsteder og intranett, uansett kontekst og mål. Det er heller ikke en metode som på noen som helst måte skal overskygge eksisterende metoder. Det er et tilleggsverktøy/alternativ som kan være med å hjelpe nettstedeiere (eller andre) med å overbevise ledere/mellomledere om at visse grep må gjøres for å blir bedre på nett.

    TPI handler nok også om å vri vokabularet (i leveransen) litt fra det å prate om IA, usability og UX til å prate om tid, hvor mange brukere som feiler og hvor mye tapt produktivitet/tid du potensielt kan unngå ved å å sette oppgavene mer i fokus. Dette tror jeg appellerer til de med pengesekken :)

Skriv en kommentar

  • *

XHTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>