Hoe meet je de temperatuur van een website?

Objectief ervaringen vergelijken is lastig. Zeker als je het hebt over gebruiksvriendelijkheid. Hoe gebruiksvriendelijk is een website in vergelijking tot concurrerende websites? Zijn er verschillen in gebruikerservaringen tussen diverse doelgroepen die op deze website komen? Hoe kom je hierachter?

Dit artikel concentreert zich op kwantitatief usability onderzoek. Het bekijkt welke vragenlijst (de thermometer) vanuit wetenschappelijk onderzoek het meest geschikt is om te bepalen hoe gebruiksvriendelijk je website is. En hoe je deze cijfers vervolgens kunt interpreteren om vast te stellen hoe goed je het doet. Tot slot op welke manieren deze vragenlijst in usability onderzoek kan worden ingezet. 

Gebruikersonderzoek

Usability onderzoek kan kwalitatief en/of kwantitatief zijn. Wat is het verschil? Zijn de aantallen onderzoekseenheden beperkt – minder dan 30 per onderzoek– dan spreek je van kwalitatief onderzoek. Een onderzoek met meer dan 30 onderzoekseenheden is kwantitatief (moaweb.nl).

Kwalitatief usability onderzoek is uitermate geschikt voor het achterhalen van gedrag en dieperliggende motivaties of attitudes van gebruikers ten opzichte van een website. Ook het verkrijgen van nieuwe ideeën en mogelijkheden voor de website kan een doelstelling zijn bij dit soort onderzoek. 

Maar, dit blijft voor een vrij kleine groep gebruikers. Dit betekent dat de conclusies niet te generaliseren zijn naar een grotere groep (website) gebruikers.

Ook is de gebruiksvriendelijkheid van een website in kwalitatief onderzoek altijd context specifiek. Dit betekent dat het lastig is om de usability van de ene website, bijvoorbeeld van een gemeente (informatief), te vergelijken met een andere website, die van een vliegmaatschappij (e-commmerce). 

Welke thermometer is de beste? 

Er bestaan diverse gevalideerde vragenlijsten voor kwantitatief onderzoek om de usability van een website te evalueren. Dit artikel bekijkt alleen de niet-commerciële vragenlijsten. Aangezien deze toegankelijk voor een breed publiek en wetenschappelijk onderbouwd zijn.

Een greep uit de bestaande vragenlijsten voor het beoordelen van website usability: System Usability Scale (Brooke, 1996), Questionnaire for User Interface Satisfaction (Chin, Diehl & Norman, 1988), Computer System Usability Questionnaire (Lewis, 1995) en Usability Magnitude Estimation metric (Rich & McGee, 2004).

Tullis & Stetson (2004), Bangor, Kortum & Miller (2008) en Lewis & Sauro (2009) hebben diverse vragenlijsten voor de beoordeling van websites onderzocht. Allen zijn tot de conclusie gekomen dat de System Usability Scale (SUS) een robuuste, valide en veelzijdig inzetbare vragenlijst is om tot een score van de gebruiksvriendelijkheid van een systeem, productontwikkelingsproces of website te komen. 

System Usability Scale

De System Usability Scale is opgesteld door Brooke (1996) als een ‘quick and dirty survey scale’ voor usability onderzoek om de gebruiksvriendelijkheid van een systeem te beoordelen. De SUS bestaat uit 10 vragen (zie figuur 1). De vragenlijst is gebaseerd op de 3 usability criteria opgesteld door ISO 9241-11 (internationale standaarden voor organisaties en overheid):

1. Effectief: vermogen van gebruikers om taken uit te voeren en de kwaliteit van de output van de taak
2. Efficiënt: de hoeveelheid taken de gebruiker kan uitvoeren
3. Tevredenheid van gebruikers over het systeem (website)

De vragen zijn gemeten met een 5-punts Likert schaal (zeer mee oneens – zeer mee eens). De helft van de vragen is positief geformuleerd en de andere helft negatief. Dit is gedaan om te voorkomen dat respondenten de vragen lukraak beantwoorden zonder goed te lezen (respondentbias). Deze volgorde ‘dwingt’ hen om de vragen beter te lezen. En dit komt weer de kwaliteit van de output ten goede.

De SUS is interessant voor het testen van de totale usability van een website, omdat de vragenlijst:

• 1 score geeft (bijv. 73 op een schaal van 0-100) als output, die makkelijk te interpreteren is voor verschillende betrokkenen in een organisatie 
• Gemakkelijk is te beoordelen (score 0-100 die overeenkomt met beoordeling van studieresultaten) en maakt  dus een vergelijking met andere websites mogelijk
• Voor meerdere interfaces toepasbaar is (ook mobiel)
• Snel en gemakkelijk te gebruiken is voor respondenten 
• Veel verschillende aspecten van de gebruiker’s reactie toetst. Zoals ‘ik vond de website onnodig complex’ in plaats van de gebruiker specifieke aspecten van de website te beoordelen (organisatie van informatie of de vormgeving)

Wanneer doe ik het goed?

Welke SUS score geeft aan dat je website gebruiksvriendelijk is?

De uiteindelijke score uit de SUS kan lopen van 0 tot 100. Hogere scores impliceren een hogere gebruiksvriendelijkheid. Bangor, et al. (2008) hebben bijna 10 jaar onderzoek gedaan met meer dan 2300 vragenlijsten en 200 studies als input voor een benchmark voor de SUS score.

De resultaten uit hun onderzoek geven usability onderzoekers de gelegenheid om hun SUS scores beter te kunnen evalueren. Zij concludeerden dat de universitaire manier van betekenis geven aan cijfers gelijk is aan hoe een SUS score wordt geëvalueerd. Dus <60 is onvoldoende, 60-70 voldoende, 70-80 goed, 80-90 zeer goed en >90 uitmuntend. Ultieme score is dus 100. Het gemiddelde is 70.14 (Bangor, et al.,2008).

Hoe de SUS toe te passen in usability onderzoek?

Jungle Minds past de SUS - in Jungle Minds terminologie- de Website Usability Scale (WUS) toe op 6 manieren binnen usability onderzoek:

1. Onderdeel van kwalitatief usability onderzoek (N<30)

De gebruiker wordt na het gebruik van de website gevraagd de WUS in te vullen. Het aantal respondenten is klein dus de scores worden indicatief ingezet. De scores zijn zodoende niet generaliseerbaar, maar geven je wel de mogelijkheid om je eigen score af te zetten tegen die van anderen. 

2. Na een kwalitatief usability onderzoek (N>30) 

Er komen bepaalde issues uit de usability test, maar het is niet geheel zeker of dit ook voor de totale doelgroep geldt. De WUS kan als follow-up ingezet worden bij een grote groep gebruikers. Ook kan het interessant zijn om op efficiënte wijze te onderzoeken of er verschillen zijn in usability score voor verschillende doelgroepen.

3. Kwantitatief usability onderzoek (N>30)

De WUS kan als opzichzelfstaand kwantitatief onderzoek worden ingezet om de gebruiksvriendelijkheid van een website te meten. Dit is goed om te bepalen of verdere actie moet worden ondernomen.

4. Onderdeel van online enquête (N>30)

Tijdens een online enquête is een grote groep in korte tijd ondervraagd over bezoekreden, bezoekfrequentie van de website. WUS vragen kunnen uitstekend ingezet worden om het construct website usability te meten. 

5. Iteratief testen van een website (N>30)

Bangor, et al. (2008) hebben onderzocht dat de WUS voorziet in waardevolle benchmark informatie tijdens een product - of websiteontwikkelingstraject.  De SUS wordt herhaaldelijk ingezet om de voortgang van het ontwikkel- of verbetertraject te evalueren.

6. Benchmarken van websites (N>30)

De WUS scores van diverse websites verzamelen, vervolgens de diverse scores met elkaar vergelijken. Dit geeft de mogelijkheid om te bepalen of een bepaalde website ten opzichte van concurrerende websites zijn usability wel/niet moet verbeteren. Dit is de mooiste toepassing van de WUS in combinatie met kwalitatief usability onderzoek.

Tot slot

Hoe meet je de temperatuur van een website? Kwalitatief usability onderzoek is zeer waardevol om de gebruiksvriendelijkheid van een website te evalueren. Daarnaast kan (aanvullend of opzichzelfstaand) kwantitatief usability onderzoek middels de WUS de ‘temperatuur’ van een website meten. 

Als je vervolgens je scores wilt afzetten tegen de ‘norm’ is de WUS een goede manier om de gebruiksvriendelijkheid je website te meten. Daarnaast geeft de WUS score een duidelijke en betrouwbare betekenis aan de mate van gebruiksvriendelijkheid van een website voor een grote groep website gebruikers. 

Doe je mee? 

Jungle Minds is bezig het uitbreiden van haar database. 

Wij bieden - de eerste 10 mailers - een gratis WUS aan op je eigen website in ruil voor de data. Zo heb jij inzicht in de usability van je website en kunnen wij de database aanvullen.

Meld je nu aan! 

Stuur een email naar: marijke.van.moll@jungleminds.nl

• Bangor, A., Kortum, P.T. & Miller, J.A. (2008). An empirical evaluation of the System Usability Scale (SUS). International Journal of Human-Computer Interaction 24(6). 574-594.
• Brooke, J. (1996). "SUS: a "quick and dirty" usability scale". in P. W. Jordan, B. Thomas, B. A. Weerdmeester, & A. L. McClelland. Usability Evaluation in Industry. London: Taylor and Francis. 
• Chin, J.P., Diehl, V.A. & Norman, K. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. In Tullis & Stetson (2004).
• Lewis, J.R. (1995). IBM Computer Satisfaction Questionnaires: Psychometric evaluation and instructions for use. International Journal of Human-Computer Interaction.
• Lewis, J.R. & Sauro, K. (2009). The factor structure of the system usability scale. International conference (HCII 2009), San Diego.
• Rich & McGee (2004). Expected usability magnitude estimation. In Proceedings of the Human Factors and Ergonomics Society 48th Annual Meeting (pp.912-916). Santa Monica.
• Tullis, T.S., and Stetson (2004). J.N. A Comparison of Questionnaires for Assessing Website Usability, Usability Professional Association Conference, 2004.

Nog geen reacties op dit artikel

Reactieformulier

Uw reactie*

Naam*


Email* (wordt niet gepubliceerd)


Website


Anti-spam* (kopieer de cijfers)

Zorg er voor dat u de vereiste* informatie invult, waar aangegeven.