SUS (System Usability Scale, ks. esim. http://www.measuringusability.com/sus.php) on perinteinen ja toimivaksi havaittu "subjektiivisen käytettävyyden" mittari.
SUS:in hyviä puolia ovat sen yksinkertaisuus ja julkisuus: kuka tahansa voi sitä käyttää. Ja sitä on siis paljon tutkittu (mm. juuri Jeff Sauro) ja se on havaittu validiksi (= mittaa aidosti käyttäjäkokemusta). SUSista on myös uusi "positiivinen" versio, joka on myös todettu validiksi.
Näyttää kuitenkin, että SUSia käytetään helposti väärin. Olen kirjoittanut tästä aiemmin LinkedInin keskustelupalstoilla. Mutta nyt tässä asia vielä kertaalleen.
------------------
SUS on tarkoitettu käytettäväksi käytettävyystestisession jälkeen mittaamaan subjektiivista käyttökokemusta. SUSin käyttöön liittyy seuraavat oleelliset piirteet:
- SUS mittaa käyttökokemusta käyttäjän omakohtaisen järjestelmän käytön perusteella
- SUS mittaa nimenomaan käyttäjäkokemusta, EI käyttäjien mielipidettä järjestelmästä (käyttäjäkokemus ja käyttäjien mielipiteet ovat IHAN eri asioita)
- SUS mittaa käyttökokemusta kun käyttäjä on käyttänyt järjestelmää ensi kertaa; se siis ei sovellu tilanteeseen, jossa henkilö on käyttänyt järjestelmää jo pitempään
Tämä väärä tapa on seuraava:
- Toimittajat esittelevät järjestelmiään käyttäjäraadille
- Käyttäjät vertailevat järjestelmiä, pisteyttämällä järjestelmiä käyttäen SUS-kyselyä
- Suoraan SUSin käyttöön liittyvä ongelma: käyttäjäraadissa käyttäjien arviointi perustuu järjestelmän näkemiseen ja toiminnan seuraamisen, ei siis omaan käyttökokemukseen. Tällaiseen SUS ei ole tarkoitettu, ja tällainen SUSin käyttö ei yksinkertaisesti ole validia.
- Käyttäjäraati ei yleensäkään ei ole validi käytettävyyden arviointitapa, siis että käyttäjät laitetaan arvioimaan käytettävyyttä "näkemisen perusteella". Tällaista käytettävyyden arviointitapaa ei ole, eikä tämä tuota valideja tuloksia (riippumatta käytetäänkö SUS-kyselyä vai ei).
- Yleensäkään käytettävyyttä ei pitäisi laittaa vertailukriteereihin vaan käytettävyys pitäisi asettaa hankinnoissa pakolliseksi vaatimukseksi; ks. http://hankikaytettavyytta.blogspot.fi/2013/03/esimerkki-jos-haluaa-laatua-niin-hinta.html
--------------------------------
Mikä olisi sitten toimiva tapa? Tästä olen kirjoitellut ja pitänyt esityksiä monesti aiemmin. Eikä tässä yhteydessä siitä enempää. Paitsi ehkä sen periaatteen verran, että käytettävyyden arviointia ei koskaan tulisi lykätä käyttäjien tehtäväksi - se kun on vain (epäeettistä) vastuun siirtoa suunnittelu- tai hankintatiimiltä käyttäjille.
On kuitenkin helppo sanoa, mikä olisi helppo askel parempaan. Yksinkertaisesti: jos sinulla ei ole muuta tapaa kuin käyttäjäraati, mieluummin älä arvioi käytettävyyttä ollenkaan! Kaksi perustetta tähän:
- Ei tule "väärää mielenrauhaa": että ei vain ajatella tehtävän käytettävyyttä vaikka sitä aidosti ei tehdäkään. Siis parempi olla rehellinen itselleen, todeta tämä ja jättää käyttäjäraati pois.
- Säästetään (turhia) arviointikuluja. Esimerkiksi Apotin suunnitelmissa on aika massiiviset arvioinnit, jotka vievät huomattavasti sekä Apotti-projektin että käyttäjien (lukuisat eri HUS:in käyttäjäryhmien edustajat) resursseja.
