Článek
Myslím, že každý UX-ák, který se o toto téma zajímá, dříve nebo později na stránku narazí. Jenže…
Na stránce je nádherný graf, v kterém je ukázáno, kolik respondentů najde kolik chyb. Ale také je na stránce vzoreček, jak k těmto výpočtům autoři došli.
N (1-(1- L ) n )
Zdroj: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
Pokud se podíváme na vzorec blíže, zjistíme, že počítá s N, tedy počtem nalezených chyb, a L, což je podíl problémů nalezených jedním respondentem. L se udává na 31 %, což je vypozorováno od autorů velkých projektů.
Ve chvíli, kdy výpočtu nepřiložíme velkou důležitost, počítáme s tím, že 5 respondentů odhalí 85 % chyb v použitelnosti aplikace.
Tímto ale článek nekončí…
Problém je právě v onom L. To se dá vysvětlit následovně (zde budu citovat jiný článek). Pět respondentů vám najde 85 % chyb v použitelnosti, pokud má daný problém 1 ze 3 uživatelů. Potom toto vše opravdu může fungovat.
Zde by se dalo říct, že v případě, kdy má 1 ze 3 uživatelů nějaký problém s použitelností, stačilo by dle pravděpodobnosti testovat s třemi respondenty. Jenže takto reálný svět nefunguje. Zkuste si hodit mincí s tím, že chcete, aby padnul orel. Může se stát, že hodíte třeba třikrát, než se to povede. A to máte 50% pravděpodobnost, že orel na minci padne. Pokud vás zajímá více o této problematice, doporučuji tento článek.
Tedy toto magické číslo 5 popisuje vlastně pravděpodobnost, že díky 5 respondentům odhalíte 85 % chyb, pokud jde o chybu, kterou trápí 1 ze 3 uživatelů.
Komplikovanější to začne být, pokud bude mít problém s nějakou částí aplikace třeba 1 z 10 uživatelů. V takovém případě by už bylo potřeba 18 respondentů, abyste našli 85 % chyb.
Je vhodné na toto myslet při rekrutaci na testy. Pokud se pozve technologicky zdatná cílová skupina, může se stát, že části které se testují budou pro ně pochopitelné a tedy problém s použitelností bude mít třeba jen 1 z 10 či 1 z 20. Díky tomu se nemusí na testu s 5 respondenty tyto problémy odhalit. Ale jakmile jde produkt ven a cílová skupina nebude tak zdatná, může mít najednou problém s použitelností každý třetí. Ve výsledku to může znamenat, že lidé budou mít problém s použitelností produktu, ale díky volbě technologicky zkušené cílové skupině na testy to nemusí být odhaleno.
I nám se stalo, že jsme testovali třikrát prototyp, dohromady tedy s 15 respondenty, a vnímali jsme ho jako velmi dobře otestovaný. Ale pak se nám na dalších testech začaly objevovat zcela nové chyby na již otestované funkcionalitě. To bylo pravděpodobně způsobeno tím, že jsme na prvních testech měli respondenty, kteří uvažovali jinak, než nová skupina a najednou jsme na problematiku měli zcela nový pohled.
Závěrem
Z naší zkušenosti dává smysl testovat s 5 respondenty. Jak ekonomicky, tak organizačně. Neznamená to ale, že se podaří vždy najít většinu problémů.
Proto je vhodné testování neustále opakovat a vybírat si respondenty, u kterých je větší pravděpodobnost, že budou mít nějaké problémy s použitelností (např. osoby s menšími zkušenostmi s technologiemi). Tím zvýšíte pravděpodobnost, že najdete více chyb.
Zvýšení efektivity uživatelských testů můžete také docílit tím, že navýšíte počet úkolů, které respondenti dělají, a tím zvýšíte i pravděpodobnost, že najdete další chyby.
Nakonec je vhodné si identifikovat části prototypu, aplikace či webu, které mohou být složitější na odhalení chyb. Tyto části podrobte klidně více uživatelským testům, abyste funkčnost prošli třeba s 10 nebo 20 respondenty a zvýšili tak pravděpodobnost odhalení chyby.
