Stačí mi 5 respondentů na uživatelský test?

Často se mě klienti či lidé z produktových týmů ptají, kolik lidí je potřeba na testování použitelnosti. A já jim většinou odpovídám, že stačí 5 respondentů. Ti dokáží najít 85 % nedostatků v použitelnosti. A taky dodávám, nebojte se, protože je na to mnoho studií. Jednou z nejznámějších je ta od NN group od Jakoba Nielsena

 

Michal Voják

Product Design Lead

Myslím, že každý UX-ák, který se o toto téma zajímá, dříve nebo později na stránku narazí. Jenže…

Na stránce je nádherný graf, v kterém je ukázáno, kolik respondentů najde kolik chyb. Ale také je na stránce vzoreček, jak k těmto výpočtům autoři došli. 

N (1-(1- L ) n )

Graf - kolik respondentu potrebuji k uzivatelskemu testu

 Zdroj: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Pokud se podíváme na vzorec blíže, zjistíme, že počítá s N, tedy počtem nalezených chyb, a L, což je podíl problémů nalezených jedním respondentem. L se udává na 31 %, což je vypozorováno od autorů velkých projektů.

Ve chvíli, kdy výpočtu nepřiložíme velkou důležitost, počítáme s tím, že 5 respondentů odhalí 85 % chyb v použitelnosti aplikace.

Tímto ale článek nekončí…

Problém je právě v onom L. To se dá vysvětlit následovně (zde budu citovat jiný článek). Pět respondentů vám najde 85 % chyb v použitelnosti, pokud má daný problém 1 ze 3 uživatelů. Potom toto vše opravdu může fungovat.

Zde by se dalo říct, že v případě, kdy má 1 ze 3 uživatelů nějaký problém s použitelností, stačilo by dle pravděpodobnosti testovat s třemi respondenty. Jenže takto reálný svět nefunguje. Zkuste si hodit mincí s tím, že chcete, aby padnul orel. Může se stát, že hodíte třeba třikrát, než se to povede. A to máte 50% pravděpodobnost, že orel na minci padne. Pokud vás zajímá více o této problematice, doporučuji tento článek.

Tedy toto magické číslo 5 popisuje vlastně pravděpodobnost, že díky 5 respondentům odhalíte 85 % chyb, pokud jde o chybu, kterou trápí 1 ze 3 uživatelů.

Komplikovanější to začne být, pokud bude mít problém s nějakou částí aplikace třeba 1 z 10 uživatelů. V takovém případě by už bylo potřeba 18 respondentů, abyste našli 85 % chyb.

Je vhodné na toto myslet při rekrutaci na testy. Pokud se pozve technologicky zdatná cílová skupina, může se stát, že části které se testují budou pro ně pochopitelné a tedy problém s použitelností bude mít třeba jen 1 z 10 či 1 z 20. Díky tomu se nemusí na testu s 5 respondenty tyto problémy odhalit. Ale jakmile jde produkt ven a cílová skupina nebude tak zdatná, může mít najednou problém s použitelností každý třetí. Ve výsledku to může znamenat, že lidé budou mít problém s použitelností produktu, ale díky volbě technologicky zkušené cílové skupině na testy to nemusí být odhaleno.

I nám se stalo, že jsme testovali třikrát prototyp, dohromady tedy s 15 respondenty, a vnímali jsme ho jako velmi dobře otestovaný. Ale pak se nám na dalších testech začaly objevovat zcela nové chyby na již otestované funkcionalitě. To bylo pravděpodobně způsobeno tím, že jsme na prvních testech měli respondenty, kteří uvažovali jinak, než nová skupina a najednou jsme na problematiku měli zcela nový pohled.

Závěrem

Z naší zkušenosti dává smysl testovat s 5 respondenty. Jak ekonomicky, tak organizačně. Neznamená to ale, že se podaří vždy najít většinu problémů.

Proto je vhodné testování neustále opakovat a vybírat si respondenty, u kterých je větší pravděpodobnost, že budou mít nějaké problémy s použitelností (např. osoby s menšími zkušenostmi s technologiemi). Tím zvýšíte pravděpodobnost, že najdete více chyb.

Zvýšení efektivity uživatelských testů můžete také docílit tím, že navýšíte počet úkolů, které respondenti dělají, a tím zvýšíte i pravděpodobnost, že najdete další chyby.

Nakonec je vhodné si identifikovat části prototypu, aplikace či webu, které mohou být složitější na odhalení chyb. Tyto části podrobte klidně více uživatelským testům, abyste funkčnost prošli třeba s 10 nebo 20 respondenty a zvýšili tak pravděpodobnost odhalení chyby.

Zdroje

O autorovi

Michal Voják

Product Design Lead

Vedu návrhové oddělení v Designdev, propaguji zavádění Product Discovery do firem a vedu interní startup s názvem userUP, který má za cíl pomoc firmám s Product discovery.

Podobné

16. 12. 2019

Co nás naučil redesign aplikace Mobilní banka

Už skoro půl roku pracujeme na redesignu aplikace Mobilní banka pro zařízení od Apple. Jako UX designéři spolupracujeme se všemi ostatními rolemi v projektu.
číst více
15. 9. 2020

Jak dělat uživatelské testování

Testování s uživateli je disciplína, které se věnujeme již řadu let. Začátky nebyly snadné, dělávali jsme spoustu chyb, ze kterých jsme se postupně učili.…
číst více
18. 11. 2020

Výzkumy v online prostředí

Když svět postihla pandemie viru COVID-19, všichni jsme se museli rychle naučit novému stylu práce z domu. Dříve byl home office spíše občasná výpomoc nebo…
číst více