为什么可用性测试中只需要对5个用户进行测试就已经足够了?Usability Testing的正确方法到底是什么?

用户测试是设计产出迭代阶段非常重要的方法。很多同学认为可用性测试非常费时费力且复杂,应该将精力留给具体的设计项目。的确过于详尽的可用性测试,是对资源的一种浪费。最好的结果来自于不超过5个用户测试,并运行尽可能多的小型测试,这种方式是最好的用户测试方式。

在较早的研究中Tom Landauer发现,在n位用户的可用性测试中发现的可用性问题数量为:N(1-(1- L)n)

其中N是设计中可用性问题的总数,L是在测试单个用户时发现的可用性问题的比例。L的典型值为31%,这是我们研究的许多项目的平均值。通过绘制L = 31%的曲线可获得以下结果:

从单个测试用户那里收集数据后,你的见识就会激增,此时你已经了解了设计可用性的将近三分之一。当测试第二个用户时,你会发现该人做的事情与第一个用户相同,因此你所学的内容会有一些重叠。人们肯定是不同的,因此第二个用户还会做一些新的事情,而第一个用户则没有观察到。因此,第二个用户添加了一些新的见解,但这种增量没有第一个用户那么多。

第三位用户将执行你已经在第一位用户或第二位用户处观察到的许多事情,甚至是你已经看过两次的某些事情。但是第三个用户依然将生成少量新数据,即使不如第一个和第二个用户那么多。

随着你添加越来越多的用户,你学到的知识也越来越少,因为你将不断看到相同的事物。并不需要多次观察同一事物,因此你会非常有动力回到图纸板上并重新设计该站点,以消除可用性问题。在第五位用户之后,你正在通过重复观察相同的发现而浪费时间,但是没有学到太多新知识。

-01-

正确的用户测试方式

上图的曲线清楚地表明,你需要与至少15位用户进行测试才能发现设计中的所有可用性问题。

那么为什么我建议使用数量少得多的用户进行测试?

主要原因是,我们需要在测试中将预算分配给用户测试,进行更多的小型测试,而不是将所有工作都花在一个精心设计的研究上。假设你确实有资金来招募15个有代表性的客户,并让他们测试你的设计。那我们依然推荐你将预算花在3组研究上,每组研究包含5名用户!

运行多组测试,可用性测试的真正目标是改进设计,而不仅仅是记录其弱点。在由五名参与者组成的第一项研究中,发现85%的可用性问题之后,你将需要在重新设计并解决这些问题。

完成新设计后,你需要再次进行测试。尽管我说过重新设计应该“解决”第一次研究中发现的问题,但事实是你认为新设计可以解决问题。没有人可以设计出完美的产品,因此你无法保证新设计确实可以解决问题。第二次测试将发现修复程序是否起作用。同样,在引入新设计时,即使确实解决了旧的可用性问题,但是也始终存在引入新的可用性问题的风险。

此外虽然第二组研究(有5个用户)将发现在第一轮测试中未发现的其余15%的原始可用性问题中的大多数,仍然会剩下2%的原始问题,他们将不得不等待直到第三次研究后被确定。

最后,第二组用户测试将能够更深入地探讨站点基本结构的可用性,评估信息体系结构,任务流以及与用户需求匹配之类的问题。这些重要问题通常在最初的用户测试研究中被掩盖。在最初的研究中,用户大多数只能发现一些表面级别的可用性问题。

3组研究(每组包含5个用户)的最终用户体验报告要比15个用户的单次测试价值大得多。

为什么要对多个用户,而不是只对一个用户进行测试?

你可能会认为针对一个用户进行15项研究会比5个用户进行3项研究更好。曲线确实表明,我们从第一个用户那里学到的东西要比从任何后续用户那里学到的东西多得多,那么为什么还要继续呢?两个原因:

存在被一个用户的虚假行为所误导的风险,该人可能会偶然地或以不具代表性的方式执行某些操作。甚至只有3个用户就足以了解用户行为的多样性,并了解独特之处和可以概括的内容。用户测试的成本效益分析可根据测试类型,提供大约3或5个用户的最佳比率。

-02-

何时需要测试更多用户

当网站具有多个高度不同的用户组时,你需要测试更多的用户。该公式仅适用于将以相似的方式使用网站的用户。

例如你将开发一个供孩子和父母使用的站点,两组用户的行为将有明显的不同,因此有必要与两组用户进行测试。比如针对将采购代理与销售人员联系起来的系统情况也是如此。

但是这里值得注意的是,就算是当用户组非常不同时,两组的观察结果之间仍然会有很大的相似性,毕竟所有用户都是人类。许多可用性问题与人们和Web交互的基本方式,以及其他站点对用户行为的影响有关。

在测试多个不同的用户组时,不需要像对单个用户组进行一次测试那样,在每个组中包括尽可能多的成员。如果测试两组用户,则每个类别有3–4个用户,如果测试三个或更多用户组,则每个类别中有3个用户(始终确保至少3个用户来确保你涵盖了该组中行为的多样性)

(0)

相关推荐