Почему вам нужно тестировать только с 5 пользователями

  1. Итеративный дизайн
  2. Почему бы не протестировать с одним пользователем?
  3. Когда проверять больше пользователей
  4. Ссылка

Некоторые люди думают, что удобство использования очень дорого и сложно, и пользовательские тесты должны быть зарезервированы для редкого проекта веб-дизайна с огромным бюджетом и щедрым графиком. Не правда. Сложные юзабилити-тесты - пустая трата ресурсов. Наилучшие результаты достигаются при тестировании не более 5 пользователей и выполнении столько маленьких тестов, сколько вы можете себе позволить.

В более ранних исследованиях Том Ландауэр и я показали, что число проблем с юзабилити, обнаруженных в юзабилити-тесте с n пользователями, составляет:

N (1- (1- L ) n )

где N - общее количество проблем с юзабилити в проекте, а L - доля проблем с юзабилити, обнаруженных при тестировании одного пользователя. Типичное значение L составляет 31%, усредненное по большому количеству проектов, которые мы изучали. Построение кривой для L = 31% дает следующий результат:

Построение кривой для L = 31% дает следующий результат:

Самая поразительная правда кривой - то, что нулевые пользователи дают нулевое понимание .

Как только вы соберете данные от одного тестового пользователя , ваши идеи возрастут, и вы уже узнали почти треть всего, что нужно знать о юзабилити дизайна. Разница между нулем и даже небольшим количеством данных поразительна.

Когда вы протестируете второго пользователя , вы обнаружите, что этот человек делает то же самое, что и первый пользователь, так что в изучаемом вами материале есть некоторые совпадения. Люди, безусловно, разные, так что будет также что-то новое, что сделает второй пользователь, чего вы не заметили с первым пользователем. Таким образом, второй пользователь добавляет некоторое количество нового понимания, но не так сильно, как первый.

Третий пользователь сделает много вещей, которые вы уже наблюдали с первым пользователем или вторым пользователем, и даже некоторые вещи, которые вы уже видели дважды. Плюс, конечно, третий пользователь будет генерировать небольшое количество новых данных, даже если не так много, как первый и второй пользователи.

По мере того, как вы добавляете все больше и больше пользователей, вы все меньше и меньше учитесь, потому что вы будете снова и снова видеть одни и те же вещи. Нет необходимости постоянно наблюдать за одной и той же вещью несколько раз, и вы будете очень заинтересованы вернуться к чертежной доске и перепроектировать сайт, чтобы устранить проблемы с юзабилити.

После пятого пользователя вы тратите свое время, наблюдая за одними и теми же результатами, но не узнавая много нового.

Итеративный дизайн

Кривая ясно показывает, что вам нужно протестировать не менее 15 пользователей, чтобы обнаружить все проблемы с юзабилити в дизайне. Так почему я рекомендую тестировать с гораздо меньшим количеством пользователей?

Основная причина в том, что лучше распределить свой бюджет на пользовательское тестирование во многих небольших тестах вместо того, чтобы бросать все на одном, сложном исследовании. Допустим, у вас есть средства для привлечения 15 представительных клиентов и их тестирования вашего дизайна. Отлично. Потратьте этот бюджет на 3 исследования с 5 пользователями каждый!

Вы хотите запустить несколько тестов, потому что реальная цель юзабилити-проектирования состоит в том, чтобы улучшить дизайн, а не просто документировать его недостатки. После того, как первое исследование с пятью участниками выявило 85% проблем с юзабилити, вы захотите исправить эти проблемы в редизайне.

После создания нового дизайна вам необходимо снова протестировать . Хотя я и сказал, что редизайн должен «исправить» проблемы, обнаруженные в первом исследовании, правда в том, что вы думаете, что новый дизайн преодолевает проблемы. Но поскольку никто не может разработать идеальный пользовательский интерфейс, нет гарантии, что новый дизайн действительно решит проблемы. Второй тест покажет, сработали ли исправления или нет. Кроме того, при представлении нового дизайна всегда существует риск появления новой проблемы с юзабилити, даже если старый исправился.

Кроме того, во втором исследовании с 5 пользователями будет обнаружено большинство из оставшихся 15% исходных проблем с юзабилити, которые не были обнаружены в первом раунде тестирования. (Все еще останется 2% первоначальных проблем - им придется подождать, пока не будет определено третье исследование.)

Наконец, второе исследование сможет глубже изучить юзабилити фундаментальной структуры сайта, оценить такие проблемы, как информационная архитектура, поток задач и соответствие потребностям пользователей. Эти важные проблемы часто скрываются в начальных исследованиях, где пользователи находятся в тупике из-за глупых проблем с юзабилити на уровне поверхности, которые мешают им действительно копаться в сайте.

Таким образом, второе исследование будет служить как гарантия качества результатов первого исследования, так и поможет обеспечить более глубокое понимание. Второе исследование всегда приведет к новому (но меньшему) списку проблем с юзабилити, которые нужно исправить в редизайне. То же самое относится и к этой редизайн: не все исправления будут работать; некоторые более глубокие проблемы будут обнаружены после очистки интерфейса. Таким образом, третье исследование также необходимо.

Абсолютный пользовательский опыт улучшается гораздо больше за 3 исследования с 5 пользователями в каждом, чем за одно исследование с 15 пользователями.

Почему бы не протестировать с одним пользователем?

Можно подумать, что 15 исследований с одним пользователем будет даже лучше, чем 3 исследования с 5 пользователями. Кривая действительно показывает, что мы узнаем гораздо больше от первого пользователя, чем от любых последующих пользователей, так зачем продолжать? Две причины:

  • Всегда существует риск быть введенным в заблуждение ложным поведением одного человека, который может выполнить определенные действия случайно или непредставительным образом. Даже трех пользователей достаточно, чтобы получить представление о разнообразии поведения пользователей и понять, что является уникальным и что можно обобщить.
  • анализ затрат и результатов пользовательского тестирования обеспечивает оптимальное соотношение около 3 или 5 пользователей, в зависимости от стиля тестирования. Всегда есть фиксированные начальные затраты, связанные с планированием и проведением исследования: лучше амортизировать эти начальные затраты по результатам, полученным от нескольких пользователей.

Когда проверять больше пользователей

Вам нужно протестировать дополнительных пользователей, когда на сайте есть несколько очень разных групп пользователей . Формула верна только для сопоставимых пользователей, которые будут использовать сайт довольно похожими способами.

Если, например, у вас есть сайт, который будет использоваться как детьми, так и родителями, то две группы пользователей будут вести себя достаточно по-разному, что становится необходимым для тестирования с людьми из обеих групп. То же самое можно сказать и о системе, нацеленной на объединение агентов по закупкам и торгового персонала.

Даже когда группы пользователей сильно различаются, между наблюдениями двух групп все же сохраняются большие сходства. Все пользователи люди, в конце концов. Кроме того, многие проблемы с юзабилити связаны с тем, как люди взаимодействуют с Интернетом, и с влиянием других сайтов на поведение пользователей.

При тестировании нескольких групп разрозненных пользователей вам не нужно включать столько членов каждой группы, сколько вы бы включили в один тест для одной группы пользователей. Перекрытие между наблюдениями обеспечит лучший результат тестирования меньшего числа людей в каждой группе. Рекомендую:

  • 3–4 пользователя из каждой категории при тестировании двух групп пользователей
  • 3 пользователя из каждой категории при тестировании трех или более групп пользователей (вы всегда должны по крайней мере 3 пользователя, чтобы убедиться, что вы охватили разнообразие поведения в группе)

Ссылка

Нильсен, Якоб и Ландауэр, Томас К .: «Математическая модель нахождения проблем юзабилити» Материалы конференции ACM INTERCHI'93 (Амстердам, Нидерланды, 24-29 апреля 1993 г.), с. 206-213.

Последующие статьи

Так почему я рекомендую тестировать с гораздо меньшим количеством пользователей?
Почему бы не протестировать с одним пользователем?
Кривая действительно показывает, что мы узнаем гораздо больше от первого пользователя, чем от любых последующих пользователей, так зачем продолжать?