17 - Аналитика

Аналитика

Quant-UX предоставляет богатый набор аналитических инструментов и ключевых показателей эффективности (KPI), которые помогают понять, как пользователи взаимодействовали с вашим прототипом. Вкладка «Панель управления» (Dashboard) отображает наиболее важные KPI о тестах. Кроме того, вы можете определить аналитические задачи для лучшего понимания поведения пользователей. Вкладка «Тепловая карта» (Heatmap) показывает тепловые карты кликов для каждого экрана и позволяет запустить Аналитическое полотно (Analytic Canvas), которое предоставляет доступ к наиболее детализированной информации.

Прежде чем использовать аналитические инструменты, вам нужно провести несколько тестов.

Пользователи

Вопрос о том, сколько пользователей должно участвовать в испытаниях, активно обсуждается в научном сообществе. Минимальное количество — 5 пользователей, что позволяет получить некоторые качественные выводы о поведении пользователей. Вы сможете заметить, понимают ли пользователи дизайн или допускают ошибки. В таких случаях лучшим инструментом являются видеозаписи, которые позволяют пересмотреть каждую тестовую сессию.

Однако 5 пользователей не дают статистически значимых результатов, и поэтому тепловые карты и другие KPI сильно искажены. Это означает, что при увеличении числа пользователей результаты могут существенно измениться. Это искажение уменьшается с каждым новым пользователем, тестирующим прототип, и примерно после 40 тестировщиков результаты начинают стабилизироваться.

Если вы хотите проводить A/B-тесты, следует стремиться к более чем 60 тестировщикам для каждого варианта. В противном случае различия, которые вы наблюдаете в определённых KPI, например, в продолжительности, могут быть всё ещё искажены. Также имейте в виду, что выбросы могут сильно повлиять на результаты в небольших тестах.

В заключение, следует стараться тестировать с максимально возможным числом пользователей. Если у вас есть доступ только к небольшой группе пользователей, будьте осторожны, сообщая результаты заинтересованным сторонам. Всегда корректно сказать, что 4 из 5 пользователей кликнули на определённую кнопку, но делать вывод, что 80% всех пользователей кликнут на эту кнопку, скорее всего, будет ошибкой.

Охват тестирования

Охват тестирования рассчитывается как доля экранов, которые были просмотрены тестировщиками. Охват тестирования даёт вам быструю подсказку о том, поняли ли ваши тестировщики ваш прототип.

Пример: Если ваш прототип состоит из 3 экранов, а все пользователи смогли увидеть только 2 из них, охват тестирования составляет 66%.

Продолжительность

Продолжительность теста показывает, как долго пользователи испытывали ваш прототип. Она рассчитывается как средняя продолжительность теста, начиная с первого события до последнего взаимодействия. Также отображается стандартное отклонение, которое даёт подсказку о том, насколько схожим образом пользователи тестировали прототип.

Пример: Три пользователя протестировали ваш прототип. Первый пользователь потратил 30 секунд, второй — 40 секунд, третий — 50 секунд. Средняя продолжительность составляет 40 секунд, а стандартное отклонение — 10 секунд.