Когда участник не может продолжать выполнение задания, тестеровщик иногда оказывает прямую процедурную помощь, чтобы он мог его завершить. Степень необходимого вмешательства тестеровщика приведена в таблице 6. В этом случае в отчете должны быть представлены как критерии завершения без помощи (т.е. без вмешательства тестеров), так и критерии с помощью (т.е. с вмешательством). Описания этих метрик различны.
Таблица 6 – Степень вмешательства тестеровщика
| Степень подсказки | Реакция пользователя | Действия тестеровщика |
| Первая | Испытывает некотороезатруднение | Отвечает на вопрос поль-зователя, но не сообщает дополнительных подробностей |
| Вторая | Сталкивается с проблемой | Подсказывает ответ на вопрос |
| Третья | Не может выполнить | Дает прямую рекомендацию к выполнению задания |
Метрики измерения помощи: количество и частота обращений к справочной системе; длительность периода между началом использования системы и точкой, в которой скорость работы/количество ошибок пользователей перестает увеличиваться; разница количества ошибок/скорости работы пользователей с опытом применения системы и без него и др.
Например, если бы участник получил помощь при выполнении зада-чи A, то он не был бы включен в группу, которая успешно реализовала задачу, в том случае, если выполнение этой задачи не предусматривало помощь. Однако, если выполнение задачиБ предусматривает оказание помощи и участник успешно ее выполняет после предоставления помощи, то он может быть включен в группу как справившийся с задачейБ.
В некоторых случаях во время usability-тестирования ПИ участники проинструктированы, как использовать помощь online или документацию, которые являются частью продукта,в случае, когда они не могут закончить выполнение задачисамостоятельно. Поэтому в отчете желательно сообщить о частоте доступов к инструментам поддержки.
Образец метрики измерения эффективности приведен в таблице 7 [2].
Таблица 7 – Образец метрики измерения эффективности ПИ
| Эффективность | Критерий окончания тестирования | Качествоработы | Условие тестирования |
| После выполнения пяти сценариев создания оглавления в документе 75% пользователей способныуспешно создавать оглавление в документе | Выполнение создания оглавления в документе75 % пользователей | Успешное выполнениесоздания оглавления в документе | Выполнениепяти сценариев создания оглавления в документе |
Информация в таблице интерпретирована таким образом, что, если в результате тестирования после реализации пяти сценариев задачи меньше 75% пользователей еевыполнят, то ПИ потребует доработки, поскольку он не достиг требуемого уровня эффективности.
Доработка ПИ происходит до тех пор, пока 75% пользователей не выполнят задачу при условии реализации пятиее сценариев.
Производительность
Производительность связывает достигнутый уровень эффективности с количеством израсходованных ресурсов. Производительность, оценивают:
· средним временем, необходимым для выполнения задачи, обнаружения иисправления ошибок;
· количеством команд, используемых при выполнении операций (подразумевается, что чем больше команд, тем дольше их выполнять);
· длительностью поиска сведений в документации;
· количеством команд, более эффективных, чем использованные пользователем, и др.
Производительность может также коснуться других ресурсов (например, общей стоимости использования, израсходованных ресурсов оперативной, дисковой памяти и др.).
Производительность – это время, потраченное на выполнение задачи. При определении производительности должны быть известны: среднее время, потраченное на выполнение каждой задачи участниками, егодиапазон и стандартное отклонение. Пример метрики измерения производительности ПИприведен в таблице 8.
Таблица 8 – Образец метрики измерения производительности
| Производительность | Критерий окончания тестирования | Качествоработы | Условия тестирования |
| После выполнения пяти сценариев покупки билета 75% пользователей будут в состоянии успешно купить билет в течение десяти минут | Выполнена задачапокупки билета 75% пользователейв течение десяти минут | Успешно купят билет | Выполнениепяти сценариев покупки билетов |
Информацию, приведенную в этой таблице,интерпретируютаналогично информации, представленной в таблице 7.
Удовлетворенность
Удовлетворенность отражает субъективное отношение пользователя к продукту и обычно измеряется в баллах. Пользовательская удовлетворенность – важнаяпричина использования продукта. Для измерения удовлетворенностииспользуют анкеты как стандартные, так и разработанные специально для тестирования в организациях. К стандартным анкетам относят: CUSI, QUIS, SUMI и SUS. Они предназначены для субъективной оценки метрик Удовлетворенность, Практичность и Легкость использования продукта. По результатам анкетирования определяют количество пользователей, имеющих степень удовлетворенности продуктом 5,5 баллови выше по 10-балльной шкале. Считают, что в этом случае ПИ не требует доработки.
Пример анкеты для измерения удовлетворенности приведен в Приложении Д, а пример формальной анкеты для оценки сайта – в Приложении Ж.
Пример описания метрики измерения удовлетворенности ПИ приведен в таблице 9.
Таблица 9 – Пример метрики измерения удовлетворенности ПИ
| Удовлетворенность | Критерийокончания тестирования | Качество работы | Условия тестирования |
| После реализациипяти сценариев задач85% пользователей оценят степень своейудовлетворенностиПИ 5,5 балламии выше(по 7- балльнойшкале) | Оценка удовлетворенностивыполнением задачи85% пользователей – 5,5 баллов по7-балльнойшкале | Степеньудовлетворенности | Выполнениепяти сценариев задачи |
Информацию, записанную в этой таблице,интерпретируютаналогично информации в таблице 7.
У довлетворенность может быть оценена также на основе поведения респондента. В этом случае тестеры подсчитывают количество проявленных реакций в процессе выполнения пользователем задачи. Подсчитав количество проявленных реакций (огорчился, задумался, улыбнулся и др.), можно оценить удовлетворенность. Разумеется, эти оценки относительны; их ценность проявляется только в сравнении с новым интерфейсом или в сравнении с конкурентами.
Примеры оценки критериев удовлетворенности пользователя ПИ приведены в таблицах 10, 11.
Инструкция к заполнению таблицы:оцените по 5-балльной шкале степень вашей удовлетворенности ПИ при выполнении задачи, где 1 балл – совершенно не согласен; 2 балла – скорее, не согласен; 3 балла – затрудняюсь ответить; 4 – скорее, согласен; 5 – совершенно согласен.
Таблица 10 – Критерии для определения удовлетворенности пользователя
| Критерий | Реакция пользователей, балл | ||||
| Совершенно не согласен | Скорее, не согласен | Затрудняюсь ответить | Скорее, согласен | Совершенно согласен | |
| На выполнение задачи потребовалось больше времени, чем ожидал | |||||
| Задачу было легко выполнить | |||||
| Выполнение задачи вызвало затруднение |
Таблица 11 – Образец формальной анкеты, оценивающей удовлетворенность пользователя
| Критерий | Реакция пользователей | ||||
| Нет | Скорее, нет | Затрудняюсь ответить | Скорее, да | Да | |
| Шкала баллов | |||||
| -2 | -1 | +1 | +2 | ||
| Во время выполнения задачи я ошибался | |||||
| Система способна делать все, что мне нужно и даже больше | -1 | ||||
| Система работает достаточно быстро | +1 | ||||
| Мне нравится внешний вид интерфейса | +1 | ||||
| Я чувствую, что если лучше изучу систему, я смогу с ее помощью выполнить операции, о которых сейчас даже и не подозреваю | +2 | ||||
| Систему можно легко настроить под свои нужды | |||||
| Начать работу было легко; я не столкнулся с существенными трудностями | +1 | ||||
| Всякий раз, когда ошибался, я с легкостью замечал и исправлял свою ошибку | |||||
| Я доволен скоростью своей работы | +1 | ||||
| Во время выполнения задачи чувствовал себя вполне уверенно | +2 |
Инструкция к заполнению таблицы:оцените по шкале баллов степень своего согласия с предложенными критериями следующим образом: центральный ответ оценивается нулем баллов, левый вариант ответа – 2 балла, правый – +2 балла, промежуточные значения – либо -1, либо +1 балл соответственно. Сумма баллов является сравниваемым значением.
На вопросы отвечают все пользователи, выполняющие тестирование. На основе заполненных анкет определяют степень удовлетворенности ПИ.
В отчете должны быть описаны все показатели usabilityПИ (эффективность, производительность, удовлетворенность и метрики их измерения). В случае использования анкет их текст должен быть приведен в приложении, как и результаты анкетирования пользователей.
Для измерения параметров usability ПИ в домашнем задании используйте метрики, приведенные в таблице 12.
Таблица 12 – Метрики измерения usability ПИ
| Параметры измерения usability ПИ | Метрика измерения |
| Эффективность | Часть пользователей, которые успешно выполнили задачу, относительно общего количества пользователей в группе, % |
| Производительность | Время, затрачиваемое пользователем на выполнение каждой задачи, а также среднее его значение |
| Удовлетворенность | Субъективная оценка удобства использования, измеренная по 5-балльной шкале. Текст формальной анкеты разрабатывают самостоятельно на основе приведенных в примере анкет |
3.4.5 Описание тестовых сценариев
Тестовый сценарий – это задание, которое пользователь получает от тестера. Такое задание позволяет «провести» пользователя через фрагмент интерфейса системы и определить характеристики этого фрагмента. Тестовый сценарий должен соответствовать пользовательским задачам и иметь следующие свойства:
· Однозначность. Тестовые задания должны быть сформулированы так, чтобы исключить их неверное толкование респондентом. Если респондент поймет задание неправильно, то на правильный путь его не удастся направить, не подсказав последовательность выполнения задания.
· Достаточность. В тексте задания должна присутствовать вся информация, необходимая для реализации этого задания.
· Краткость. Если скорость выполнения заданий фиксируют, то тексты заданий должны быть достаточно краткими, чтобы длительность чтения респондентами не влияла на продолжительность выполнения самих заданий (поскольку люди читают с разной скоростью). Если текст будет громоздким, придется самим сокращать длительность чтения каждого задания, что очень трудоемко.
· Отсутствие подсказок. Из текста не должно быть понятно, как это задание следует выполнять. Например, недопустимо использовать терминологию системы.Вместо каждого термина нужно описывать его значение, иначе респонденты просто нажмут кнопки с теми же словами и никакие проблемы не выявятся.
В задании должна присутствовать начальная точка его выполнения, т.е. должны быть описаны то окно, форма, страница, на которых респондент находится вначале. Фиксировать начальную точку выполнения задания нужно еще в конце работы над предыдущим заданием. Если выполнение задания начинается с чистого листа, то в конце предыдущего задания должно быть написано «вернитесь на главную форму». Если задание должно начинаться с места, на котором закончилось выполнение предыдущего, то должны быть предусмотрены подсказки о дальнейших действиях респондента, например, «закончив, не закрывайте текущее окно, останьтесь на этой форме».
Возможно, что на одну пользовательскую задачу нужно будет написать несколько тестовых заданий. Типичный случай– задача слишком велика, чтобы ее можно было вместить в одно задание. Кроме того, если пользовательская задача является частной, меньший интерес представляет то, как ее выполняют в первый раз, гораздо интереснее узнать, как пользователи будут выполнять ее во второй, третий, четвертый (и так далее) разы. В этом случае в пределах теста на одном респонденте следует «прогонять» эту задачу несколько раз, каждый раз варьируя задания.
Для выполнения каждого тестового сценария выделяется определенное время. Количество тестовых заданий зависит от количества пользовательских задач. Каждое тестовое задание сопровождается инструкцией. Образец инструкциипредставлен в Приложении Е.
Образец тестового сценария приведен в таблице 13.
Таблица 13 – Образец описания тестового сценария
| Задача пользователя | Тестовый сценарий |
| Распечатать текущую страницу документа текстового редактора | 1. Поместить курсор на текущую страницу и нажать левую клавишу мыши. 2. Вызвать окно настроек печати, нажав CTL+P. 3. Установить в появившемся окне «Настройка печати» кнопку «Текущая». 4. Установить в поле «Количество страниц» цифру 1. 5. Выбрать в выпадающем списке принтеров «Canon 860”. 6. Нажать кнопку «Печать». |
В случае, если пользователь выполнил часть задачи, в итоговой таблице указывают процент ее реализации. Например, если пользователь выполнил п. 1, 2, 3, то он справился с 50% задачи.
4 Проведение сравнительного usabilityтестирования ПИ
В соответствии с описанной методикой провести сравнительное usability-тестирование ПИ двух сайтов. Результаты тестирования всех задач должны быть представлены в виде итоговых таблиц, примеры заполнения которых приведены в таблицах 14 – 17.
Таблица 14 – Эффективность выполнения задачи (1 балл – выполнено, 0 –не выполнено)
| Тестовое задание | Респонденты | Средний балл | ||||
| 0,8 | ||||||
| 0,8 | ||||||
| 0,8 | ||||||
| 0,8 | ||||||
| 0,8 | ||||||
| Весь сценарий,% |
Примечание. Задача, как правило, считается выполненной, если пользователь смог полностью справиться с ней.
Для обработки и внесения данных в результирующие таблицы можно использовать приложение Excel.
Таблица 15 –Результаты выполнения задачи 1
| Номер пользователя | Времявыполнения задачи,с | Количество ошибок | Количествоподсказок |
| … | |||
| N | |||
| Среднее арифметическое значение | |||
| Стандартноеотклонение | |||
| Минимальное значение | |||
| Максимальное значение |
Таблица 16 – Сводныерезультаты выполнения всех задач
| Номер пользователя | Общее времявыполнениявсех задач,с | Общее количество ошибок | Общееколичество подсказок |
| … | |||
| N | |||
| Среднее арифметическое значение | |||
| Стандартное отклонение | |||
| Минимальное значение | |||
| Максимальное значение |
Таблица 17 – Удовлетворенность, балл
| Номер пользователя | Номер сайта | |
| … | ||
| N | ||
| Среднее арифметическое значение | ||
| Стандартное отклонение | ||
| Минимальное значение | ||
| Максимальное значение |
5 Анализ результатов usability-тестирования ПИ
Для интерпретации субъективных данных из анкет удобно применять гистограммы. Для подтверждения достоверности проведенного тестирования используют статистические методы (например, t-тесты, F-тесты, параметрические и непараметрические методы и др.).
Данные сопровождаются кратким описанием. Детальное описание может быть введено в приложение.
6 Выводы о сравнительном usability-тестированииПИ
В выводах в краткой форме описывают все проблемы, выявленные в процессе тестирования, и приводят результирующие таблицы.