УДК 004.054:004.5
|
Оглавление
Ведение. 4
1 Краткие теоретические сведения. 4
1.1 Методы тестирования. 6
1.1.1 Количественные методы.. 7
1.1.2 Качественные методы.. 8
1.1.3 Документирование. 11
2 Порядок выполнения домашнего задания. 11
3 Описание выполнения домашнего задания. 12
3.1 Постановка задачи. 12
3.2 Общая информация о тестируемом ПИ.. 12
3.3 Определение целей тестирования. 13
3.4 Описание метода тестирования. 14
3.4.1 Выбор участников тестирования. 14
3.4.2 Средства тестирования. 15
3.4.3 Описание пользовательских задач. 15
3.4.4 Метрики измерения usability ПИ.. 16
3.4.5 Описание тестовых сценариев. 22
4 Проведение сравнительного usability тестирования ПИ.. 24
5 Анализ результатов usability-тестирования ПИ.. 25
6 Выводы о сравнительном usability-тестировании ПИ.. 26
Библиографический список. 26
Приложение А – Оценочный лист. 27
Приложение Б– Варианты заданий. 31
Приложение В – Образец содержания. 33
ПРИЛОЖЕНИЕ Д – Образец словарной анкеты.. 34
Приложение Е – Пример инструкции для респондента. 35
Приложение Ж– Формальная анкета для оценивания. 36
Приложение К – Образец титульного листа. 39
Ведение
Результаты выполнения домашнего задания позволяют судить о способностях студентов тестировать удобство и простоту использования (usability)пользовательского интерфейса (ПИ), а также грамотно и корректно документировать процесс и результат тестирования в письменной форме.
Целью выполнения домашнего задания является систематизация, закрепление и расширение теоретических и практических знаний, касающихсяusability-тестированияПИ, а также приобретение навыков применения этих знаний на практике, в профессиональной деятельности.
|
|
В пособии приведены определения в соответствии со стандартами [6, 7, 8]:
Usability (удобство и простота использования) – степень, с которой ПИ может быть полезен пользователям для достижения определенных целей с эффективностью, производительностью и удовлетворенностью в указанном контексте использования.
Эффективность(effectiveness) – точность и полнота достижения пользователями определенных целей.
Производительность (efficiency) – израсходованные ресурсы (время, объем данных, оперативная и долговременная память, сетевые соединения, устройства ввода/вывода и пр.) по отношению к точности и полноте достижения целей пользователями. Производительность в контексте usabilityпользовательского интерфейса не связана со значением в контексте производительности ПИ.
Удовлетворенность (satisfaction) – положительное отношение к использованию ПИ, отсутствие дискомфорта.
Контекст использования (contextofuse) – пользователи, задачи, оборудование (аппаратные средства, программное обеспечение и материалы), физические и социальные среды, в которых используется ПИ.
Пользователь (user) – человек, который взаимодействует с ПИ.
Пользовательская группа(usergroup) – подмножество пользователей, объединенных по возрасту, культурнымили другим особенностям, которые, вероятно, будут влиять на usabilityпользовательского интерфейса.
Цель (goal) – намеченный результат пользовательского взаимодействия с продуктом.
Задача (task) – физическиеи познавательные действия, необходимые для достижения целей.
|
|
1 Краткие теоретические сведения
Usability ПИ – показатель качества, который определяет количество усилий, необходимых для изучения принципов работы с программной системой с помощью данного интерфейса, ее использования, а также для подготовкивходных и интерпретации выходных данных. Таким образом, usabilityопределяет степень простоты доступа пользователя к функциям системы, предоставляемым через человеко-машинный (пользовательский) интерфейс.
На usability ПИ влияют следующие факторы:
· легкость обучения – быстро ли человек научился использовать систему;
· эффективность – продуктивно ли он работает после обучения;
· запоминаемость полученных знаний – легко ли усваивает все, чему научился;
· направленность действий – часто ли человек допускает ошибки в работе;
· удовлетворенность – является ли положительнымобщее впечатление от работы с системой.
Одним из важных условий эффективности ПИ является регулярное usability-тестирование ПИ с привлечением пользователей на всех этапах выполняемого проекта. Необходимость применения такого тестирования обусловлена следующими факторами:
· интуиция разработчиков и проектировщиков иногда может подвести;
· терминология разработчиков и проектировщиков не всегда совпадает с терминологией, к которой привыкли пользователи;
· все люди разные, поэтому не существует «средне-статистического» пользователя;
· руководящие принципы и инструкции по разработке вопросов usability ПИ –неполные;
· информации, получаемой от пользователей по телефону или электронной почте, недостаточно для оценивания качества продукта;
|
|
· затраченные на проведение тестирования время, средства и ресурсы всегда окупаются;
· продукты, созданные по частям, часто бывают несовместимы на системном уровне;
· ошибки, выявленные на завершающих стадиях разработки, исправлять труднее;
· устранение ошибок во время проектирования позволяет сократить затраты на последующую поддержку программы;
· оценка usability ПИ позволяет получить преимущества перед конкурирующими продуктами.
Usability-тестирование ПИ выполняют на различных этапах разработки продукта (образец дизайна на бумаге, программные прототипы и конечный продукт), чтобы обеспечить обратную связь с пользователями. Это помогает усовершенствовать весь проект в целом, сократить количество ошибок, провести сравнительный анализ продуктов и версий, а также подтвердить соответствие продукта предъявляемым требованиям [1].
Выделяют следующие этапы usability-тестирования ПИ:
· Исследовательский – проводят после формулирования требований к системе и разработки прототипа интерфейса. Основная цель этого этапа – выполнить высокоуровневое обследование интерфейса и выяснить, позволяет ли он достаточно эффективно решать задачи пользователя.
· Оценочный –выполняют после разработки низкоуровневых требований и детализированного прототипа ПИ. Оценочный этап углубляет исследовательский и имеет ту же цель. На этом этапе проводят количественные измерения характеристик ПИ: количества обращений к системе помощи по отношению к количеству совершенных операций, количества ошибочных операций, время устранения их последствий и др.
· Валидационный –выполняют перед завершением разработки. Здесь анализируют соответствие интерфейса программной системы стандартам, регламентирующим вопросы usability ПИ (например, 9241-210:2010); проводят общее тестирование всех компонент ПИ с точки зрения конечного пользователя. Под компонентами интерфейса понимают как его программную реализацию, так и системупомощи и руководство для пользователя. На этом этапе проверяютналичиевыявленных на предыдущих этапах дефектов usability ПИ.
· Сравнительный –можновыполнять на любом этапе разработки интерфейса. Здесь сравнивают два или более вариантов реализации ПИ.
1.1 Методы тестирования
Методы usability-тестированияПИ зависят от цели и задач, которые следует решить посредством продукта. Как правило, usability-тестирование ПИ включает в себя:
· методы оценки работы, подразумевающие подсчет действий, определение полноты выполнения задачи ирасчет времени, затраченного на ее реализацию, а также подсчет количества ошибок и обращений за помощью. Такие методы называют количественными;
· субъективные методы, предполагающие сбор устных и письменных сообщений пользователей о своих мнениях, суждениях, предпочтениях, а также степени удовлетворенности от работы с ПИ и собственной выполненной работы. Эти методы носят название качественных.
Оба подхода используют в процессе разработке ПИ.
1.1.1 Количественные методы
Количественные методы ориентированы на числовые данные, их основная задача – способствовать получению достоверных воспроизводимых результатов целевой пользовательской группой. Количество пользователейв группе (объем выборки)должно быть достаточнымдля успешнойреализации одного из методов, чтобы на основеполученных результатов можно было сделать выводы о численной реакции группы в целом в пределах заданного диапазона погрешности.
Такой подход (с формальным планированием и обработкой результатов) отличается большой надежностью. Количество измеряемых показателей в конкретном тесте может быть довольно большим.
Одним из лучших подходов к количественному анализу моделей интерфейсов является классическая модель GOMS (themodelofgoals, objects, methods, andselectionrules), которая впервые привлекла к себе внимание в 80-х годах прошлого столетия. Моделирование GOMS позволяет предсказать, сколько времени потребуется опытному пользователю на выполнение конкретной операции при использовании этой модели интерфейса [4]. Подробное описание метода приведено в лабораторной работе № 7.
Преимущества методов:
· возможность использования измеряемых критериев при последующих итерациях для оценки продвижения к цели. Например, сокращение времени оформления заказа на 20%, выявление
80% usability-проблем на сайте и др.;
· возможность использования статистических методов для подтверждения достоверности результата тестирования перед заинтересованными лицами, которые принимают решения на основе объективных данных;
· уменьшение вероятности того, что на результат может повлиять субъективная оценка конкретного разработчика ПИ;
· увеличение вероятности того, что полученные результаты отражают объективную картину и могут быть рекомендованы пользовательской аудитории;
· наличие наглядного числового критерия проверки полученных результатов. Например, количество пользователей, которые столкнулись с одной и той же проблемой;
· простота и удобство расчетов;
· отсутствие параметров в модели позволяет оценивать и сравнивать два разных варианта интерфейса;
· прогнозирование времени работы пользователя с определенным вариантом интерфейса;
· создание рабочего прототипаПИ необязательно;
· обработка результатов тестирования может быть автоматизирована.
Недостатки методов:
· ориентированы на средних пользователей, не рассчитаны на работу новичков и профессионалов, а также не учтеныиндивидуальные различия пользователей;
· не учтено возникновение случайных ошибок в работе;
· не принято во внимание, что в процессе работы происходит научение, а при простое – забывание;
· не учтено, насколько предоставляемая интерфейсом информация сложна для понимания пользователем;
· не очевидно,насколько интерфейс отвечает требованиям пользователей и их ожиданиям.
1.1.2 Качественные методы
В качественных методах исследований центральное место занимает не статистическая достоверность и повторяемость результатов, а понимание контекста и поведения пользователя. В процессе проведения тестирования качественными методами используют формальные анкеты, которые разрабатывают в организации, проводящей тестирование, или применяют стандартные анкеты, например, ACSI (AmericanCustomerSatisfactionIndex) [www.theacsi.org], SUMI (SoftwareUsabilityMeasurementInventory) [sumi.ucc.ie ], QUIS (TheQuestionnaireforUserInteractionSatisfaction) [https://lap.umd.edu/quis], MUMMS (MeasuringtheUsabilityofMulti-MediaSoftware) [https://www.ucc.ie/hfrg/questionnaires/mumms], IsoMetrics [https://www.isometrics.uni-osnabrueck.de], WAMMI (WebsiteAnalysisandMeasurementInventory) [ www.wammi.com]. Образец формальной анкеты приведен в Приложении Ж.
Основная задача при использованиикачественных методов – установить меру серьезности той или иной проблемы, с которой сталкивается пользователь, и насколькоона доставляет ему беспокойство.
Преимущества качественных методов:
· открытость процесса тестирования, что способствует исследованию новых идей и проникновению в суть проблемы;
· возможность обсуждения проблем ПИ с пользователями;
· возможность тестирования меньшим количеством респондентов без обязательного знания формальных статистических методов анализа и обработки данных, что позволяет уменьшить стоимость тестирования;
· качественныеметоды сопряжены с меньшим риском, чем количественные в тех случаях, когда тестирование проведено некорректно [3].
Как правило, при usability-тестировании ПИприменяют некоторые эвристические критерии и характеристики, которые заменяют точные оценки в классическом тестировании программных систем. Якоб Нильсен выделил десять эвристических характеристик удобного пользовательского интерфейса, которые, по его мнению, следует проверять при usability-тестировании ПИ [5]:
· Наблюдаемость состояния системы. Система всегда должна оповещать пользователя о том, что она в данный момент делает, причем через разумные промежутки времени.
· Соотнесение с реальным миром. Терминология, использованная в интерфейсе системы, должна соотноситься с пользовательским миром, т.е. это должна быть терминология проблемной области пользователя, а не техническая.
· Пользовательское управление и свобода действий. Пользователи часто выбирают отдельные интерфейсные элементы и используют функции системы по ошибке. В этом случае необходимо предоставлять четко определенный "аварийный выход", с помощью которого можно вернуться к предыдущему нормальному состоянию. К таким "аварийным выходам" относятся, например, функции отката и обратного отката.
· Целостность и стандарты. Для обозначения одних и тех же объектов, ситуаций и действий необходимо использовать одинаковые термины во всех частях интерфейса. Более того, терминология сообщений в ПИ должна учитывать специфику соглашений конкретной платформы.
· Помощь пользователям в распознавании, диагностике и устранении ошибок. Сообщения об ошибках должны быть задокументированы, а не заменены кодами ошибок. Сообщения об ошибках должны четко определять суть возникшей проблемы и содержать ее конструктивное решение.
· Предотвращение ошибок. Дизайн ПИ, предотвращающий появление ошибок пользователя, всегда лучше хорошо продуманных сообщений об ошибках. При проектировании интерфейса необходимо либо полностью устранять элементы, в которых могут возникать ошибки, либо предупреждать пользователя о появлении наиболее вероятных ошибок в этих элементах и сообщать ему о потенциально возможном возникновении проблемы.
· Распознавание, а не вспоминание. При создании интерфейса необходимо минимизировать нагрузку на память пользователя, представляя объекты, действия и опции ясными, доступными и явно видимыми. Пользователь не должен запоминать информацию при переходе от одного диалогового окна к другому. В определенных местах должны находиться контекстные инструкции по использованию интерфейса.
· Гибкость и эффективность использования. В интерфейсе должны быть предусмотрены «горячие клавиши» (не обязательные к использованию начинающим пользователем), они часто значительно ускоряют работу опытного пользователя. Иными словами, система должна предоставлять два способа работы – для новичков и опытных пользователей. Желательно при этом давать возможность пользователю автоматизировать часто повторяющиеся действия.
· Эстетичный и минимально необходимый дизайн. Окна не должны содержать не относящуюся к делу или редко используемую информацию. Каждый интерфейсный элемент, содержащий бесполезную информацию, является информационным шумом и отвлекает пользователя от действительно полезных интерфейсных элементов.
· Помощь и документация. Несмотря на то, что в идеальном случае лучше, когда систему можно использовать без документации, таковая все равно необходима как в виде системы помощи, так и, возможно, в виде печатного руководства. Информация в документации должна быть структурирована таким образом, чтобы пользователь мог легко найти нужный раздел, посвященный решаемой им задаче. Каждый такой ориентированный на конкретную задачу раздел должен помимо общей информации содержать пошаговые руководства по выполнению задачи и не должен быть слишком большим.
Все эти эвристики можно использовать при usability-тестировании ПИ.
1.1.3 Документирование
usability-тестирование ПИ как часть процесса разработки программного продукта предполагает подробное документирование. Для стандартизации информации, которая используется в процессе тестирования, применяют отраслевые и стандартные форматы. Одним из таких стандартов является стандарт CIF (CommonIndustryFormat) [ https://www.ncits.org/ref-docs/CIF ]. Его применяют для того, чтобы заменить многочисленные документы, которые используются заинтересованными лицами (компаниями, тестирующими usabilityПИ, продавцами, покупателями, пользователями программного продукта (ПП).
За счет использования стандартизированного формата сокращается время на обучение специалистов по usability-тестированию ПИ, а также повышается эффективность коммуникации между разработчиками, клиентами и пользователями.
В Приложении А приведена типовая структура отчета о проведении usability-тестирования ПИ.
2 Порядок выполнения домашнего задания
· Выбрать вариант домашнего заданияиз Приложения Б. Номер варианта соответствует порядковому номеру студента в списке журнала посещений.
· Внимательно изучить теоретические сведения и методические рекомендации по выполнению домашнего задания.
· Сформулировать постановку задачи (см. п. 3.1).
· Привести общую информацию о тестируемом ПИ (см. п. 3.2).
· Определить цели тестирования (см. п. 3.3).
· Описать его метод (см. п. 3.4):
§ выбрать участников тестирования;
§ назначить средства тестирования;
§ определить задачи пользователя;
§ выявить и описать метрики для измерения usabilityПИ;
§ разработать тестовые сценарии.
· Провести сравнительное тестирование двух сайтовв соответствии с методикой.
· Проанализировать результаты тестирования.
· Сформулировать выводы на основе результатов тестирования.
· Оформить отчет в виде пояснительной записки. Образец титульного листа приведен в Приложении К.
3 Описаниевыполнения домашнего задания
3.1 Постановка задачи
Студент в произвольной форме формулирует постановку задачи, например, провести сравнительное usability-тестирование ПИ двух сервисных WEB-сайтов по продаже туристических путевок.
3.2 Общая информация о тестируемом ПИ
Общая информация о тестируемом ПИ содержит следующие сведения:
· Формальное имя продукта, версию или релиз. Эту информацию можно найти на домашней странице сайта.
· Описание представителей пользователей, для которых предназначен ПИ.
· Краткаяхарактеристика физической среды, в которой будет использован продукт:
§ физическиепараметры рабочей среды (освещение, шум, рабочее пространство, температура, наличие компьютеров и телефонов, количество персонала, частота прерывания работыи т.д.);
§ место работы пользователя(офис, квартира) и степень его мобильности (стационарно, с передвижениями и т.д.);
§ вопросы эргономики, условий труда (степень использования зрения, слуха; работувыполняют стоя/сидя, на клавиатуре и т.д.);
§ особенностипользователя (уровень подготовки, физическое состояние, интерес к познавательному процессу, особенности речи и возможные недостатки);
§ интернационализация и другие культурологические условия (перевод, цвета, иконки, текст, сообщения и т.д.);
· Описание всех видов деятельности пользователя, связанных с решением его задач и поддерживаемых ПИ.
3.3 Определение целей тестирования
Цель usability-тестирования ПИ – выявить проблемы и оценить качество работы продукта, а также выяснить, насколько он эффективен, продуктивен и довольны ли им пользователи [3], т.е. соответствует ли ПИ заданным критериям usability. Образцы целей тестирования определенного задания приведены в таблице1.
Таблица 1 – Пример целей тестирования
| Показатель usability ПИ | Метрика измерения | Цели тестирования |
| Эффективность | После выполнения пяти сценариев задачи 75%пользователей способны успешно выводить текущую страницу на печать | Оценить эффективность (после выполнения пяти сценариев задачи будут лиспособны 75% пользователей успешно выводить текущую страницу на печать) |
| Производительность | После выполнения пяти сценариев задачи 75% пользователей смогут успешно выводить текущую страницу на печатьв течение двух минут | Оценить производительность(действительно ли после выполнения пяти сценариев задачи 75% пользователей смогут успешно выводить текущую страницу на печать в течение двух минут) |
| Удовлетворенность | После выполнения пяти сценариев задачи 85% пользователей оценят степень своей удовлетворенности продуктом на 5,5 баллов и выше (по 7-балльной шкале) | Оценить удовлетворенность(действительно ли после выполнения пяти сценариев задачи 85% пользователей оценят степень своей удовлетворенности продуктом на 5,5 баллов и выше (по 7-балльной шкале) |
В отчете должны быть описаныобщаяи частные цели тестирования каждого тестового задания.
3.4 Описание метода тестирования
3.4.1 Выбор участников тестирования
Для проведения тестирования необходимо отобрать участников и подробно описать их характеристики: количество, демографические данные, профессиональный опыт, опыт владения компьютером и продуктом, специальные требованияк пользователям, имеющим физические или умственные отклонения. Образец записи данных об участниках представлен в таблице 2.
Таблица 2 –Образец таблицы для описания характеристик пользователя
| Респонденты | Пол | Возраст | Профессия | Профессиональныйопыт | Опыт владения компьютером | Опыт работы с программным продуктом |
| № 1 | жен. | Дизайнер | 10 лет | 5 лет | Со всеми функциями продукта – 5-8 лет | |
| № 2 | муж. | Помощникдизайнера | 5 лет | 3 года | С продуктом– 1 год | |
| № 3 | муж. | Помощникдизайнера | 4 года | 10 лет | С аналогичными продуктами– 5 лет |
Характеристики пользователей должны быть достаточно полными, чтобы отобранная группа могла участвовать в usability-тестировании ПИ, а также позволила определить, смогут ли отобранные респонденты быть пользователями продукта. Участники не должны являться представителями организаций, которые проводят тестирование или приобретают продукт. Ими могут стать студенты разных специальностей и курсов, обучающиеся в университете и имеющие различный опыт владения компьютером.
При формировании групп участников тестирования используют специальные методы и критерии отбора (например, начинающие, опытные и т.п.).
Все респонденты получают материальное вознаграждение за участие в тестировании или ценный подарок.
Для выбора количества участников тестирования можно воспользоваться рекомендациями usability-эксперта Якоба Нильсена, которые получили широкое признание в области UX-проектирования.
В случае использования количественных методов следует запланировать не менее 20 пользователей на каждый цикл исследований.В случае применения качественных методов обычно достаточно группы из 5–8 пользователей на каждый цикл исследований. В идеальном случае следует проводить несколько циклов исследований для выявления проблем, скрытых за другими проблемами или случайно введенных в новой версии
ПИ [10].
3.4.2 Средства тестирования
Usability-тестирование ПИ можновыполнять в лаборатории, офисном помещении, зале заседаний, домашнем офисе, квартире, производственном помещении. Любые факторы, которые могут повлиять на результат тестирования, должны быть описаны, например, видео- и аудиооборудование, предназначенное для записи тестирования, автоматическое оборудование для сбора данных и др.
В отчете о тестировании также подробно должны быть описаны:
· вычислительная среда (компьютерная конфигурация, версияоперационной системы, необходимые библиотеки, название браузера, его версия, плагины и др.);
· устройства отображения (для экрана: его размер, разрешение, качество цветопередачи и др.; для принтера: размер документа для вывода, разрешение печати и др.); если размеры визуальных элементов интерфейса (такие, как шрифты) могут изменяться, определяют тот размер, который используют в тесте;
· звуковые устройства (параметры настройки звука, определяющие его качество, громкость и т.д.).
Средства тестирования следует описывать, используя таблицу 3.
Таблица 3 –Пример описания средств тестирования
| Вычислительная среда | Устройства отображения | Звуковые устройства |
3.4.3 Описание пользовательских задач
Пользовательская задачарегламентирует деятельность пользователя и имеет самостоятельную ценность. Эту задачу выполняютпосредством одной или нескольких операций (пользовательская операция не имеет самостоятельной ценности). Примеры пользовательских задач приведены в таблице 4.
Таблица 4 – Примеры пользовательских задач
| Название ПП | Задачи пользователя |
| Почтовый клиент | Написание и отправка письма. Прием сообщений с сервера. Настройка автоматического приема почты через заданные интервалы и др. |
| Текстовый редактор | Создание и сохранение документа. Формирование предметного указателя. Создание шаблона документа и др. |
| Веб-Приложение (продажа ж/д билетов) | Бронирование мест в поезде. Поиск свободных мест на конкретную дату и др. |
В качестве задач для тестирования отбирают те, при выполнении которых возникает больше всего проблем. Документируют, почему они были отобраны и описывают источник появившихся проблем. Пример обоснования выбора задач дляпользователя приведен в таблице 5.
Таблица 5 – Пример обоснования выбора задач пользователя
| Задача пользователя | Описание проблемы |
| Просмотреть наличие билетов на указанную дату | После ввода названий станций отправления, прибытия, даты и времени на экране не отображается информация о наличии билетов |
Источники проблем можно выявлять, наблюдая за пользователями, которые используют подобные ПП, просматривая спецификации маркетинговых продуктов, обсуждая с пользователями или командой проектировщиков задания, предназначенные для выполнения участникамтестирования.
В домашнем задании необходимо выбрать три задачидля пользователя при проведении тестирования.
3.4.4 Метрики измерения usability ПИ
Usability ПИопределяют метрикамиэффективности, производительностии удовлетворенности. Выбор метрик зависит от целей специфического исследования, характеристик пользователей, специфицированных заданий и контекстно-зависимых особенностей.
В отчете о тестировании должны быть представлены метрики для измерения эффективности, производительности, удовлетворенности.
Эффективность
Эффективность связывает цели использования продукта с точностью и полнотой, с которой могут быть достигнуты эти цели. Общие метрики измерения эффективности включают в себя процент завершенных задач, частоту ошибок, частоту помощи тестеров участникам и частоту обращения к help или документации участниками во время выполнения заданий и др. В процессе измерения количественных показателей не принято во внимание то, как цели выполнения заданий были достигнуты, учитываюттолько полноту их достижения.
Критерий завершения
Критерий завершения – это, например, процент участников, которые полностью и правильно достигли цели выполнения каждойзадачи, если это происходит частично, то полезно сообщить о среднем достижении целей, которые оцениваются в пределах от 0 до 100 %.
Например, задача проверки орфографии может содержать определение и исправление десяти ошибок правописания, и критерий завершения можно вычислить на основе процента исправленных ошибок.
Метрики измерения ошибок
Ошибки фиксируются в тех случаях, когда участники не заканчивают выполнение задачи успешно или были попытки реализовать ее более одного раза. Оценочный лист должен содержатьошибки, классифицированные по типам.
Метрики для измерения ошибок: процент операций, приведших к ошибке; среднее количество ошибок привыполнении операции опытными пользователями (именно опытными, так какна неопытных могут сказываться факторы обучения); количество ошибок, не обнаруженных и не исправленных пользователями, и др.