Оценка Число баллов
Качество очень высокое 7
Качество высокое 6
Качество выше среднего 5
Качество среднее 4
Качество ниже среднего 3
Качество низкое 2
Качество очень низкое 1
Обобщенный показатель качества Kэкс, определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле
,
где а -- количество экспертов; Q -- оценки в баллах, поставленные экспертами.
Если при экспертизе качества оценку (опрос) проводят в несколько туров, то в этом случае значение показателя качества определяют как среднеарифметическое значение оценок, полученных в каждом туре опроса экспертов по выражению
,
где 
-- значение показателя качества, полученное в каждом туре; m -- число туров опроса.
Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений, например, производительность ИС как число выдаваемых пользователю документов в единицу времени.
При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации [3].
В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС – студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т.п.
Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС – технических средств, программных продуктов, базы данных, лингвистических средств и др.
Литература
1. Исаев Г.Н. Моделирование оценки качества информационных систем. М.: ИМСГС, 2006. 230 с.
2. Орлов А.И. Теория принятия решений. М.: Изд-во «Март», 2004. 187 c.
3. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с.