Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла [1]. Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетно-аналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы [2]. Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.
Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал, используемый при проведении оценки качества ИС достаточно широкого класса и назначения.
Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.
При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.
1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.
2. Эксперты ранжируют объекты по шкале порядка.
3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Пример. Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:
эксперт № 1 – 
эксперт № 2 – 
эксперт № з – 
эксперт № 4 – 
эксперт № 5 – 
Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.
4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:
5. На основании полученных сумм рангов строим обобщенный ранжированный ряд.
Для нашего примера он имеет вид
6. Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле
(1),
где n – количество экспертов; m - число оцениваемых показателей;
– коэффициент весомости j-го показателя в рангах (баллах), который дал
i-ый эксперт.
Расчеты по формуле (1) для рассматриваемого примера дают следующие результаты:
.
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.
Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.
Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-и объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).
В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.
Таблица
Оценки эксперта по объектам
 Объект j
Объект i
| Итого | ||||||
| -1 | -1 | - 1 | -2 | ||||
| -1 | |||||||
| -1 | -1 | -1 | -1 | -1 | -5 | ||
| -1 | -1 |
Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.
Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.
Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т.е.
где N -- число предпочтений экспертов; n- количество экспертов.
Весомость показателя качества одного объекта исследования по отношению к показателям качества других объектов рассчитывается по формуле (1). Однако для данного случая она имеет вид
,
где 
-- частота предпочтения i-ым экспертом j-го объекта экспертизы;
С -- общее количество учитываемых оценок, связанное с числом объектов экспертизы m следующей зависимостью
Пусть, например, число оцениваемых объектов семью экспертами равно 6, 
. Тогда частоты предпочтений каждого объекта таковы
.
Общее число положительных оценок
.
Следовательно, весомость каждого из шести объектов экспертизы по общему мнению всех семи экспертов будут иметь следующие значения
Сумма всех показателей весомости качества объектов исследования
.
Так получили ранжированный по качеству ряд исследованных объектов вида:
№ 3 > № 1 > № 2 > № 6 > № 5 > № 4.
При этом показатели качества объектов, оцененные экспертным методом, выражены в количественной форме. По усредненным значениям показателей весомости можно судить, насколько одна ИС превосходит по качеству другую ИС.
Повысить точность экспертных оценок (измерений) показателей качества можно, если произвести двукратное сопоставление и оценку объектов, то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=m(m-1). В остальном методика расчетов показателей качества не изменяется.
При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.
Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи- или десятибалльную шкалы.