Методологии и стандартизации оценки характеристик качества готовых программных средств и их компонентов (программного продукта) на различных этапах жизненного цикла посвящен международный стандарт ISO 14598.
Рекомендуется следующая общая схема процессов оценки характеристик качества программ:
· установка исходных требований для оценки — определение целей испытаний, идентификация типа метрик программного средства, выделение адекватных показателей и требуемых значений атрибутов качества;
· селекция метрик качества, установление рейтингов и уровней приоритета метрик субхарактеристик, выделение критериев для проведения экспертиз и измерений;
· планирование и проектирование процессов оценки характеристик качества в жизненном цикле программного средства;
· выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка результатов.
Для каждой характеристики качества рекомендуется формировать меры и шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений.
Реализация процессов оценки должна коррелировать с этапами жизненного цикла конкретного проекта программного средства в соответствии с применяемой, адаптированной версией стандарта ISO 12207.
Функциональная пригодность — наиболее неопределенная и объективно трудно оцениваемая характеристика программного средства.
Функциональная пригодность — это набор атрибутов, определяющий назначение, номенклатуру, основные необходимые и достаточные функции ПС, заданные техническим заданием заказчика или потенциального пользователя. В процессе проектирования ПС атрибуты функциональной пригодности конкретизируются в спецификации на компоненты. Эти атрибуты можно численно представить точностью вычислений, относительным числом поэтапно изменяемых функций, числом спецификаций требований заказчиков и т.д. Но области применения, номенклатура и функции комплексов программ настолько велики, что для оценки и сравнения этой характеристики в различных комплексах программ необходимо достаточно большое число атрибутов.
Оценка корректности программных средств состоит в формальном определении степени соответствия комплекса реализованных программ исходным требованиям контракта, технического задания и спецификаций на программное средство и его компоненты. Путем верификации должно быть определено соответствие исходным требованиям всей совокупности к компонентов комплекса программ, вплоть до модулей и текстов программ и описаний данных.
Оценка способности к взаимодействию состоит в определении качества совместной работы компонентов программных средств и баз данных с другими прикладными системами и компонентами на различных вычислительных платформах, а также взаимодействия с пользователями в стиле, удобном для перехода от одной вычислительной системы к другой с подобными функциями.
Оценка защищенности программных средств включает определение полноты использования доступных методов и средств защиты программного средства от потенциальных угроз и достигнутой при этом безопасности функционирования информационной системы. Наиболее широко и детально методологические и системные задачи оценки комплексной защиты информационных систем изложены в трех частях стандарта ISO 15408:1999-1--3 "Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий".
Оценка надежности — измерение количественных метрик атрибутов характеристик в использовании: завершенности, устойчивости к дефектам, восстанавливаемости и доступности/готовности.
Потребность в ресурсах памяти и производительности компьютера в процессе решения задач значительно изменяется в зависимости от состава и объема исходных данных. Для корректного определения предельной пропускной способности информационной системы с данным программным средством нужно измерить экстремальные и средние значения длительностей исполнения функциональных групп программ и маршруты, на которых они достигаются. Если предварительно в процессе проектирования производительность компьютера не оценивалась, то, скорее всего, понадобится большая доработка или даже замена компьютера на более быстродействующий.
Оценка практичности программных средств проводится экспертами и включает определение понятности, простоты использования, изучаемости и привлекательности программного средства. В основном это качественная (и субъективная) оценка в баллах, однако некоторые атрибуты можно оценить количественно по трудоемкости и длительности выполнения операций при использовании программного средства, а также по объему документации, необходимой для их изучения.
Сопровождаемость можно оценивать полнотой и достоверностью документации о состояниях программного средства и его компонентов, всех предполагаемых и выполненных изменениях, позволяющей установить текущее состояние версий программ в любой момент времени и историю их развития. Она должна определять стратегию, стандарты, процедуры, распределение ресурсов и планы создания, изменения и применения документов на программы и данные.
Оценка мобильности — качественное определение экспертами адаптируемости, простоты установки, совместимости и замещаемости программ, выражаемое в баллах. Количественно эту характеристику программного средства и совокупность ее атрибутов можно (и целесообразно) оценить в экономических показателях: стоимости, трудоемкости и длительности реализации процедур переноса на иные платформы определенной совокупности программ и данных.
4.3 Надежность программных средств
Надежность – свойство программного средства сохранять работоспособность в течение определенного периода времени, в определенных условиях эксплуатации с учетом последствий для пользователя каждого отказа.
Работоспособным называется такое состояние программного средства, при котором оно способно выполнять заданные функции с параметрами, установленными требованиями технического задания.
Для оценки надежности используются три группы показателей: качественные, порядковые и количественные.
К основным количественным показателям надежности ПС относятся:
Вероятность безотказной работы – это вероятность того, что в пределах заданной наработки отказ системы не возникает. Наработка – продолжительность или объем работ.
Вероятность отказа – вероятность того, что в пределах, заданной наработки отказ системы возникает. Это показатель, обратный предыдущему.
Интенсивность отказа системы – это условная плотность вероятности возникновения отказа ПС в определенный момент времени при условии, что до этого времени отказ не возник. Если в процессе тестирования фиксируется число отказов за определенный интервал времени, то интенсивность – число отказов в единицу времени.
Средняя наработка до отказа – суммарное время безотказной работы до текущего момента, деленное на количество ошибок;
Среднее время восстановления. При этом данное время является суммарным временем, затраченным на обнаружение и восстановление возможной ошибки.
Надежная программа прежде всего должна обеспечивать достаточно низкую вероятность отказа в процессе функционирования в реальном времени, быстро реагировать на искажения программ и восстанавливать работоспособность за время, меньшее, чем порог между сбоем и отказом.
Основным принципом классификации сбоев и отказов в программах является разделение по временному показателю длительности восстановления после любого искажения программ.
При длительности восстановления, меньшей заданного порога, дефекты при функционировании программ следует относить к сбоям, а при восстановлении, превышающем по длительности пороговое значение, происходящее искажение соответствует о тказу.
Надежность функционирования ПС наиболее широко характеризуется устойчивостью, или способностью к безотказному функционированию, и восстанавливаемостью работоспособного состояния после произошедших сбоев или отказов.
Устойчивость зависит от уровня неустраненных ошибок и способности ПС реагировать на их проявления так, чтобы это не отражалось на показателях надежности.
Восстанавливаемость характеризуется полнотой и длительностью восстановления функционирования программ в процессе перезапуска. Перезапуск должен обеспечивать возобновление нормального функционирования ПС, на что требуются ресурсы ЭВМ и время.
Показатели надежности ПС в значительной степени адекватны аналогичным характеристикам, принятым для других технических систем.
Наиболее широко используются:
1.критерии длительности наработки на отказ. Для определения этой величины измеряется время работоспособного состояния системы между двумя последовательными отказами или началом нормального функционирования системы после них. Вероятностные характеристики этой величины в нескольких формах используются как разновидности критериев надежности.
2. критерий длительность восстановления - основной показатель процесса восстановления.
3. критерии коэффициент готовности. – служит для обобщения характеристик отказов и восстановлений. Этот показатель отражает вероятность иметь восстанавливаемую систему в работоспособном состоянии в произвольный момент времени. Значение коэффициента готовности соответствует доле времени полезной работы системы на достаточно большом интервале, содержащем отказы и восстановления.
4.3.1 Дестабилизирующие факторы и методы обеспечения надежности функционирования ПС.