Проведение верификации программного кода относится к области ответственности разработчика программного обеспечения, который должен использовать современные методики и системы управления качеством, а также проводить тщательное тестирование каждого релиза программного кода.
Пользователи программного обеспечения также должны осозновать, что несут часть ответственности за верификацию программного кода, даже в случаях, когда у них нет доступа к исходному коду. Одним из распространенных способов верификации программного кода является сравнение результатов расчета с аналитическим решением. Подобное сравнение является основным способом пользовательского тестирования. К сожалению, сложность большинства доступных аналитических решений задач физики затрудняет их использование даже для относительно стандартных возможностей большинства современных коммерческих программных продуктов. Сравнение численного и аналитического решений возможно только для простых - модельных и тестовых задач.
Верификация вычислений
Второй составляющей процесса верификации является верификация вычислений – определение точности численного решения для заданной дискретизации расчетной области. Численное и аналитическое решения apriori отличаются, поскольку дискретное решение является лишь аппроксимацией аналитического. Поэтому целью верификации вычислений является установление количественного значения погрешности для заданной дискретной модели.
Погрешности, связанные с дискретизацией, наиболее часто определяются путем сравнения полученного численного решения с другими численными решениями на двух дополнительных дискретных моделях (вычислительных сетках) с уменьшенным размером ячейки (элемента). Целью сравнений решений на различных сетках является определение практической сходимости решения в интересующей исследователя области. Основная ответственность за верификацию вычислений лежит на исследователе – пользователе программного продукта. При том, что разработчик программного кода, несомненно, должен отвечать за корректность разработанных алгоритмов, он не может нести ответственность за то, что созданная пользователем расчетная сетка (дискретная модель) будет достаточно качественной для достижения алгоритмической точности. Таким образом, за ошибки в расчетах вследствие грубой или некорректно созданной расчетной сетки, полностью отвечает пользователь программного продукта. Недостаточные исследования чувствительности численного решения к размеру элемента расчетной сетки являются наиболее часто встречающимся упущением исследователей при проведении расчетов численными методами, при том, что данная техника верификации достаточно проста для реализации.
Валидация
Валидация – процесс определения степени соответствия расчетной модели реальному физическому объекту в рамках области планируемого использования данной модели.
Ни один из этапов верификации не позволяет определить, насколько выбранные модели адекватны объекту исследования. Оценка соответствия численной модели реальному миру относится к задачам валидации, которая позволяет определить, насколько физические явления и законы, включенные исследователем в расчетную модель, соответствуют постановке исходной задачи и достаточны для получения требуемых решений.
Способ взаимодействия физической и математической дисциплин в процессе верификации и валидации схематически представлен на рисунке.
После выбора расчетной схемы процесс верификации и валидации расходится на две ветви. Левая ветвь относится к области математического моделирования, а правая – к области физического эксперимента. В конечном итоге лишь физические наблюдения могут подтвердить или опровергнуть адекватность выбранной расчетной схемы и математической модели для представления объекта исследования. Тесное взаимодействие инженеров-расчетчиков и экспериментаторов требуется на всех стадиях процедуры верификации и валидации, т.к. математическая и физическая модели обязательно будут отличаться. Как простой пример, рассмотрим задачу нагружения балки, заделанной на одном конце. С точки зрения математика граничное условие заделки является тривиальным, но в физической лаборатории не существует оборудования, обеспечивающего такое явление как полная заделка, вследствие конечной жесткости оборудования и трехмерного характера физической модели, в отличие от математической модели балки. Таким образом, некоторые элементы расчетной схемы достаточно просто включить как в математическую, так и в физическую модель, а иные – гораздо сложнее. Для понимания природы этих расхождений и их возможного устранения должны проводиться предварительные расчеты, что отражено на схеме.
Также крайне важно, чтобы результаты эксперимента не были бы известны расчетчикам заранее, до получения численного решения. Основная причина этого – убедиться в "предсказательных возможностях" численной модели. Если результаты эксперимента известны расчетчику заранее, что естественным будет желание «настроить» модель на конкретный результат. Это снижает уровень доверия к численной модели.
Дополнительно важно отметить, что в моделировании и эксперименте важна роль неопределенности и, как следствие - повторяемости реузультатов. Ожидается, что при проведении одного и того же эксперимента результаты должны в определенной степени коррелировать между собой. Степень корреляции необходимо измерять. Точно также любая численная модель содержит ряд параметров (например, свойства материалов), которые являются в реальном мире не детерминистическими, а стохастическими величинами. Соответственно, при проведении численного моделирования необходимо проводить оценку чувствительности решения к неопределенности исходных данных.
Метод планирования эксперимента
Планирование эксперимента (experimental design techniques) – комплекс методов математической статистики, направленных на постановку опытов и проведение рациональных измерений, подверженных случайным ошибкам.
Общая схема проведения эксперимента выглядит следующим образом. Со случайными ошибками измеряется некоторые выходные переменные изучаемой системы, зависящие от неизвестных значений параметров и известных значений переменных-факторов, а также из возможных взаимодействий. Основная цель планирования эксперимента – достижение максимальной точности измерений при минимальном количестве произведенных опытов и сохранении статистической достоверности результатов.
Основные этапы планирования эксперимента:
1. Установление цели эксперимента – постановка целей и задач проведения эксперимента;
2. Уточнение условий проведения эксперимента – выбор оборудования, сроков работ, способа проведения эксперимента и т.п.;
3. Выбор входных и выходных параметров – выбор зависимой измеряемой переменной, определение случайных и детерминированных независимых переменных;
4. Установление необходимой точности результатов измерений – выбор компромисса между минимальным числом испытаний и статистической достоверностью получаемых результатов;
5. Составление плана и проведение эксперимента – количество и порядок испытаний, задание совокупности значений задаваемых переменных-факторов и их взаимодействий в эксперименте;
6. Статистическая обработка результатов эксперимента – применение методов математической статистики для обработки результатов, построение математической модели эксперимента;
7. Формулирование выводов.
Планирование эксперимента широко используют в промышленной статистике. В условиях промышленного эксперимента его основная цель заключается в определении максимального количества информации о влиянии изучаемых факторов на производственный процесс с помощью наименьшего числа дорогостоящих наблюдений. Методы анализа данных промышленных экспериментов опираются на теорию вероятностей и методы математической статистики: корреляционный анализ, регрессионный анализ, дисперсионный анализ.
Экспериментальное исследование
Важнейшей составной частью научных исследований является эксперимент, основой которого является научно поставленный опыт с точно учитываемыми и управляемыми условиями. Само слово эксперимент происходит от латинского “experimentum” – проба, опыт. В исследовательской работе термин “ эксперимент” обычно используется в значении, общем для целого ряда сопряжённых понятий: опыт, целенаправленное наблюдение, воспроизведение объекта познания, проверка предсказания. В это понятие вкладывается научная постановка опытов и наблюдение исследуемого явления в точно учитываемых условиях, которые позволяют следить за ходом явлений и воссоздавать его каждый раз при повторении этих условий. Основной частью эксперимента являются выявление свойств исследуемых объектов, проверка справедливости гипотез и на этой основе широкое и глубокое изучение темы научного исследования.
Постановка и организация эксперимента определяется его назначением. Эксперименты, которые проводятся в различных отраслях науки, являются химическими, биологическими, физическими, психологическими, социальными и т.п. Основные эксперименты, которые проводят в пищевой промышленности это – физико-химические, биохимические и микробиологические.
Эксперименты различаются по способу формирования условий (естественных и искусственных); по целям исследования (контролирующие, поисковые, преобразующие, констатирующие, решающие); по организации проведения (лабораторные, натуральные, производственные и т.п.); по структуре изучаемых объектов и явлений (простые и сложные); по характеру взаимодействия средств экспериментального исследования с объектом исследования (обычный и модельный); по числу варьируемых факторов (однофакторный и многофакторный) и др.
Из числа названных признаков наиболее часто применяется в технических науках - искусственный эксперимент, который предполагает формирование искусственных условий. Преобразующий (созидающий) эксперимент включает активное изменение структуры и функций объекта исследования в соответствии с выдвинутой гипотезой, формирование новых связей и отношений между компонентами объекта или между исследуемым объектом и другими объектами. При этом исследователь в соответствии со вскрытыми тенденциями развития объекта исследования преднамеренно создаёт условия, которые должны способствовать формированию новых свойств и качеств объекта. Констатирующий эксперимент используется для проверки определённых предположений. При этом констатируется наличие определённой связи между воздействием на объект исследования и результатом, выявляется наличие определённых факторов. Контролирующий эксперимент сводится к контролю за результатами внешних воздействий на объект исследования с учётом его состояния, характера воздействия и ожидаемого эффекта. Поисковый эксперимент проводится в том случае, если затруднена классификация факторов, влияющих на изучаемое явление вследствии отсутствия достаточных предварительных данных. По результатам поискового эксперимента устанавливается значимость факторов, отсеиваются незначительные факторы. Решающий эксперимент ставится для проверки справедливости основных положений фундаментальных теорий, в том случае, когда две или несколько гипотез одинаково согласуются со многими явлениями. Решающий эксперимент даёт такие факты, которые согласуются с одной из гипотез и противоречат другим. Лабораторный эксперимент проводится в лабораторных условиях с применением типовых приборов, специальных моделирующих установок, стендов, оборудования и т.д. Чаще всего в лабораторном эксперименте изучается не сам объект, а его образец. Этот эксперимент позволяет доброкачественно, с требуемой повторностью изучить влияние одних характеристик при варьировании других, получить хорошую научную информацию с минимальными затратами времени и ресурсов. Однако такой эксперимент не всегда полностью моделирует реальный ход изучаемого процесса, поэтому возникает потребность в проведении натурного эксперимента. Натурный эксперимент проводится в естественных условиях и на реальных объектах. В зависимости от места проведения испытаний натурные эксперименты подразделяют на производственные, полевые, полигонные и т.п. Натурный эксперимент всегда требует тщательного продумывания и планирования, рационального подбора методов исследования.
Эксперименты могут быть простыми и сложными. Простой используется для изучения объектов, не имеющих разветвлённой структуры с небольшим количеством взаимосвязанных и взаимодействующих элементов, выполняющих простейшие функции. В сложном эксперименте изучаются явления или объекты с разветвлённой структурой и большим количеством взаимосвязанных и взаимодействующих элементов, выполняющих сложные функции. Высокая степень связности элементов приводит к тому, что изменение состояния какого-либо элемента или связи влечёт за собой изменение состояния многих других элементов системы. Вещественный эксперимент предполагает изучение влияния различных вещественных факторов на состояние объекта исследования. Например, влияние различных добавок на качество продуктов питания. Пассивный эксперимент предполагает измерение только выбранных показателей в результате наблюдения за объектом без искусственного вмешательства в его функционирование. Примерами пассивного эксперимента является наблюдение: за числом заболеваний вообще или определённой болезнью, за работоспособностью отдельной группы людей и др. Активный эксперимент связан с выбором специальных входных сигналов (факторов) и контролирует вход и выход исследуемой системы. Однофакторный эксперимент предполагает выделение нужных факторов, стабилизацию мешающих факторов; поочерёдное варьирование интересующих исследователя факторов. Стратегия многофакторного эксперимента состоит в том, что варьируются все переменные сразу и каждый эффект оценивается в данной серии эксперимента. Технологический эксперимент направлен на изучение элементов технологического процесса (продукции, оборудования, деятельности работников и т.п.) или процесса в целом.
Приведённая классификация экспериментальных исследований не может быть признана полной, поскольку с расширением научного знания, расширяется и область применения экспериментального метода.
Для проведения эксперимента необходимо: разработать гипотезу, подлежащую проверке; создать программы экспериментальных работ; определить способы и приёмы вмешательства в объект исследования; обеспечить условия для осуществления процедуры экспериментальных работ; подготовить средства эксперимента (приборы, установки); обеспечить эксперимент необходимым обслуживающим персоналом. Особое значение имеет правильная разработка методик эксперимента. Методика – это совокупность мысленных и физических операций, размещённых в определённой последовательности, в соответствии с которой достигается цель исследования. Правильно разработанная методика экспериментального исследования предопределяет его ценность. Поэтому разработка, выбор, определение методики должно проводится особенно тщательно.
Перед каждым экспериментом составляется его план (программа), который включает: цель и задачи эксперимента; выбор варьирующих факторов; обоснование эксперимента, числа опытов, порядок реализации опытов, определение последовательности изменения факторов, описание проведения эксперимента; обоснование объема эксперимента, числа опытов; порядок реализации опытов, обоснование средств измерений; описание проведения эксперимента, обоснование способов обработки и анализа результатов эксперимента.
Важнейшим этапом подготовки к эксперименту является определение его целей и задач. Количество задач для конкретного эксперимента не должно быть слишком большим (лучше 3...4, максимально 8...10). Перед экспериментом необходимо выбрать варьирующие факторы, т.е. установить основные и второстепенные характеристики, влияющие на исследуемый процесс, проанализировать теоретические схемы процесса. Необходимо также обосновать набор средств измерений (приборов). При экспериментальном исследовании одного и того же процесса повторные отсчёты на приборах, как правило, неодинаковы. Отклонения объясняются различными причинами - неоднородностью свойств изучаемого объекта, несовершенством приборов и классов их точности, особенностями экспериментатора и др. Это требует повторных измерений, а, следовательно, необходимо знать их минимальное количество. Под потребным минимальным количеством измерений понимают такое количество измерений, которое в данном опыте обеспечивает устойчивое среднее значение измеряемой величины.
Важным разделом методики является выбор методов обработки и анализа экспериментальных данных. Обработка данных сводится к систематизации всех цифр, классификации, анализу. Результаты экспериментов должны быть сведены в удобочитаемые формы записи – таблицы, графики, формулы, позволяющие быстро и доброкачественно сопоставлять полученное и проанализировать результаты. Все переменные должны быть оценены в единой системе единиц физических величин.
Особое значение в методике должно быть уделено математическим методам обработки и анализу опытных данных. Например - установлению эмпирических зависимостей, аппроксимации связей между варьирующими характеристиками, установлению критериев и доверительных интервалов и др. результаты экспериментов должны отвечать трём статистическим требованиям – минимальности дисперсии отклонения относительно неизвестного параметра; требование состоятельности оценок, т.е. при увеличении числа наблюдений оценка параметра должна стремится к его истинному значению; отсутствию систематических ошибок в процессе вычисления параметров.
После разработки и утверждения методики устанавливается объем и трудоемкость экспериментальных исследований, которые зависят от глубины теоретических разработок. После установления объема экспериментальных работ составляется перечень необходимых средств измерений, объёма материалов, список исполнителей, календарный план. План-программу рассматривает научный руководитель, обсуждают в научном коллективе и утверждают в установленном порядке.
Методы обработки экспериментальных данных