ТЕОРЕТИЧЕСКАЯ ЧАСТЬ
Нейроподобная сеть
Нейроподобная сеть представляет собой совокупность нейроподобных элементов определенным образом связанных между собой и внешней средой. Входной вектор (кодирующее входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов. Множество выходных сигналов y1, … yk называют вектором выходной активности или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где wij вес связи между i-м и j-м нейронами. В процессе функционирования (эволюция состояния) сети осуществляется преобразование входного вектора в выходной, т.е. некоторая переработка информации, которую можно интерпретировать, как функцию гетеро- или автоассоциативной памяти. Конкретный вид выполняемого сетью преобразования информации, обуславливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т.е. той или иной топологией межнейронных связей, выбором определенных подмножеств входных и выходных нейронов, и т.д.
Рассмотрим ряд свойств нейронных сетей:
1. Нейросети принимают решения на основе «самостоятельно» приобретаемого опыта. В данном случае это означает то, что создателю экспертной системы не требуется устанавливать взаимосвязи между входными данными и необходимым решением, тратя время на разнообразную статобработку, подбор математического аппарата, создание и проверку математических моделей.
2. Решение принимаемое нейросетью не является категоричным. Сеть выдает решение вместе со степенью уверенности в нем, что позволяет пользователю критически оценивать результат.
3. Нейросеть позволяет моделировать ситуацию принятия решения, что позволяет посмотреть, «а что будет если»
4. Нейросеть дает ответ очень быстро (доли секунды), что позволяет их использовать их в динамических системах, требующих незамедлительного принятия решения.
5. Возможности нейросетей (коррекция классификационной модели, минимизация параметров) позволяет упрощать процесс создания экспертных систем, определять направления научного поиска.[2]
По типам связей нейронные сети можно классифицировать на многослойные, «каждый с каждым», с прямыми и симметричными связями, сети с латеральным торможением и комбинированные из этих типов сети.
По способу создания нейронные сети можно разделить на обучаемые и формируемые нейронные сети, а также смешанные.
Обучение нейроподобной сети.
Одно из основных свойств нейроподобной сети – способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил.
Процесс обучения представляет собой автоматический поиск закономерности между совокупностью обучающих данных и заранее известными результатами. Если представить выходную информацию в виде метрического пространства, то в процессе обучения расстояния между выходными образами различных классов будет увеличиваться, а для одного класса будут сокращаться и стремиться к той точке пространства, в которой этот класс определен.
В процессе обучения могут возникнуть ситуации, при которых обучение прекращается до того как сеть будет полностью обучена. Это возможно, например, в случае, когда входные образы имеют одинаковые параметры, но при этом принадлежат к различным классам и сеть не может найти признака, по которому их можно разделить. Поэтому до обучения очень важно задать правильную классификацию, иначе в процессе обучения модель придется менять. Например, образы относятся к трем классам, а сеть сконфигурирована лишь для двух. В этом случае процесс обучения не будет закончен и модель сети придется менять.
Алгоритмы обучения на основе обратного распространения ошибки.
Простейший способ обучения – по очереди менять каждый весовой коэффициент сети (далее просто - вес связи) таким образом, чтобы оптимизировался какой-либо критерий качества работы сети (обычно – среднеквадратичное отклонение выходного сигнала сети от требуемого значения). Понятно, что такой способ малоэффективен. Выгоднее вычислить совокупность производных ошибки сети по весовым коэффициентам – градиент ошибки по весам связей – и изменить все веса сразу на величину, пропорциональную соответствующей производной. Один из возможных методов, позволяющих вычислить градиент ошибки – алгоритм обратного распространения.
Модель нейрона для алгоритма обратного распространения.
В данной работе использовалась следующая модель нейрона, позволяющая применить алгоритм обратного распространения к сетям с широким набором различных свойств и топологий.
Входные данные D поступают на входы связей нейрона, где происходит их взвешивание:
X = f (W,D), (1)
где W – весовой коэффициент или набор коэффициентов (как правило, f(W,D) = W*D).
Далее сигналы X с выходов связей поступают на вход нейрона и суммируются:
Xсум = S Xвхi, (2)
i=1,n
после чего подаются на нелинейный элемент (он может быть как встроенный, так и задаваемый пользователем):
Y = f (Xсум + С). (3)
Сигнал Y затем рассылается по всем связям, выходящим из данного нейрона, после чего процесс повторяется заданное количество раз, пока на выходе сети не появятся требуемые данные.
Нейроны и связи выполнены в виде отдельных объектов, связанных между собой только функциями передачи данных, и допускают их независимую модификацию. Помимо этого, предусмотрена возможность задания произвольной внешней переходной функции нейрона.
Классический алгоритм обратного распространения.
Для начала предположим, что имеется послойно организованная сеть, в которой каждый нейрон предыдущего слоя соединен с каждым нейроном последующего. Будем индексировать символом «j» нейроны текущего слоя, и «i» - предыдущего. Будем также считать, что используется сигмоидальная функция активации нейрона, а в качестве критерия оптимизации используется среднеквадратическое отклонение наблюдаемого выхода сети от требуемого. В этом случае алгоритм обратного распространения состоит из четырех шагов:
1) подать на вход сети входной вектор Х и получить выходной вектор Y=(Yj(n))
2) Вычислить ошибку на выходе сети E(n)=Sej(n)2, где ej(n)=Dj-Yj(n)
3) Определить ошибки скрытых слоев:
Эту процедуру можно повторять, чтобы вычислять E стольких предыдущих слоев, сколько их есть.
 |
4) Вычислить коррекцию настраиваемых параметров. Например, на основе анализа градиента функции ошибок по настраиваемым параметрам
5) Проверить уровень выходной ошибки сети. Если ошибка ниже заданного порога, то закончить обучение, иначе к п.1
Схема сети приведена на Рис.1.
Рис.1. Обратное распространение ошибки. Модель многослойной сети.
Архитектура «многослойный перцептрон».
Обучение с учителем.
Обучение – коррекция по ошибке (обратное распространение ошибки).
Число слоев k.
Слой 0 – рецептивный, слои 1- k – нелинейные нейроны.
Число входов n, число выходов р.
Сеть прямого распространения.
ПРАКТИЧЕСКАЯ ЧАСТЬ