Алгоритм функционирования самообучающихся карт представляет собой один из вариантов кластеризации многомерных векторов. Примером таких алгоритмов может служить алгоритм ближайших средних (с-means). Важным отличием алгоритма SOM является то, что в нем все нейроны (узлы, центры классов) упорядочены в некоторую структуру (обычно двумерную сетку). При этом в ходе обучения модифицируется не только нейрон-победитель, но и его соседи, но в меньшей степени. За счет этого SOM можно считать одним из методов проецирования многомерного пространства в пространство с более низкой размерностью При использовании этого алгоритма вектора, схожие в исходном пространстве, оказываются рядом и на полученной карте. SOM подразумевает использование упорядоченной структуры нейронов. Обычно используются одно- и двумерные сетки. При этом каждый нейрон представляет собой n-мерный вектор-столбец wn, где п определяется размерностью исходного пространства (размерностью входных векторов). Применение одно- и двумерных сеток связано с тем, что возникают проблемы при отображении пространственных структур большей размерности (при этом опять возникают проблемы с понижением размерности до двумерной, представимой на мониторе).
Обычно нейроны располагаются в узлах двумерной сетки с прямоугольными или шестиугольными ячейками. При этом, как было сказано выше, нейроны также взаимодействуют друг с другом. Величина этого взаимодействия определяется расстоянием между нейронами на карте.
При реализации алгоритма SOM заранее задается конфигурация сетки (прямоугольная или шестиугольная), а также количество нейронов в сети. Некоторые источники рекомендуют использовать максимально возможное количество нейронов в карте. При этом начальный радиус обучения (neighborhood в англоязычной литературе) в значительной степени влияет на способность обобщения при помощи, полученной карты. В случае, когда количество узлов карты превышает количество примеров в обучающей выборке, то успех использования алгоритма в большой степени зависит от подходящего выбора начального радиуса обучения. Однако в случае, когда размер карты составляет десятки тысяч нейронов, время, требуемое на обучение карты, обычно бывает слишком велико для решения практических задач, таким образом, необходимо достигать допустимого компромисса при выборе количества узлов.
|
|
Перед началом обучения карты необходимо проинициализировать весовые коэффициенты нейронов. Удачно выбранный способ инициализации может существенно ускорить обучение и привести к получению более качественных результатов. Существуют три способа инициирования начальных весов:
1. инициализация случайными значениями, когда всем весам даются малые случайные величины;
2. инициализация примерами, когда в качестве начальных значений задаются значения случайно выбранных примеров из обучающей выборки;
3. линейная инициализация. В этом случае веса инициируются значениями векторов, линейно упорядоченных вдоль линейного подпространства, проходящего между двумя главными собственными векторами исходного набора данных. Собственные векторы могут быть найдены, например, при помощи процедуры Грама-Шмидта.
Обучение карт состоит из последовательности коррекций векторов, представляющих собой нейроны. На каждом шаге обучения из исходного набора данных случайно выбирается один из векторов, а затем производится поиск наиболее похожего на него вектора коэффициентов нейронов. При этом выбирается нейрон-победитель, который наиболее похож на вектор входов. Под похожестью в данной задаче понимается расстояние между векторами, обычно вычисляемое в евклидовом пространстве. После того, как найден нейрон-победитель, производится корректировка весов нейро-сети. При этом вектор, описывающий нейрон-победитель, и векторы, описывающие его соседей в сетке, перемещаются в направлении входного вектора.
|
|
Использование искусственных нейронных сетей в медицине используется в основном в двух направлениях: синтеза классификационных решающих правил для решения диагностических задач (включая прогнозирование возможных состояний больного при различных терапевтических процедурах и технологиях лечения) и прогнозирования значений регистрируемых показателей, характеризующих функционирование как определенной физиологической или функциональной системы так и организма в целом. Разумеется задача прогнозирования качественно разрешается в экстраполяционном временном интервале.
Для решения задачи классификации используются различные пакеты программного обеспечения: Statistiсa, Mahlab Simulink. Neirosolution, специализированные средства для решения определенных задач.
Рассмотрим примеры синтеза нейронных сетей в универсальных оболочках.
1. В пакете STATISTICA:
Для решения задач классификации используется Мастер решения задач.
|
|
Первый шаг: открывается подготовленный файл данных; ряд переменных (столбцов) являются значениями параметров, категорильная переменная (последний столбец) обозначает диагностический класс.
Второй шаг: открывается окно «Тип задачи» («Problem Tepe»); указывается тип задачи и нажимается кнопка «Next ».
Третий шаг: в окне выбирается зависимая переменная (диагностического класса) и нажимается кнопка «Next ».
Четвертый шаг: в окне выбираются входные (независимые) переменные; после нажатия кнопки «Next » Мастер решения автоматически разобьет выборку на обучающую, контрольную и тестовую подвыборки, выделив их черным, синим и красным цветом, соответственно, и производит перемешивание наблюдений для обеспечения репрезентативности подвыборок.
Пятый шаг: на экране появляется окно «Длительность поиска » («Duration of Design Process»), в котором задается длительность поиска: быстрый, средний, полный, ограниченный по времени.
Шестой шаг: в открывшемся окне «Сохранение сетей» («Saving Networks») определяется способ сохранения сетей, например: сохранить сети с лучшим качеством решения, максимальное число сохраняемых сетей и т.д.; затем, в следующем открывшемся окне указываются опции представления результатов.
Седьмой шаг: после нажатия кнопки «Finish » STATISTICA производит вычисления и предоставляет итоговый результат в виде таблицы - например, если был выбран на предыдущем шаге режим «сохранить 10 сетей с лучшим качеством», то на экране появятся следующие столбцы: – Type – указывается тип сетей, RBF – указываются радиальные базисные функции, Linear – линейные, MLP – многослойный персептрон, ошибка, входы, скрытые, Perfomance – качество (указаны доли правильно классифицированных диагностических состояний) – определяется по контрольному подмножеству (доля правильно классифицированных наблюдений – диагностическая эффективность).
Лучшая сеть отмечается знаком «*». Для удаления из набора сетей неудовлетворительного качества используется правая кнопка мыши и команда «Удалить » («Delete »).
Выделенная нейронная сеть делается активной с помощью команды всплывающего меню «Выбрать » («Select »).
Если набор нейронных сетей заполнен, то программа ST Neural Networks должна определить, какие из имеющихся сетей заменяются вновь создаваемые. После нажатия кнопки Options-Опции в диалоговом окне Редактор набора сетей – Network Set Editor. На экране появиться окно Параметры набора сетей – Network Set Options, в котором задается максимальное количество сетей в наборе (по умолчанию – 30). Установив необходимые значения параметров набора сетей нажимается кнопка Закрыть – Close.
Для исследования степени информативности входных переменных в обученной сети применяют анализ чувствительности – для этого используют команду Чувствительность – Sensitiivity из выпадающего меню. Программа строит таблицу, в которой указывается чувствительность сети по отношению к каждой переменной: ранг, ошибка и отношение. Показатели чувствительности определяются отдельно для обучающего и контрольного набора (подвыборки) наблюдений. В качестве столбцов в окне выступают переменные исходного файла данных.
2. Классификация с помощью персептрона в пакете MatLab.
Классификация состоит из этапов: ввод данных, обучение сети, классификация. Для оценки качества классификации (диагностики) первоночально результаты обследования (и-или результаты мониторинга за состоянием) биообъекта разделяются на две подвыборки: обучающая и тестовая. Если руководствоваться принципом «золотого сечения», то соотношение размеров указанных выборок -0,62:0,38.
Рассмотрим пример 1, реализованный в пакете MatLab 7 SP 2 + Simulink 6, для обучения персептрона:
>> % одному из двух классов
>> P=[-0.5 -0.5 +0.3 – 0.1;-0.5 +0.5 -0.5 +1.0];
>> T=[1 1 0 0];
>> plot (P,T);
>> % графическое представление исходных данных
>> % создание персептрона
>> % с указанием границ изменений и одним нейроном
>> My_net=new([1 1; -1 1], 1); % инициализация персептрона
>> % организация цикла адаптивной настройки персептрона
>> % с показом графика линии разделения классов
>> % while (sse(E))
[My_net, Y,E]=adapt(My_net, P, T);
Linehandle=plotpc(My_net.IW{1}, My_net.b{1});
Drawnow;
End;
В приведенной программе исходными данными являются входные векторы с указанием их принадлежности к одному из двух классов – с индексами 0 и 1. Р – матрица, столбцы которой соответствуют 4-м входным векторам, Т – вектор, элементы которого указывают на принадлежность вектора к нулевому или первому классу. Итоговый результат отображает обучающие вектора и разделяющую их линию, формируемую обученным персептроном.
Для проверки качества созданного классификатора подадим, например, на вход обученного персептрона контрольный вектор р={0.4; 0.5} и проанализируем реакцию сети. Моделирование иллюстрирует следующий программный фрагмент.
>> p=[0.4; 0.5];
>> = = sim(My-net,p);
>>a
a=
Его работа показывает, что последовала реакция сети а=0, т.е., предъявленный контрольный вектор относится к нулевому классу, что является правильным (и графически подтверждается рисунком).
Построение графика реализуется следующим программным фрагментом:
>> plot(p,a);
>> hold on;
>> plotpv(P,T);
>> Linehandle=plotpc(My_net.IW{1}, My_net.b{1});
>> hold off
Для оценки диагностического качества здесь и далее с помощью статистических вычислений ошибок первого и второго рода классификации необходимо на контрольной выборке для ряда объектов выполнить анализ правильности срабатывания персептрона и рассчитать значения показателей диагностических чувствительности, специфичности и эффективности.
Рассмотрим пример 2, реализованный в пакете MatLab 7 SP 2 + Simulink 6, для обучения сети со слоем Кохонена:
Задание: Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть со слоем Кохонена, которая множество входных данных разделит на кластеры и выявит их центры. На обученную сеть подать новый входной вектор и определить, к какому кластеру он относится.
Для создания нейронной сети со слоем Кохонена воспользуемся встроенной в среду Matlab функцией newc:
X=[0 1; 0 1];
clusters=5;
points=5; %3адание количества точек в кластере
std_dev=0.01;
p=nngenc(X,clusters,points,std_dev);%Моделирование входных данных
h=newc([0 1;0 1],5,.1); % создание слоя Кохонена
h.trainParam.epochs=50; %3адание количества циклов обучения
h=init(h);
h=train(h,p);
w=h.IW{1}; % вывод графиков исходных данных и выявленных центров кластеров
plot(p(1,:),p(2,:),'^r'),grid;
hold on;
plot(w(:,1),w(:,2),'ob');
xlabel('p(1)');
ylabel('p(2)');
A=0.6
B=0.5
p=[A;B];
plot(A,B,'^k');
y=sim(h,p) %Onpoc сети
A =0.6000
B =0.5000
y = (2,1)
Результат работы программы отображается в командном окне.
Предъявленный вектор отнесен ко второму кластеру. Теперь данный алгоритм применим к реальной (хоть и элементарной) задаче кластеризации. На вход нейронной сети будем подавать данные весоростовых показателей людей и попробуем выявить три класса (кластера): нормальный весоростовой показатель; избыток веса; недостаток веса. Программный код выглядит следующим образом:
%входные данные (первая строка матрицы - рост; вторая - вес)
p=[175 180 182 175 183 176 183 176 183 176 175 180 178 180 178 182 178 182 179 174 172 179; 70 75 100 99 42 48 76 72 40 45 92 96 70 69 95 90 79 82 80 50 96 91] %создаем НС Кохонена с 3 кластерами (нормальный весоростовой показатель, избыток веса и недостаток веса)
h=newc([0 200;0 100],3,.1);
h.trainParam.epochs=500; %3адание количества циклов обучения
h=train(h,p);
w=h.IW{1};
plot(p(1,:),p(2,:),'^r');
hold on;
plot(w(:,1),w(:,2),'ob');
xlabel('Rost');
ylabel('Ves');
% Задание нового входного вектора
%Опрос сети
A=181
B=65
p=[A;B];
plot(A,B,'+r')
y=sim(h,p)
A =181
B = 65
y = (2,1) 1
Результат работы программы представлен в командном окне: у=(2,1) 1. Предъявленный вектор отнесен ко второму кластеру.
3. Теперь рассмотрим использование самоорганизующей карты
на примере двумерных векторов. Используя самоорганизующиеся карты, двумерные векторы разбить на кластеры и выявить их центры, затем подать на вход самоорганизующей карты новый вектор и определить кластер, к которому он относится.
P=rands(2,100); %3адание случайных двухмерных входных векторов
figure(1);
hold on;
plot(P(1,:),P(2,:),'+r') %визуальное изображение входных векторов
%Создание НС с 3*4 нейронами
%По умолчанию функция TFCN = 'hextop', то есть нейроны располагаются в узлах двумерной сетки с шестиугольными ячейками
net=newsom([0 1;0 1],[3 4]);
net.trainParam.epoch=1 %3адание числа циклов настройки
net=train(net,P); % настройка сети
A=0.5
B=0.3
p=[A;B]; % Задание нового входного вектора
plot(A,B,'^k') %прорисовка на рисунке входного вектора (черный треугольник)
figure(2)
plotsom(net.iw{1,1},net.layers{1}.distances)
a=sim(net,p) %опрос сети
A = 0.5000
B = 0.3000
a = (5,1) 1
4. Результат работы программы представлен в командном окне: a = (5,1) 1/ Предъявленный вектор отнесен к пятому кластеру.
Порядок выполнения лабораторной работы:
1. Изучить теоретический материал и принципы построения искусственных нейронных сетей, включая язык программирования в MatLab 7 SP 2 + Simulink 6.
2. Сформировать выборки исходных данных по Таблице 1, характеризующие результаты общего анализа крови. Выборки состоят из:
- для пакета STATISTICA - матрицы, включающей три показателя крови (согласно варианта задания – определяется преподавателем) и идентификаторов состояния («здоров», «болен»), трех матриц типа «показатель», «состояние»;
- для MatLab 7 SP 2 + Simulink 6 - трех матриц типа «показатель», «состояние».
3. Построить нейронные сети в пакетах STATISTICA и MatLab 7 SP 2 + Simulink 6 (или иных версиях MatLab) – персептрон, сеть Кохонена, самоорганизующие карты для всех сформированных в п.2 матриц.
4. По результатам п.3 сравнить качество работы сетей – в качестве показателя качества использовать диагностическую эффективность.
5. По зафиксированным скрин-шотам работы с программными инструментариями (представляются в отчете по выполнению лабораторной работы) и результатами п.4 сделать выводы о перспективности применения полученных сетей для диагностического процесса.
6. Оформить отчет.
Контрольные вопросы:
1. Что понимается под кластеризацией?
2. Для чего применяются искусственные нейронные сети?
3. Каким образом классифицируются искусственные нейронные сети?
4. Для решения каких задач предназначены искусственные нейронные сети?
5. В чем заключается закон обучения Кохонена?
6. Опишите встроенные операторы Matlab для кластеризации.
7. Зачем используются самоорганизующиеся карты? Чем отличаются сети Кохонена от SOM?
8. Как устроен персептрон?
9. В чем заключается принцип обратного распространения ошибки в искусственных нейронных сетях?
10. Что такое – «скрытые слои» искусственной нейронной сети?
11. Как проверяется диагностическое качество работы искусственной нейронной сети?
12. Перечислите основные недостатки и преимущества применения искусственных нейронных сетей в диагностическом процессе?
13. В чем состоят отличия искусственных нейронных и иммунных сетей?
Таблица 1. Данные для построения искусственной нейронной сети.
| Больные | ||||||
| № п.п. | эритроциты | гемоглобин | Цветовой показатель | моноциты | СОЭ | |
| 4,6 | 0,93 | |||||
| 4,2 | 0,82 | |||||
| 3,4 | 0,94 | |||||
| 1,02 | ||||||
| 3,6 | 0,88 | |||||
| 5,3 | 0,61 | |||||
| 4,16 | 0,95 | |||||
| 4,3 | 1,01 | |||||
| 0,96 | ||||||
| 3,1 | 1,05 | |||||
| 0,93 | ||||||
| 5,1 | 0,96 | |||||
| 4,25 | 0,97 | |||||
| 4,3 | 1,05 | |||||
| 4,8 | 0,96 | |||||
| 3,6 | 0,95 | |||||
| Здоровые | ||||||
| 4,2 | 0,98 | |||||
| 4,05 | 0,93 | |||||
| 3,9 | 0,96 | |||||
| 3,85 | 0,94 | |||||
| 4,2 | 0,96 | |||||
| 3,65 | 0,96 | |||||
| 4,4 | 0,995 | |||||
| 0,92 | ||||||
| 4,7 | 0,96 | |||||
| 4,6 | 0,94 | |||||
| 4,26 | 0,99 | |||||
| 4,2 | ||||||
| 4,5 | 0,93 | |||||
| 4,5 | ||||||
| 4,4 | 1,01 | |||||
| 4,4 | 0,98 | |||||
ПРАКТИЧЕСКАЯ работа №1: