Выделяют основные элементы: нейроны и способ их соединения, то есть архитектура сети.
- Нейрон – это элемент, вычисляющий взвешенную сумму входных сигналов, которая затем обрабатывается функцией активации. Взвешенная сумма называется потенциалом нейрона: V = ∑ (i = 1 до N) wi * xi, N – количество входов, x – входы нейрога, w – вес связи нейрона с i-м входом.
Вес связи может быть как положительным, так и отрицательным. Функция активации позволяет сравнить потенциал с пороговой величиной w0 и формируется выходной сигнал. Величину порога можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале: V = ∑ (i = 1 до N) wi * xi + w0 = (в векторной формеJ)
W – вектор весов связи, X – вектор входных сигналов.
Функция активации выполняет функции сжатия входного сигнала на ограниченный диапазон. Без использования этой функции зависимость выхода от потенциала нейрона будет линейной. Применяют пороговую функцию активации, имеющую вид:
Значение нейрона могут быть в диапазоне от нуля до единицы. Используют порог (пороговая функции) 0.5, чтобы значения нейрона были 0 или 1. Для возможности дифференцирования функции активации используется сигмоидная (гипеболического тангенса) функция активации.
Чем больше коэффициент B, тем больше перепад функции. Для разных задач подбирают соответствующие функции активации.
Нейронная сеть – этонаправленный граф со взвешенными дугами, узлами (вершинами) которого являются нейроны. Для определения модели нейронной сети необходимо выбрать:
- модель нейрона.
- функция активации, то есть правила выбора следующего состояния нейрона.
- алгоритм обучения сети, то есть алгоритм изменения весов связей графа.
- необходимо выбрать топологию сети, то есть организацию её в пространстве.
Модель нейронной сети разрабатывается с учетом предметной области, для которой решаются задачи. Различают следующие модели нейронов в зависимости от способа преобразования сигнала и характера функции активации. По виду выходного сигнала различают:
1. Детерминированные нейроны, в которых выходное значение определяется порогом.
2. Вероятностные нейроны– выходной сигнал в момент времени t является случайной функцией от потенциала нейрона (V) и состояния нейрона в момент времени S(t-1).
По способу передачи входного сигнала на выход:
1. Статические нейроны – выдают результат мгновенно.
2. Динамические – нейроны, у которых вводится задержка на выдачу сигнала на определённый период времени t. За этот интервал нейрон “думает”.
По потенциалу нейроны делят:
- Без насыщения, нейрон может принимать бесконечное множество значений.
- С насыщением (никогда не превысит единицу).
Нейронные сети (НС) классифицируют по различным признакам.
I. По способам распространения сигналов.
· Прямого распространения.
· Рекуррентные (динамические).
· С перекрестными связями.
· С латеральным связями.
II. По способу организации узлов
· Однослойные сети: полносвязные (обычно все нейроны имеют одинаковые функции активации) и регулярные.
· Многослойные
· Ядерные (каскадные).
В полносвязных сетях каждый нейрон связан с каждым нейроном.
В регулярных сетях нейроны соединяются по определённому топологическому принципу.
Сеть Кохонена или самоорганизующиеся карты.
Могут быть гексагональные сети. При соединении выходов со входами получают архитектуры цилиндра и тора.
Ядерные сети являются композицией различных моделей сетей, используемых в качестве элементов сети.
В сетях прямого распространения нет обратных связей. Сигнал распространяется от входов к выходам. В рекуррентных (динамических) сетях имеются обратные связи и сигнал с выхода поступает на вход.
Например, сеть Хопфилда:
Перекрёстная связь:
Латеральная связь (модель возбуждения/торможения) – когда у ближайших нейронов одна связь ослабляет вход нейрона, а другая усиливает.