Искусственные нейронные сети чрезвычайно разнообразны по своим конфигурациям. Несмотря на такое разнообразие, сетевые парадигмы имеют много общего.
Развитие искусственных нейронных сетей вдохновляется биологией. То есть рассматривая сетевые конфигурации и алгоритмы, исследователи мыслят их в терминах организации мозговой деятельности. Но на этом аналогия может и закончиться. Наши знания о работе мозга достаточно ограничены, поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Основатели нейросетевых и нейрокомпьютерных технологий ставят целью создание электронных устройств, структурно и функционально адекватных мозгу человека.
Нервная система человека, построенная из элементов, называемых нейронами, невероятно сложна. Около 1011 нейронов участвуют в примерно 1015 передающих связях, имеющих длину метр и более. Уникальной способностью каждого нейрона является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга. Нейрон состоит из трех частей: тела клетки, дендритов и аксона.
Рисунок 1 – Нейроны человеческого мозга
Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается и посылает по аксону сигнал другим нейронам. Каждый нейрон может существовать в двух состояниях – возбужденном и невозбужденном. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.
Искусственный нейрон
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рисунке 2 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x1, x2,…, 8 xn, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, которые поступают в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий «вес» w1, w2,…, wn, и поступает на суммирующий блок, обозначенный Σ. Каждый вес соответствует «силе» одной биологической синаптической связи. (Множество весов в совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента, алгебраически складывает взвешенные входы, создавая выход, который обозначим как S.
Рисунок 2 – Искусственный нейрон
Полученный сигнал S преобразуется активационной функцией нейрона, которая формирует выходной сигнал Y. От вида активационной функции зависит набор функциональных возможностей нейросети, а также способы ее обучения. Математический нейрон, как и его биологический прототип, существует в двух состояниях. Если взвешенная сумма входных сигналов S не достигает некоторой пороговой величины, то математический нейрон не возбужден и его выходной сигнал равен нулю. Если же входные сигналы достаточно интенсивны и их сумма достигает порога чувствительности, то нейрон переходит в возбужденное состояние и на его выходе образуется сигнал Y = 1. Активационная функция может быть обычной линейной функцией Y = k(S), где k – постоянная (рисунок 3) или пороговой функцией вида Y = 1, если S ≥ P, Y = 0 в остальных случаях, где
P – некоторая постоянная пороговая величина (рисунок 4).
Рисунок 3 – Линейные функции активации
Для того чтобы более точно смоделировать нелинейную передаточную характеристику биологического нейрона, в качестве активационной функции нейрона часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рисунке 5.
Рисунок 5 – Сигмоидальная логистическая функция
Эта функция была предложена к применению Уидроу и Хоффом, математически она выражается как F(x) = 1/(1 + еxp(-x)). Тогда:
С введением такой непрерывной нелинейной функции активации круг решаемых задач значительно расширился. По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления представляется отношением приращения величины Y к вызвавшему его небольшому приращению величины S.
Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки.
Рисунок 6 – Функция гиперболического тангенса
Так же, как и логистическая функция, гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке S = 0 значение выходного сигнала Y равно нулю. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что удобно для моделирования некоторых типов сетей.
Наряду с рассмотренными функциями в настоящее время в качестве активационной применяется функция Гаусса, которая имеет вид:
Здесь σ – параметр кривой Гаусса, а S – евклидово расстояние между входным вектором X и центром активационной функции
Рисунок 7 – Радиально-базисная активационная функция
Функция Гаусса используется нейронами радиально-базисных нейронных сетей (РБФ – сети). Рассмотренная модель искусственного нейрона не принимает во внимание задержки во времени, которые влияют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. Она также не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают основными. Несмотря на это, сети, построенные из таких нейронов, обнаруживают свойства, напоминающие биологическую систему.