Способность к обучению является фундаментальным свойством мозга. В контексте искусственных нейронных сетей процесс обучения может рассматриваться как настройка архитектуры сети, а также весов связей для эффективного выполнения поставленной задачи. Обычно нейронная сеть должна настроить веса по предоставленным обучающим примерам. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по заранее заложенным правилам.
Среди всех существующих методов обучения можно выделить два класса: детерминированный и стохастический.
Детерминированный метод итеративно корректирует параметры сети, основываясь на ее текущих параметрах, величинах входов, фактических и желаемых выходов. Яркой иллюстрацией подобного метода является метод обратного распространения ошибки.
Стохастические методы обучения изменяют параметры сети случайным образом. При этом сохраняются только те изменения, которые привели к улучшениям. В качестве примера стохастического метода обучения можно привести следующий алгоритм:
1. Выбрать параметры сети случайным образом и подкорректировать их на небольшую случайную величину. Предъявить множество входов и вычислить получающиеся выходы.
2. Сравнить эти выходы с желаемыми и вычислить разницу между ними. Эта разница называется ошибкой. Цель обучения состоит в том, чтобы минимизировать ошибку.
3. Если ошибка уменьшилась, коррекция сохраняется, в противном случае коррекция отбрасывается и выбирается новая.
Шаги 2 и 3 повторяются до тех пор, пока сеть не обучится.
Необходимо отметить, что стохастический метод обучения может попасть в «ловушку» локального минимума.
Допустим, что первоначальное значение ошибки равно или очень близко к точке А. Если случайные шаги корректировки малы, то любые отклонения от точки А увеличат ошибку и будут отвергнуты. Таким образом, наименьшее значение ошибки в точке В никогда не будет найдено. Когда случайные коррекции параметров сети очень велики, ошибка будет меняться так резко, что никогда не установится в одном из минимумов.
Чтобы избежать подобных проблем, можно постепенно уменьшать средний размер случайных шагов коррекции. Когда средний размер шагов велик. Значение ошибки будет принимать все значения с равной вероятностью. Если плавно уменьшать размер шагов, то будет достигнуто условие, при котором значение ошибки будет на некоторое время «застревать» в точке В. Когда размер шага уменьшится еще больше, значение ошибки будет «останавливаться» на короткое время и в точке А, и в точке В. Если уменьшать размер шага непрерывно, то, в конце концов, будет достигнута величина шага, достаточная для того, чтобы преодолеть локальный минимум А, но не локальный минимум В.
Обучение с учителем
Алгоритм называется алгоритмом обучения с учителем, если во время обучения сеть располагает правильными ответами (выходами сети) на каждый входной пример, то есть заранее задается множество пар векторов {(
, 
)} 
, где 
задающий условие задачи, а d 
Y – известное решение задачи для вектора . В процессе обучения сеть меняет свои параметры таким образом. Чтобы давать нужное отображение X®Y. Необходимо отметить, что размер множества {(, )} должен быть достаточным для того, чтобы алгоритм обучения смог сформировать нужное отображение.
Обучение без учителя
Хотя метод обучения с учителем успешно применяется для решения прикладных задач. Многие исследователи критикуют его за биологическое неправдоподобие. Действительно, трудно вообразить, что в мозге есть некоторый механизм. Который сравнивает действительные результаты с желаемыми. Алгоритм обучения без учителя может применяться тогда, когда известны только входные сигналы. На их основе сеть учится давать наилучшие значения выходов. Понятие «наилучшее значение» определяется алгоритмом обучения. Обычно алгоритм подстраивает параметры так, ттобы сеть выдавала одинаковые результаты для достаточно близких входных значений.
Метод Хэбба
Самым старым обучающим правилом (1949-й год) является постулат обучения Хэбба. На основании физиологических и психологических исследований Хэбб выдвинул гипотезу о том, как обучаются биологические нейроны. Он предположил, что вес соединения между двумя нейронами усиливается, если оба эти нейрона возбуждены. Хэбб опирался на следующие нейрофизиологические наблюдения: если связанные между собой нейроны активизируются одновременно и регулярно, то сила связи возрастает. Важной особенностью этого правила является то, что изменение веса связи зависит только от активности нейронов, которые соединены данной связью.
Сам алгоритм выглядит следующим образом:
1. На стадии инициализации всем весомым коэффициентам присваиваются небольшие случайные значения.
2. На вход сети подается входной сигнал и вычисляется выход.
3. На основании полученных выходных значений нейронов производится изменение весовых коэффициентов.
4. Повтор с шага 2 с новым образом из входного множества до тех пор, пока выходные значения сети не стабилизируются с заданной точностью.