Исторически символьный подход был первым в эпоху цифровых машин, так как именно после создания Лисп, первого языка символьных вычислений, у его автора возникла уверенность в возможности практически приступить к реализации этими средствами интеллекта. Символьный подход позволяет оперировать слабоформализованными представлениями и их смыслами. От умения выделить только существенную информацию зависит эффективность и результативность решения задачи.
Но широта классов задач, эффективно решаемых человеческим разумом, требует невероятной гибкости в методах абстрагирования. А это недоступно при любом инженерном подходе, в котором исследователь выбирает методы решения, основываясь на способность быстро дать эффективное решение какой-то наиболее близкой этому исследователю задачи. То есть уже за реализованную в виде правил единственную модель абстрагирования и конструирования сущностей. Это выливается в значительные затраты ресурсов для непрофильных задач, то есть система от интеллекта возвращается к грубой силе на большинстве задач и сама суть интеллекта исчезает из проекта.
Основное применение символьной логики — это решение задач по выработке правил. Большинство исследований останавливается как раз на невозможности хотя бы обозначить новые возникшие трудности средствами выбранных на предыдущих этапах символьных системах. Тем более решить их и тем более обучить компьютер решать их или хотя бы идентифицировать и выходить из таких ситуаций.
Эта компьютерная метафора когнитивной психологии открыла принципиально новые теоретические возможности, заменив характерное для психологии 19-го — первой половины 20-го веков представление об энергетическом обмене организма со средой на представление о значительно более быстром и гибком информационном обмене. Так, Вундт и его современники полагали, что только что открытый закон сохранения энергии требует признания строгого психофизического параллелизма, то есть признания — в полном согласии с картезианской философской традицией (см. 1.1.1 и 9.1.3) — полной независимости (в смысле причин и следствий) телесных и ментальных событий. Но вычислительное устройство, потребляя весьма незначительное количество энергии, может управлять огромными механизмами. Поэтому требование психофизического параллелизма перестало вдруг казаться строго обязательным. Далее, хотя трудно сказать, какие процессы лежат в основе некоторой чисто психической работы, например, восприятия картины Рембрандта, можно легко представить компьютер или специализированный электронный прибор, осуществляющий переработку информации, которая заканчивается адекватным ситуации ответом.
Р. Аткинсон и Р. Шиффрин (русский перевод — Аткинсон, 1980) предложили модель, в которой выделили три блока переработки информации в памяти человека: сенсорные регистры (например, «ультракороткая зрительная память» из работ Сперлинга), первичную память (кратковременная память с ограниченным объемом и вербальным повторением в качестве способа сохранения информации) и вторичную память (долговременная семантическая память с очень большим объемом пассивно сохраняемой информации). Легко видеть, что эта модель в общих чертах описывает архитектуру универсальной цифровой вычислительной машины (см 5.2.1). Вместе с тем, она вполне тради-ционна. Так, различение первичной и вторичной памяти можно найти уже у Джеймса или еще раньше у немецкого физиолога Экснера. Первичной памятью они называли непрерывное сохранение представления в пределах поля сознания, вторичной — повторное возвращение представления в сознание, после того как оно его покинуло.
(Пример-с вечеринкой)- механизмы выделения релевантного речевого сообщения на фоне множества других одновременно ведущихся разговоров. Исследования показали, что отбор осуществляется преимущественно на основании элементарных сенсорных признаков, таких как определенное пространственное положение источника или специфический тембр голоса8. Было установлено, что семантическая связность сообщения также способствует лучшей настройке на релевантный канал
Общая характеристика нейросетевого подхода. Биологический нейрон и формальный нейрон. Архитектуры искусственных нейронных сетей. Обучение искусственной нейронной сети.
Наличие нескольких слоев элементов: входного и выходного слоя плюс не менее одного промежуточного (или «скрытого», от англ. hidden) слоя — отличительная черта современных коннекционистских моделей. Попытки демонстрации вычислительных возможностей сетей формальных нейронов предпринимались американскими нейрофизиологами Мак-Кал-локом и Питтсом еще в 1940-е годы. В последующие два десятилетия простые (один входной и один выходной слой) сети под названием «персептроны» использовались для машинного распознавания изображений, однако без особого успеха, так как оказалось, что они неспособны к строгой дизъюнкции («либо А» — «либо В») — логической операции, необходимой для различения состояний мира. Лишь в начале 1980-х годов было показано, что добавление по крайней мере одного «скрытого» слоя нейроноподобных элементов снимает эту проблему, позволяя осуществлять на базе параллельных архитектур весь спектр логических операций. Главное преимущество коннекционистских моделей по сравнению с традиционными когнитивными моделями — это возможность ассоциативного (контентно-адресованного) и распределенного хранения информации, а также, что особенно важно, адаптивного обучения. Первая особенность означает, что любой фрагмент первоначальной ситуации или любое сопутствующее обстоятельство способны ассоциативно поддержать припоминание. «Распределенным» хранение является потому, что его субстратом является в каждом конкретном случае не какой-то отдельный элемент, а сеть в целом, то есть состояния всех ее узлов и весовые коэффициенты их связей. Наконец, коннекционизм позволяет естественно описывать некоторые элементарные формы обучения. Процессы обучения в искусственных нейронных сетях имеют известную специфику, которая должна стать понятной из нижеследующих примеров. В «Организации поведения» Хэбб (Hebb, 1949) предположил, что повторная стимуляция тех же рецепторов постепенно ведет к функциональному объединению нейронов ассоциативных областей мозга, так что этот клеточный ансамбль может сохранять активацию после окончания стимуляции и вновь возбуждаться при возникновении похожего узора стимуляции. В нейроинформатике используется следующее правило Хэбба: между всеми одновременно (синхронно) активированными нейронами (то есть элементами сети) снижаются пороги синаптических связей (повышаются весовые коэффициенты активационных связей). В результате многократных повторений распространение активации при возникновении на входе той же ситуации происходит быстрее, группа элементов, «ансамбль», активируется как целое, и, что важно, эта активация происходит даже при изменениях ситуации, например, выпадении каких-то компонентов изображения, а равно «отмирании» части «нейронов» самой сети. Тем самым удается моделировать особенности целостного восприятия, описанного гештальтпсихологией.
Иску́сственные нейро́нные се́ти (ИНС) — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети Маккалока и Питтса [1]. Впоследствии, после разработки алгоритмов обучения, получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.
С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п. С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации. С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники. С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизма[2]. А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных.
Классификация по характеру обучения
Обучение с учителем — выходное пространство решений нейронной сети известно;
Обучение без учителя — нейронная сеть формирует выходное пространство решений только на основе входных воздействий. Такие сети называют самоорганизующимися;
Обучение с подкреплением — система назначения штрафов и поощрений от среды.