13.01.2003 (хр.00:55:14) Традиционный подход к созданию роботов — как в шахматной игре — основан на формализации задач, когда информация, необходимая для ее решения, доступна роботу, а внешняя среда вполне предсказуема. Однако в жизни внешняя среда грешит непредсказуемостью, а информация — не всегда доступна. О новых подходах к созданию систем искусственного интеллекта, в которых поведение роботов основано на принципах поискового поведения живых организмов, — биолог Валентин Непомнящих и математик Александр Жданов.
Участники:
Валентин Анатольевич Непомнящих — кандидат биологических наук, Институт биологии внутренних вод РАН (Борок, Ярославская обл.)
Александр Аркадьевич Жданов — доктор физико-математических наук, заведующий отделом имитационных систем Института системного программирования РАН
Расширенный план дискуссии:
· Традиционный подход к созданию систем искусственного интеллекта, например, роботов, основан на формализации задач, которые робот должен решать. Такая формализация удается в тех случаях, когда вся информация, необходимая для решения задачи, доступна роботу, а внешняя среда вполне предсказуема — как, например, в шахматной игре. Однако, одно из направлений развития современных «высоких технологий» — это конструирование и программирование роботов для поиска ископаемых на морском дне, поиска мин на минных полях или исследования поверхности планет. В этих случаях внешняя среда часто непредсказуема, а информация для решения задачи либо недоступна, либо нуждается в неприемлемо долгой обработке. В результате традиционный подход не привел к созданию надежных роботов для работы в природных условиях.
· В связи с этим появился новый подход к созданию роботов. Согласно этому подходу, поведение роботов должно следовать принципам, на которых основано поведение живых организмов, которые заведомо справляются с плохо формализуемыми задачами в плохо предсказуемой среде. Такие роботы получили название аниматов (animal+automat).
· Новый подход имеет не только технологическое значение. Биологи изучают поведение животных более ста лет и создали различные теории поведения, во многом противоречащие одна другой. Аниматы впервые дают возможность наглядной проверки этих теорий на практике: если мы действительно знаем, как организовано поведение животных, то мы должны уметь создавать устройства, решающие задачи не хуже животных. В противном случае наши знания мало чего стоят.
· В ходе программы речь пойдет о попытках создания аниматов, о том, какие успехи достигнуты, и о том, как эксперименты с аниматами показали недостаточность наших знаний о поведении животных.
· Один из самых известных подходов к поведению животных — этологическая теория, — предполагает, что поведение можно «разложить» на простые правила. Каждое правило сводится к запрограммированной последовательности действий, которая выполняется в ответ на соответствующий внешний сигнал. Сами правила представляют собой результат эволюции, а наблюдаемое нами внешне сложное поведение есть результат взаимодействия этих простых правил. Несмотря на крайнюю простоту этой схемы, взаимодействие этих простых правил дало хорошие результаты при создании роботов, способных выполнять осмысленные задачи.
· Все же исследования показали, что у этологической теории есть очевидные недостатки. Во-первых, создатель анимата должен предвидеть ситуации, в которых может оказаться анимат, и предусмотреть соответствующие правила поведения. Во-вторых, чем сложнее среда, тем больше разрастается список правил и здесь могут возникнуть новая проблема: не будет ли одна и та же ситуация вызывать непредусмотренное одновременное выполнение разных правил и конфликт между ними. Другими словами, этологический подход в конечном итоге сталкивается с теми же трудностями, что и традиционный подход к искусственному интеллекту.
· Противоположный подход основан на том, что животные не просто реагируют на стимулы в соответствии с заранее заданными правилами. Вместо этого, они порождают «гипотезы» о предполагаемом будущем состоянии внешней среды и действуют в течение некоторого времени в расчете на будущий результат, не реагируя на каждый сиюминутный стимул (т.е. не анализируя всю информацию о внешней среде, даже если она доступна). Кроме того, количество гипотез, которые способны породить животные, в принципе не ограничено. В результате животные обходят трудности, с которыми сталкиваются традиционный подход к искусственному интеллекту и этологическая теория.
· Сказанное поясняется на примере поискового поведения насекомых — ручейников, которые успешно справляются с поиском и отбором подходящего строительного материала для своих домиков в незнакомой среде.
· Чтобы воспроизвести эффективное поисковое поведение, подобное поведению ручейников, требуется понять, какой механизм «внутри» животного порождает гипотезы. Таким механизмом могут служить т. н. нелинейные динамические системы, которые способны отвечать на простые и одинаковые внешние воздействия длительными и не повторяющимися изменениями в своем поведении. С точки зрения внешнего наблюдателя, эти изменения выглядят как порождение гипотез. Для наглядности будут приведены два простых примера того, как такой механизм позволяет роботам решать задачи без заранее запрограммированных правил поведения и анализа информации о внешней среде (без формул).
· Все же эти примеры будут касаться относительно простого поискового поведения, характерного для одноклеточных или насекомых. Позволят ли механизмы, основанные на динамических системах, воспроизвести сложное поведение, например, человека, — остается неопределенным. Эта неопределенность показывает, что на самом деле у нас нет реалистичной теории поведения живых организмов. Однако есть надежда, что эксперименты с аниматами помогут построить такую теорию.
Материалы к программе:
Из статьи В. А. Непомнящих «Как животные решают плохо формализуемые задачи поиска».
Формулируются и обсуждаются принципы поведения, позволяющие животным решать задачи поиска в условиях, когда эти задачи не поддаются формализации. Согласно этим принципам, 1) поведение представляет собой спонтанный процесс, общая организация которого не зависит от внешних сигналов; 2) этот процесс служит обобщенной моделью естественной среды животного; 3) обобщенная модель приводится в соответствие с конкретной средой с помощью гипотез, основанных лишь на отдельных внешних сигналах, а не на анализе всего потока сигналов. Обсуждается значение указанных принципов для разработки поисковых агентов.
Введение. Представим себе робота, посланного на неизученную планету, чтобы обследовать её поверхность и отобрать геологические образцы с максимальным содержанием урана, причем за ограниченное время и при ограниченном запасе энергии. При такой постановке задачи не ясно, что означает «максимальное содержание урана», так как заранее неизвестно его распределение в образцах, так же как неизвестно распределение образцов по поверхности планеты. Чтобы определить пороговое содержание урана, достаточное для отбора образца, робот мог бы провести предварительное исследование планеты. Однако заранее неизвестно, сколько времени и энергии потребуется для такого исследования, а эти ресурсы у робота ограничены. Таким образом, перед роботом стоит одна из тех нечетко формализуемых задач, которые представляют одновременно значительный интерес и значительные трудности для систем искусственного интеллекта. С другой стороны, живые организмы в их естественной среде постоянно оказываются в аналогичной ситуации. В связи с этим имеет смысл обсудить следующие вопросы:
· · Как животные справляются с нечетко формализуемыми задачами поиска.
· · На каких принципах основано поисковое поведение животных.
· · Насколько это поведение эффективно?
Чтобы обсуждение было более наглядным, мы используем в качестве примера личинок ручейников Chaetopteryx villosa — насекомых, обитающих на дне водоемов.
1. Поведение ручейников. Личинки носят на себе «домик» — трубку из песка и других частиц, которые они собирают на дне водоемов. Строительство требует меньше времени и энергии, если личинки используют относительно крупные частицы. Однако поиск крупных частиц также требует затрат времени и энергии, неизвестных ручейнику заранее. Задача осложняется еще и тем, что личинки могут обнаружить частицу и определить её размер только на ощупь, что требует дополнительных затрат времени. В этой ситуации личинки не исследуют среду, прежде чем начать строительство, а ведут себя следующим образом. Они передвигаются по дну до тех пор, пока не найдут и не прикрепят к домику крупную частицу. После этого они остаются на месте и ощупывают, одну за другой, соседние частицы. Если несколько частиц подряд оказываются мелкими, ручейники прекращают ощупывание и снова начинают передвигаться по дну до тех пор, пока не найдут новую крупную частицу, после чего цикл повторяется. В целом это поведение выглядит вполне адаптивно: в естественных водоемах частицы разного размера имеют тенденцию скапливаться на разных участках дна. Поэтому обнаружение одной крупной частицы повышает вероятность обнаружения таких же частиц на том же участке, и наоборот, если крупные частицы на участке редки, то его лучше покинуть. Тактика, используемая личинками, приводит к тому, что готовый домик состоит в основном из самых крупных частиц.
Однако в поведении личинок есть и такие черты, которые трудно назвать адаптивными. После прикрепления крупной частицы следующая частица, даже мелкая, ощупывается дольше, чем требуется для её опознания. В результате личинки теряют время. Более того, некоторые из таких частиц даже прикрепляются к домику, несмотря на то, что они были бы отвергнуты ручейниками в другой ситуации. В результате отбор крупных частиц не бывает абсолютным. Наконец, во время передвижения личинки совершают противоположную ошибку: они либо игнорируют, либо слишком кратко ощупывают частицы, так что могут отказаться от крупной частицы раньше, чем сумеют оценить её подлинный размер. В результате личинки часто пропускают участки с крупными частицами.
Аналогичные закономерности наблюдаются, когда личинка обследует частицу. Сначала она оценивает обнаруженную частицу по размеру. Если размер оказывается подходящим, то затем поэтапно оцениваются её форма и другие признаки. На каждом этапе частица может быть отброшена, если соответствующий признак не подходит. Однако оцениваются признаки не обязательно объективно. Если частица подходит по первому проверенному признаку, то ручейник больше склонен к положительной оценке следующих признаков. Поэтому, чем больше этапов оценки пройдено, тем больше времени ручейник готов тратить на оценку следующих признаков. В результате повышается вероятность того, что частица будет использована для строительства, даже если её некоторые признаки неудовлетворительны. И наоборот, если первый признак оценен не очень высоко, то и следующий признак может быть оценен «скептически». В результате ручейник может отказаться от частицы, даже если она подходит для строительства по большинству признаков.
Поведение ручейников упорядочено: прикрепления частиц и продолжительные ощупывания повторяются сериями, одно за другим, во время остановок. Эти серии сменяются сериями повторяющихся отказов от частиц и кратких ощупываний во время передвижения. Если частицы разного размера распределены по разным участкам, то упорядоченность поведения можно было бы объяснить упорядоченностью среды: остановки происходят в основном на участках с крупными частицами. Однако такая же упорядоченность сохраняется, если в эксперименте частицы разного размера распределены в пространстве случайно. Соответствующая упорядоченность видна и в оценке отдельной частицы.
Приходится сделать вывод, что упорядоченность поведения внутренне присуща ручейникам. Она помогает решать задачу поиска, заставляя ручейников останавливаться на участках с крупными частицами, а также продолжать оценку частицы, если начальные этапы оценки дали положительный результат. Однако эта же упорядоченность мешает личинкам, заставляя их повторять однотипные действия, а также необъективно оценивать строительный материал, «невзирая» на действительность.
2. Как объяснить упорядоченное поведение. Традиционно нервную систему принято рассматривать как «устройство», цель которого — анализ внешних сигналов и преобразование их в адаптивное поведение. С этой точки зрения, внутренние процессы в нервной системе, включая её спонтанную активность, изменения памяти, мотиваций и т.д., выполняют «служебные» функции, имеющие смысл только для достижения указанной цели. Соответственно и цель поведения организма состоит в его адаптации к внешней среде. Однако в современной биологии развиваются и такие теоретические построения, как теория «автопоэза» (autopoiesis) и радикальный конструктивизм, из которых вытекают нетрадиционные взгляды на смысл и цели поведения. Обе теории исходят из предположения, что активность нервной системы представляет собой рекурсивный, воспроизводящий сам себя процесс, причем цель этого процесса — именно воспроизведение самого себя, своей пространственно-временной организации. Анализ и преобразование внешних сигналов при этом уходят на второй план. Соответственно активность нервной системы оказывается не отражением внешнего мира, как это принято считать в традиционной психологии, а представляет собой самостоятельный, «самоупорядоченный» процесс.
Поведение организма представляет собой внешнее выражение этого процесса. Другими словами, поведение также не сводится к последовательности адаптивных реакций на внешние сигналы. Оно направлено на сохранение своей организации, даже если это мешает организму адекватно реагировать на изменения среды. Это утверждение может показаться неожиданным, но с ним вполне согласуется упорядоченная организация поведения ручейников. Например, они стремятся повторять прикрепления частиц, даже если новые частицы оказываются неподходящими по размеру.
Несмотря на то, что самоупорядоченное поведение может быть неадаптивным в частностях, все же в целом оно позволяет животному выполнить задачу. Так, ручейники отбирают для строительства в основном самые крупные частицы. Эффективность поведения объясняется тем, что его спонтанная организация — продукт эволюции и может рассматриваться как обобщенная детерминированная модель мира, в котором приходится действовать животному. Важно отметить, что эта модель не формулируется явным образом самим организмом и не «закодирована» где-то в его нервной системе: моделью мира служит организация всего поведения в целом.
Как уже сказано выше, внешние сигналы лишь модулируют спонтанное поведение. Они служат триггерами, позволяющими «подстроить» общую модель мира к свойствам конкретной, стохастической и плохо предсказуемой среды. В модели, которой руководствуются ручейники, предполагается, что крупные и мелкие частицы находятся на разных участках дна, однако ручейник заранее не знает расположения этих участков. В соответствии с этой детерминированной моделью, отдельная крупная частица способна изменить поведение, заставляя личинку остановиться на участке, а обнаружение мелких частиц заставляет личинку передвигаться, не обращая внимания на другие частицы.
В соответствии с принципами радикального конструктивизма такая «подстройка» поведения к конкретной среде интерпретируется как генерация гипотез, отличающаяся двумя особенностями. Во-первых, гипотезы основаны не на детальном анализе всей информации, доступной животному, а на отдельных, по существу случайных событиях. Во вторых, животное может долго руководствоваться гипотезой, не проверяя её. Только явное рассогласование внешних сигналов с гипотезой заставляет животное изменить поведение. Например, отдельная крупная частица заставляет личинок тратить на анализ следующей частицы больше времени, чем нужно. Такое поведение, основанное на случайных, приблизительных гипотезах, препятствует оптимальному отбору частиц, но зато избавляет животное от невыполнимой задачи анализа всей информации, с которой оно сталкивается в ходе поиска.
3. Принципы поискового поведения. На основании сказанного выше можно предположить, как животные решают плохо формализуемые задачи. Прежде всего, они вообще не пытаются формализовать задачу поиска в той или иной конкретной среде. Они не исследуют среду для того, чтобы на основе собранной информации вычислить, например, пороговый размер приемлемых частиц, позволяющий завершить строительство с минимальными затратами времени и энергии. Вместо этого в их поведении можно увидеть другие принципы, которые мы намеренно приводим в полемичной формулировке, чтобы стимулировать их обсуждение:
· · Поведение представляет собой спонтанный «самоупорядоченный» процесс, цель которого — воспроизведение самого себя и своей упорядоченности, а не решение каких-либо частных задач адаптации к внешней среде.
· · Указанный процесс является обобщенной детерминированной моделью мира, в котором действует организм.
· · Обобщенная модель приводится в соответствие с конкретной средой с помощью гипотез, которые основаны на отдельных внешних сигналах и проверяются на соответствие среде также только по отдельным сигналам. Это позволяет обойти проблему обработки всего потока информации из внешней среды.
Чтобы эти принципы стали яснее, мы рассмотрим, как они проявляются у организмов разного уровня организации.
3.1. Самоупорядоченное поведение. К настоящему времени подробно изучена регуляция поведения бактерии Echerichia coli. Воспроизводство отдельных компонентов и целостной структуры бактериальной клетки обеспечивается связанными между собой химическими циклами. Синтез и распад определенного вещества в одном из этих циклов влияет на двигательный аппарат клетки. Бактерия двигается практически по прямой линии и такие пробеги продолжаются тем дольше, чем меньше этого вещества в клетке. Чем больше вещества, тем чаще бактерия прерывает пробеги и вращается на одном месте, что приводит к случайному выбору направления пробегов между вращениями. Пример бактерии наглядно показывает, как наблюдаемое поведение оказывается частью самоупорядоченного процесса, который сам по себе не предназначен для адаптивных реакций на внешние сигналы и не нуждается в этих сигналах. Поведение бактерии, сводящееся к чередованию вращений и пробегов, оказывается внешним выражением замкнутого циклического процесса внутри клетки, а не реакцией на какую-либо информацию из внешней среды.
Некоторые другие химические циклы связаны с так называемыми рецепторами на поверхности бактериальной клетки. Рецепторы реагируют на изменения концентрации веществ в среде, сигнализирующих о присутствии пищи. Связи между циклами приводят к тому, что при нарастании концентрации бактерия реже вращается и, соответственно, реже меняет направление пробегов. И наоборот, уменьшение концентрации сопровождается увеличением частоты вращений и смены направления пробегов. В результате бактерии проявляют адаптивное поведение: они двигаются вверх по градиенту привлекающего вещества и находят его источник — пищу. Другими словами, спонтанный процесс сохраняет свою общую организацию (чередование вращений и пробегов), а адаптивное поведение можно рассматривать не как набор реакций на сигналы, а как модификацию непрерывно воспроизводящегося процесса, вызванную внешними возмущениями.
3.2. Поведение как модель мира. Золотые рыбки, помещенные в кольцевой коридор, обследуют его отдельные участки, даже если коридор однородный, без каких-либо ориентиров для выделения участков. Обследования разделены пробегами вокруг коридора, так что рыбы могут несколько раз пройти мимо участка, затем обследовать его, затем снова его пропустить и перейти к новому участку и т.д. Это показывает, что чередование обследований и пробегов не зависит от внешних сигналов. Если же на стенках коридора нанесены вертикальные темные полосы, то обследования концентрируются вокруг них, что имеет адаптивный смысл: эти полосы имитируют стебли растений, под которыми в природе обычно скапливается корм. Как и у ручейников, естественная среда рыб структурирована, так как пища обычно сосредоточена на отдельных участках. Таким образом, поведение рыб в однородных экспериментальных условиях моделирует их естественную среду. Когда в среде появляются ориентиры, указывающие на возможное присутствие корма, поведение модифицируется, но его общая организация остается прежней.
В выборе направления движения животными также отражена закономерность реального мира: пища и другие объекты не появляются в случайные моменты времени в случайных местах. Поэтому, если на определенном участке искомых объектов нет, то не имеет смысла оставаться на нем или возвращаться на него в ближайшем будущем. В соответствие с этим, передвижение большинства организмов отличается от обыкновенного броуновского блуждания даже в отсутствие внешних ориентирующих сигналов. Отличие состоит в том, что у животных имеет место положительная корреляция между направлениями последовательных перемещений, что и позволяет уменьшить вероятность возвращений.
3.3. Генерация гипотез. Гипотезы касаются не только пространственного расположения разыскиваемых объектов (как у ручейников), но и других признаков этих объектов: цвета, формы и т.п. Так, пчелам и многим другим насекомым свойственно «цветочное постоянство»: когда они начинают утром сбор нектара, то сначала пробуют собирать его на цветках разного цвета, но затем ограничивают свою деятельность такими цветками (например, желтыми), в которых при первом посещении обнаружено некоторое приемлемое количество нектара. Другие цветки (например, синие) либо вообще игнорируются в течение всего дня, либо проверяются лишь изредка. Более того, даже если проверка показывает, что синие цветки содержат больше нектара, чем желтые, пчелы переключаются на них далеко не всегда. Если же в дальнейшем содержание нектара в желтых цветках снижается до неприемлемого уровня, то пчелы начинают активно пробовать другие цветки. Детерминированная модель, используемая пчелами, предполагает, что в течение дня цветки каждого вида выделяют или не выделяют нектар одновременно, что в целом соответствует действительности. Поэтому уже после одной или нескольких проб пчелы останавливаются на первой же гипотезе, которая позволяет получить пусть не оптимальный, но удовлетворительный результат. Они не сравнивают все возможные гипотезы, чтобы выбрать наиболее подходящую из них. Напротив, пока результаты поиска остаются приемлемыми, гипотеза проверяется лишь время от времени или вообще не проверяется. Гипотезы, по существу, представляют собой частные модели мира. Отметим, что эти модели не обязательно реалистичны: как показывает пример пчел, в них стохастичность реального мира подменяется детерминированным порядком.
Гипотезы порождаются и в процессе распознавания отдельного объекта. При этом формирование гипотез и действия животного представляют собой единый поэтапный процесс. Например, крабы-отшельники выбирают для поселения пустые раковины моллюсков, определяя на ощупь их размер и форму. Обследование начинается с внешней поверхности раковины, а затем обследуется ее внутреннее пространство. Эксперименты, в которых отверстие раковины заливали гипсом, показали, что крабы дольше обследуют отверстие, если раковина относится к предпочитаемому размеру. Таким образом, крабы формируют гипотезу о качестве раковины на основе неполной информации о ней, полученной на первых этапах обследования. В свою очередь, эта гипотеза основана, очевидно, на модели мира, предполагающей, что между физически разнородными признаками объекта имеется корреляция по их ценности для животного: если один признак хорош, то другие признаки также должны быть хорошими. В результате реакция на объект зависит не только от его объективных свойств, но и от ожиданий животного.
Как порождаются гипотезы? Организация поведения заключается в рекурсивном воспроизведении активности, которая и является моделью мира. Однако конкретная последовательность действий не обязательно воспроизводится в каждом цикле активности. Одни последовательности в очередном цикле могут исчезать, а другие — формироваться заново под действием внутренних и внешних стимулов, которые изменяют вероятность выполнения действий и их последовательностей. Изменение последовательностей действий может рассматриваться как преобразование общей модели мира в частные модели текущего состояния мира. Так как частные модели формируются не на основе какого-либо полного анализа состояния мира, а в результате действия отдельных стимулов, «в расчете» на предполагаемое будущее состояние мира, мы и называем их здесь гипотезами.
Все гипотезы, на которые способен организм, потенциально заключены в динамической системе, порождающей его спонтанную активность. Под действием стимуляции животное постоянно «прощупывает» пространство состояний этой системы, что позволяет ему (в принципе), находить последовательности, представляющие собой решение задачи. Таким образом, гипотезы представляют собой модификацию спонтанной активности, а не готовые программы поведения, где-то хранящиеся и запускаемые ключевыми стимулами.
3.4. Гипотезы и обучение. Известно, что обезьяны, особенно высшие, проявляют разнообразную активность, направленную на манипулирование различными предметами. Эта активность спонтанна, она не связана с решением какой-либо конкретной задачи и воспринимается наблюдателем как игра. В основе манипуляционной активности лежат врожденные двигательные стереотипы, но с возрастом она усложняется в результате обучения. Несмотря на свой спонтанный, игровой характер, эта активность оказывается основой для эффективного решения нестандартных задач. Например, известны классические эксперименты, в которых шимпанзе решали необычную для них задачу: достать банан, подвешенный высоко под потолком вольеры, на полу которой разбросаны ящики. После некоторого периода «бесцельной» активности — прыжков, перетаскивания ящиков по вольере, — обезьяны сооружают под бананом пирамиду из ящиков, взбираются на неё, подпрыгивают и достают банан. Это поведение одни исследователи расценивали как результат «озарения» и понимания причинно-следственный связей, другие — как формирование цепочки условных рефлексов. Однако П. Шиллер видоизменил методику этих экспериментов, предоставив шимпанзе возможность в течение длительного времени манипулировать ящиками, не предлагая им приманку. Как и в классическом эксперименте, шимпанзе перетаскивали ящики по вольере, ставили их один на другой, забирались наверх, подпрыгивали, снова перетаскивали и т.д. Другими словами, активность, необходимая для решения задачи, формировалась в отсутствие самой задачи, в ходе спонтанной деятельности. Шиллер пришел к выводу, что поведение, приводящее к решению задачи, формируется на основе врожденных стереотипов и приобретенных навыков, а в присутствии приманки эта уже сформировавшаяся активность лишь концентрируется на приманке, что и приводит к решению задачи. В дальнейшем, при повторных решениях задачи, активность подкрепляется получением приманки, и задача решается быстрее.
В данном примере спонтанная активность обезьян приводит к формированию модели мира, включающей присутствие в мире предметов и возможность манипулировать ими. В результате манипуляций формируется определенная последовательность действий, включающая сооружение пирамид и прыжки на их вершине. Однажды сформировавшись, эта последовательность запоминается и становится частью спонтанной активности и частью модели мира. Когда возникает задача достать приманку, эта последовательность воспроизводится как гипотеза, наряду с другими последовательностями, и позволяет решить задачу. Другими словами, гипотезы шимпанзе — это упорядоченные во времени и пространстве последовательности действий, порождаемые в процессе взаимодействия спонтанной активности и внешних стимулов.
Важно отметить, что обучение играет двоякую роль в манипуляционном поведении обезьян. Прежде всего, оно служит для формирования различных последовательностей на основе врожденных стереотипов, в ходе спонтанной активности. Другими словами, обучение служит для формирования общей модели мира, а не только для решения частных задач. Кроме того, оно служит для закрепления тех последовательностей действий, которые приводят к решению частных задач. При решении задачи животное пробует ранее сформированные последовательности в качестве гипотез, а обучение позволяет отбирать подходящую последовательность. Из этого следует, что эффективное обучение решению частных задач происходит на основе формирования гипотез, которые, в свою очередь, основаны на модели среды и, в конечном итоге, на самоупорядоченной спонтанной активности.
Отметим, что изложенные здесь принципы применимы и к повседневному поведению людей, включая как построение гипотез на основе отдельных внешних сигналов, так и использование детерминированных, причем не обязательно реалистичных моделей мира. «Человеческий мозг требует определенности и тем самым „пересиливает“ вероятностную природу окружающего мира. …От окружающего мы ждем больше, чем в нем есть, смысла и больше упорядоченности; а между тем, из таких ожиданий может, как это ни странно, составиться превосходная стратегия выживания».
4. Насколько адаптивно поисковое поведение животных?Если цель самоупорядоченного поведения — воспроизведение самого себя, то насколько оно эффективно по сравнению с другими возможными стратегиями поиска? Имеет ли смысл использовать сформулированные выше принципы поискового поведения как основу для создания искусственных поисковых агентов? В качестве примера для обсуждения этих вопросов рассмотрим конкретную задачу, которую способны решить личинки ручейников. Личинок помещали в кольцевой коридор, дно которого было покрыто слоем песка. Кроме того, небольшой участок коридора содержал, кроме песка, предпочитаемые личинками крупные плоские частицы. Напомним, что личинки не пользуются зрением при поиске и отборе частиц и способны обнаружить и определить их размер и форму только на ощупь. Как можно решить задачу поиска плоских частиц в этих условиях за разумное время?
Если бы личинки систематически обследовали коридор и все обнаруженные частицы, то, очевидно, они бы увязли в песке в прямом и переносном смысле слова: на обследование одной песчинки уходит до 1 секунды времени, а песчинок в коридоре — тысячи. Вместо систематического поиска личинки ведут себя так, как уже было описано. Они останавливаются, когда обнаруживают частицу, более подходящую, чем предыдущие. В данном эксперименте такой частицей оказывается одна из плоских частиц, сконцентрированных на небольшом участке. Прикрепив к домику эту частицу, ручейник остается на месте и ощупывает соседние частицы, что в целом позволяет найти другие плоские частицы, хотя среди них попадается и песок. Если личинке попадаются несколько песчинок подряд, она может покинуть участок. Однако, как уже говорилось, когда личинка передвигается, редко ощупывает встречающиеся ей частицы и поэтому быстро проходит коридор по окружности и снова попадает на участок с плоскими частицами. Иногда она может «проскочить» и этот участок, но, в целом, ручейники основную часть времени проводят на нем и сооружают домик почти целиком из плоских частиц.
Читатель может попробовать разработать более эффективные алгоритмы поиска для искусственного агента, перед которым стоит аналогичная задача. Сравнение таких алгоритмов с алгоритмами поиска у реальных животных позволит лучше разобраться в принципах адаптивного поведения.
Из статьи В. А. Непомнящих «Поведение „аноматов“ как модель поведения животных».
Один из современных подходов к программированию роботов предполагает, что их поведение должно следовать принципам, на которых основано поведение живых организмов. Такие роботы, как физические, так и виртуальные, получили название аниматов. От абстрактных математических моделей поведения аниматы отличаются тем, что они:
· призваны воспроизводить не отдельные реакции животных, а целостное адаптивное поведение, позволяющее выживать и решать практические задачи в сложной и непредсказуемой обстановке;
· должны быть автономными агентами, поведение которых в непредсказуемой среде не нуждается в корректировке со стороны человека;
· должны действовать в реальной физической среде, все свойства которой не могут быть предусмотрены заранее при создании анимата.
Эксперименты с аниматами позволили подвергнуть проверке существующие гипотезы о механизмах поведения животных. Они также привели к формулировке новых гипотез, которые в дальнейшем могут быть проверены в экспериментах с реальными организмами. Такое сочетание экспериментов с животными и аниматами позволило к настоящему времени сформулировать принципы адаптивного поведения, не всегда соответствующие традиционным представлениям. Вот некоторые из этих принципов:
1. Сложные формы индивидуального и группового поведения не обязательно должны быть генетически запрограммированы или вырабатываться в результате обучения. Они могут порождаться в результате взаимодействия элементарных правил поведения между собой и с внешней средой, непосредственно в ходе самого поведения.
2. Механизмом, порождающим правила поведения, могут служить нелинейные динамические системы — осцилляторы. Поведение такой системы поведение изменяется в зависимости от текущей стимуляции, а также от предыдущего поведения самой системы. В результате система не нуждается в наборе заранее запрограммированных правил. Вместо этого она генерирует новые правила в зависимости от ситуации.
3. Аниматы с трудом справляются даже с простыми задачами, если правила их поведения сводятся к рефлекторным реакциям в ответ на текущие раздражители. Вместо этого правила поведения должны быть основаны на «гипотезах» о будущем состоянии среды. При этом условии поведение оказывается адаптивным, даже если «гипотезы» приблизительны или просто неверны.
4. Многие адаптивные формы поведения не нуждаются в контроле со стороны нервной системы. Они порождаются в ходе взаимодействия физических свойств робота между собой и с физическими свойствами среды.
Эти принципы рассмотрены на примере конкретных аниматов, демонстрирующих поведение, сопоставимое с поведением реальных животных. В то же время, создание аниматов не привело к формулировке какой-либо единой теории адаптивного поведения. Вместо этого сосуществуют различные подходы к этой проблеме.
Библиография
Жданов А. А. Об одном имитационном подходе к адаптивному управлению//Вопросы кибернетики. М., 1996.
Жданов А. А. Формальная модель нейрона и нейросети в методологии автономного адаптивного управления//Вопросы кибернетики. М., 1997. Вып. 3.
Жданов А. А., Арсеньев С. В., Половников В. А. Об одной методологии автономного адаптивного управления//Труды института системного программирования РАН. М., 2000. Т. 1.
Левкович-Маслюк Л. Естественный путь к искусственному интеллекту//Компьютерра. 2002.
Моделирование обучения и поведения. М., 1975.
Непомнящих В. Поиск общих принципов адаптивного поведения живых организмов и аниматов//Новости искусственного интеллекта. 2002. № 2. https://www.keldysh.ru/pages/BioCyber/RT/Papers.htm
Непомнящих В. Решение животными нечетко поставленных задач поиска и создание искусственных поисковых агентов/Восьмая национальная конференция по искусственному интеллекту. М., 2002. Т. 2. https://wsni2003.narod.ru
Редько В. Г. Эволюционная кибернетика: Лекции. https://www.keldysh.ru/BioCyber/Lectures.html
Турчин В. Ф. Феномен науки: Кибернетический подход к эвол<