МІНІСТЕРСТВО КУЛЬТУРИ УКРАЇНИ
ХАРКІВСЬКА ДЕРЖАВНА АКАДЕМІЯ КУЛЬТУРИ
КАФЕДРА ІНФОРМАЦІЙНО-ДОКУМЕНТНИХ СИСТЕМ
Тема: Кібернетична теорія інформації
Норберта Вінера (основні положення, значення)
КОНТРОЛЬНА РОБОТА
з курсу «Теоретична інформатика»
студента 1 курсу
факультету «Документознавства та
інформаційної діяльності»
заочної форми навчання
Шестопалов Роман Богданович
Перевірила:
доктор педагогічних наук
професор
Філіпова Людмила Яківна
ХАРКІВ 2015
Содержание:
1. Первые шаги кибернетики. Кибернетика Н. Винера
2.Теория информации
2.2.Понятие информации в теории Винера
3.Различие между значением и информацией
4. Передача информации
Первые шаги кибернетики. Кибернетика Н. Винера
1.1 Н. Винер – "крестный отец" кибернетики
Норберт Винер, завершил свой первый фундаментальный труд “Кибернетика” в возрасте 54 лет. Подобная выдержка замечательным образом характеризует вечно сомневающегося во всём большого учёного. Думаю, читатель сумеет по достоинству оценить степень “выстраданности” материалов, преподнесённых в самой известной книге Винера, если вспомнит первые главы биографии “отца кибернетики”.
Родители Норберта были выходцами из небольшого городка Белосток в Белоруссии. Слыли они людьми солидными и разумными, обладали достаточно высоким социальным статусом и немалым достатком. Семейство Винеров не стало дожидаться ни погромов, ни Первой Мировой, ни братоубийственной Гражданской. На исходе девятнадцатого столетия они покинули всё ещё внешне спокойную и вполне благополучную Россию, и перебрались в Штаты. Глава семейства, Лео Винер, вскоре устроился профессором на кафедре славянских языков и литературы в Гарвардском университете. Позже он прославится как ведущий специалист по вопросам языковой интерференции, и его внимание переключится на африканцев и индейцев, но в первые годы эмиграции среди высоколобых коллег он стал широко известен как переводчик на английский бессмертного разоблачительного труда Александра Радищева “Путешествие из Петербурга в Москву” и отец очаровательного карапуза.
Ребёнок, названный на американский манер Норбертом, появился на свет 26 ноября 1894 года. Сей факт был зафиксирован федеральными властями в книге приходов и расходов человеческих жизней округа Колумбия штата Миссури.
Лео с первых дней начал нервно суетиться вокруг сына, придирчиво наблюдая за его рефлексами, в естественном для всякого отца стремлении обнаружить явные признаки гениальности у своего чада. Практикующий профессор Винер обрушился на невинного ребёнка со всей непоколебимостью новейших учебно-воспитательных методик. Мальчик учился говорить и думать одновременно на нескольких языках, а читать начал едва ли не раньше, чем освоил нелёгкое искусство перемещения на своих двоих. В 4 года он уже был допущен к родительской библиотеке, а в 7 лет написал свой первый научный трактат по дарвинизму. Таким образом, напоминаю, между первой научной работой и первым публичным трудом случились почти полвека тягостных раздумий. Однако интересы юного гения не ограничивались вопросами биологии и происхождения рода человеческого. Он с одинаковым увлечением цитировал терцины Данте и лженаучные монологи сказочного Паганеля. Ему грезились глубины ада и населённые неведомыми существами таинственные земли в возрасте, когда нормальным детям снятся сладкие розовые петушки и первые буквы алфавита. Домашнее воспитание не прошло даром.
Норберт никогда по-настоящему не учился в средней школе. Зато 11 лет от роду он поступил в престижный Тафт-колледж, который закончил с отличием уже через три года. Половозрелые студенты посматривали на 14-летнего бакалавра с недоумением, граничащим с желанием немедленно дать по шее. Но юркий пухлый очкарик привычно вжимал непропорционально большую голову в узкие плечи и почти всегда умудрялся ускользнуть от своих недоброжелателей. Юному Норберту доставалось порой и в словесных перепалках. Гордую еврейскую фамилию Винер (по-немецки wiener - венец) не так-то просто носить по коридорам американского учебного заведения в тинейджерском возрасте. Прямолинейные янки во все времена не очень разбирались в тонких лингвистических нюансах, поэтому словом “wiener” они для краткости называли немецкие копчёные колбаски “wienerwurst”, а впоследствии придали этому слову и вовсе неприличное значение. Впрочем, Норберту (не смотря на заслуги папаши именно на ниве словесности) не было дела до языковых тонкостей. Он тихо бесился и обещался со временем отыграться на потомках злокозненных обидчиков.
Так, в забавах, незаметно пробегали дни, и к 18 годам Норберт Винер уже числился доктором философии по специальности “математическая логика” в Корнельском и Гарвардском университетах. В девятнадцатилетнем возрасте доктор Винер был приглашён на кафедру математики Массачусетского Технологического Института, “где он и прослужил до последних дней своей малоприметной жизни”. Так или примерно так можно было бы закончить биографическую статью об отце современной кибернетики. И всё сказанное было бы правдой, кабы не одна закавыка: если математику Винеру и удалось спрятаться от человечества, то спрятался он в тени собственной славы.
Отец развил в Норберте болезненную страсть к ученью. “Когда я переставал учиться хотя бы на минуту, мне казалось, что я перестаю дышать. Это было сродни тупому инстинкту”, - вспоминал Винер уже в старшем возрасте. Вскоре ассистенту профессора Н.Винеру удалось убедить кафедральное начальство направить его в Европу для “повышения квалификации”. И снова он учился. В Кембридже - у великого Рассела и чудаковатого Харди, в Геттингене - у дотошного Гильберта. Сказать “и был любимым учеником” мало, говорить же о соучастии в создании современной математики и банально, и неоправданно в то же время. Норберт взрослел, впервые в жизни он обрёл самостоятельность. Оказавшись недосягаемым для заботливой родительской длани, ему захотелось в одночасье наверстать упущенное за годы “одарённого детства” (его собственное выражение). Нет, он не пустился во все тяжкие. Отнюдь. Наш юноша был слишком стеснителен и неуклюж для романтических приключений. Винер позволил себе гораздо больший грех. Он усомнился в своём математическом призвании. Будущему “отцу кибернетики” пришлось попробовать свои силы в роли журналиста околоуниверситетской газетки, испытать себя на педагогическом поприще, прослужить пару месяцев инженером на заводе. При этом он параллельно посещал литературные кружки (где в те годы крутилось немало выходцев из России). Впрочем, довольно скоро Норберт разочаровался в попытках изменить судьбу и вернулся в Штаты, в стены родной кафедры. В Европе шла война, это мешало сосредоточиться.
Как-то Норберт Винер столкнулся с одним из своих студентов около университетского кампуса. Они перекинулись парой приветственных фраз и вскоре увлеклись обсуждением насущных математических проблем. По окончании беседы Винер виновато взглянул на студента и спросил: “Простите, а с какой стороны я пришёл сюда?” Студент почтительно указал направление. “Ага. Значит, я ещё не ел”, - с грустью констатировал профессор. Не совсем анекдот
Там, в МТИ, Винеру удалось “плодотворно переждать смутное время” между Первой и Второй Мировыми войнами. Пока вся Америка то трепетала в голодном отчаянии, то утешалась великодержавной эйфорией, “чистый учёный” делал своё дело. Он успел стать профессором Гарвардского, Корнельского, Колумбийского, Брауновского, Геттингенского и прочих университетов, получил в собственное безраздельное владение кафедру в Массачусетском институте, написал сотни статей по теории вероятностей и статистике, по рядам и интегралам Фурье, по теории потенциала и теории чисел, по обобщённому гармоническому анализу и прочее, и прочее. Это были счастливейшие годы в его жизни. Он был молод, полон творческих планов, талантлив и совершенно никому не известен. Его труды носили чисто академический характер и могли изумлять коллег, но ни коим образом не тревожили прочую часть человечества.
Всё изменилось с приходом Гитлера к власти в Германии. Винер не был таким уж отшельником, социальные проблемы волновали его не только с точки зрения математического моделирования. Волны еврейских эмигрантов, хлынувших в 30-е годы через океан в Новый Свет, принесли с собой затхлый запах смерти. Америка втягивалась в новую войну, на которую профессор пожелал быть призванным. Нет, он не ходил в атаки и даже не управлял радаром (как Дуг Энгельбарт), ему не было присвоено никакого армейского звания. Норберт Винер не покидал пределов собственной кафедры. Просто сместились акценты. Теперь основное внимание учёного было уделено построению детерминированных стохастических моделей по организации и управлению американскими силами противовоздушной обороны. Винер первым предложил отказаться от практики ведения огня по отдельным целям (что имело крайне низкий КПД в условиях реального боя батареи зенитных установок против эскадрильи вражеских самолётов). Он разработал новую действенную вероятностную модель управления силами ПВО. Задача была столь же сложна, сколь и интересна. И совершенно невыполнима, на первый взгляд, без применения сегодняшней компьютерной техники. Действительно, какая песня без баяна, какая ракета без самонаведения?
Но война закончилась. И военный термин “самонаведение” уступил дорогу мирному слову “самообучение”. С привычным азартом Винер делился теперь с коллегами наблюдениями из жизни микки маусов. История эта сегодня стала хрестоматийной и называется она так: “Мышь в лабиринте”. Действительно, если грызун (привычный к запутанным норам) попадает впервые в новый лабиринт, то ведёт себя следующим образом: тыркается во все дыры, запоминая неверные ходы и не повторяя их. Так, рано или поздно, он добирается до цели (кусочек сыра, вожделенная самка, дверь в иной мир и т.п.). Если же его выпустить в этот лабиринт ещё раз, он уже безошибочно пройдёт весь путь из пункта А в пункт В. Вывод? Мышь в лабиринте - пример самообучающейся системы. Оставалось создать (или хотя бы в деталях описать) эдакую искусственную мышь. За что Винер и взялся с присущим ему пылом.
Свои лекции профессор Норберт Винер обычно начинал с того, что снимал с носа очки, доставал из кармана носовой платок и шумно сморкался, потом пару минут обшаривал пространство в поисках мела, находил его, отворачивался спиной к аудитории и без предисловий записывал нечто на доске. Потом бормотал что-то вроде “неверно, всё неверно”, стирал и записывал снова. Всё это могло повторяться вплоть до окончания лекции. За пару минут до звонка, Винер произносил: “Вот! Тут мы на сегодня могли бы поставить точку!” Доставал платок, сморкался и, не глядя на аудиторию, удалялся из лекционного зала. Из воспоминаний известного физика С.К.Чена
“Кибернетика” Винера увидела свет в 1948 году. Она практически сразу была признана мировой научной общественностью “трудом из ряда вон…”, переведена на десятки языков, однако понимание величия этого творения пришло много позже. Читать “Кибернетику” трудно (впрочем, с этого я начал данный текст). Читателю нужно неплохо разбираться и в математической логике, и в нейрофизиологии, и в статистике, и в инженерии, и в философии, чтобы оценить её по достоинству. Фундаментальный труд? Ну и что? Я знаю очень многих хороших программистов, которые даже не держали “Кибернетику” в руках. Точнее так, я знаю очень немногих программистов, которые её в руках держали. Читали, так вообще единицы! Что такое “кибернетика”? Платон (казалось бы, случайно упомянутый выше) утверждал, что словом, похожим на это, финикийцы обозначали сложнейшую науку своего времени, науку судовождения. Если бы Платон и Винер могли встретиться не только на книжной полке, древний грек изменил бы собственное мнение (истина дороже!). По Винеру, кибернетика - это наука об управлении, связях и обработке информации в технике, живых организмах и человеческом обществе. Наука, позволяющая творить искусственный интеллект. Наука, позволяющая управлять искусственным интеллектом.
В спецхране можно было получить секретный отчёт Винера Правительству США по теории экстраполяции случайных последовательностей и процессов. Отчёт был издан в ярко-жёлтой обложке и среди математиков, имевших доступ к этому материалу и испытывавших немалые трудности при чтении этого отчета, получил название “жёлтой опасности”. Из воспоминаний профессора МГУ В.Тихомирова
Винер полагал очевидным, что многие концептуальные схемы, определяющие поведение живых организмов при решении конкретных задач, практически идентичны схемам, характеризующим процессы управления в сложных технических системах. Более того, он убедительно доказывал, что социальные модели управления и модели управления в экономике могут быть проанализированы на основе тех же общих положений, которые разработаны в области управления системами, созданными людьми. Эти идеи получили развитие в очередном “популярно-математическом” труде, известном в русском переводе как “Кибернетика и общество”. И хотя Винер совершенно искренне считал социальные науки “наихудшей областью для подтверждения законов кибернетики”, творцы коммунистической идеи надолго заперли его труды в спецхран, опасаясь именно “социально-политических последствий” проведения его идей в жизнь. Ситуация несколько улучшилась в 60-е годы, когда, сидя в тени транспаранта “Кибернетику - на службу коммунизму!”, просвещённый гомо-советикус, поражаясь собственной безграничной смелости, зачитывался “Понедельником” Стругацких. Что же до прочего мира, то Винера почитали как великого современника, осыпали его наградами, всячески требовали от него соучастия в развитии кибернетических идей. Совместно с Клодом Шенноном Винер заложил основы современной теории информации (кстати, слово “бит” - тоже их придумка). В лучах славы “отца кибернетики” могли греться целые академии. И тут, как показалось многим, “старик спятил”. Авторитетнейший Винер публикует подряд два произведения, роман “Искуситель” и философский трактат “Творец и Голем”, в которых недвусмысленно даёт понять человечеству, что не только напуган разбуженной им стихией “нечеловеческой мысли”, но и готов предложить свои услуги по изничтожению дьявольского творения.
За пару месяцев до смерти Норберт Винер был удостоен Золотой Медали Учёного, высшей награды для человека науки в Америке. На торжественном собрании, посвящённом этому событию, президент Джонсон произнёс: “Ваш вклад в науку на удивление универсален, ваш взгляд всегда был абсолютно оригинальным, вы потрясающее воплощение симбиоза чистого математика и прикладного учёного…” При этих словах Винер достал носовой платок и прочувственно высморкался.
Он тихо умер весной 64-го года в Стокгольме. Голем пережил своего Творца.
Почти сто пятьдесят лет назад французский физик и математик Андре Мари Ампер закончил обширный труд — "Очерки по философии наук". В нем знаменитый ученый попытался привести в стройную систему все человеческие знания. Каждой из известных в то время наук было отведено свое место в системе. В рубрику за номером 83 Ампер поместил предполагаемую им науку, которая должна изучать способы управления обществом.
Ученый заимствовал ее название из греческого языка, в котором слово "кибернетес" означает "рулевой", "кормчий". А кибернетикой в Древней Греции называли искусство кораблевождения.
Между прочим, Ампер в своей классификации наук поместил кибернетику в разделе "Политика", которая как наука первого порядка делилась на науки второго и третьего порядков. Ко второму порядку Ампер отнес "политику в собственном смысле", а кибернетику, науку об управлении, он определил в науку третьего порядка.
Каждой науке соответствовал девиз в стихотворной форме на латинском языке. Кибернетику Ампер сопроводил такими словами, звучащими весьма символично: "...et secura cives ut pace fruantur" ("...и обеспечивает гражданам возможность наслаждаться миром").
Долгое время после Ампера термином "кибернетика" ученые широко не пользовались. По существу, он был забыт. Но вот в 1948 году известный американский математик Норберт Винер опубликовал книгу под названием "Кибернетика, или Управление и связь в живых организмах и машинах". Она вызвала большой интерес ученых, хотя законы, которые Винер положил в основу кибернетики, были открыты и исследованы задолго до появления книги.
Краеугольные камни кибернетики — теория информации, теория алгоритмов и теория автоматов, изучающая способы построения систем для переработки информации. Математический аппарат кибернетики весьма широк: здесь и теория вероятностей, и теория функций, и математическая логика, и многие другие разделы современной математики.
В развитии кибернетики большую роль сыграли и биологические науки, изучающие процессы управления в живой природе. Но конечно, решающим в становлении новой науки был бурный рост электронной автоматики и особенно появление быстродействующих вычислительных машин. Они открыли невиданные возможности в обработке информации и в моделировании систем управления.
Как в музыке стремятся положить на ноты все человеческие чувства и настроения, так и в кибернетике стремятся положить на числа все ситуации, происходящие в природе, в нашем сознании.
На протяжении столетий трудами математиков, физиков, медиков и инженеров — ученых разных стран — закладывался фундамент и формировались принципиальные основы кибернетики. Выдающееся значение для ее развития имели труды американских ученых К. Шеннона, Дж. Неймана, идеи нашего всемирно известного физиолога И. П. Павлова. Историки отмечают заслуги и таких выдающихся инженеров и математиков, как И. А. Вышнеградский, А. М. Ляпунов, А. Н. Колмогоров. И правильнее было бы говорить, что в 1948 году состоялось не рождение, а крещение кибернетики — науки об управлении. Именно к этому времени с наибольшей остротой встал вопрос о повышении качества управления в нашем усложненном мире. И кибернетика дала специалистам самого разного профиля возможность применять точный научный анализ для решения проблем управления.
Услугами кибернетики стали пользоваться математики и физики, биологи, физиологи и психиатры, экономисты и философы, инженеры различных специальностей. У них к этой науке, так сказать, двоякий интерес. С одной стороны — развивать и совершенствовать процессы управления в различных сферах деятельности человека, повышать производительность его труда. С другой — стремиться постоянно, глубоко и всесторонне изучать объекты управления, находить все новые и новые закономерности, которым подчиняются процессы управления, раскрывать принципы организации и структуры управляющих систем. И неизбежно объектом самого пристального изучения, самого детального исследования становится живой организм: сам человек как управляющая система высшего типа, те или иные функции которой инженеры и ученые стремятся воспроизвести в автоматах.
2. ТЕОРИЯ ИНФОРМАЦИИ
Теория информации стремится к тому, чтобы подсчитать количество информации, содержащейся в том или ином сообщении. Если, например, в метеорологической сводке от 4 августа сообщается о том, что «завтра снегопада не ожидается», информация, которую я получаю, оказывается довольно скудной, потому что речь идет о факте, настолько само собой разумеющемся, что количество известных мне вещей и возможность предугадывать завтрашние события нисколько не увеличиваются. Если же 4 августа сводка погоды сообщает, что «завтра, 5 августа, ожидается снегопад», я получаю значительное количество информации, если учесть невероятность события, о котором мне сообщили. Количество информации, содержащееся в каком — либо сообщении, определяется и осведомленностью, которой я могу располагать относительно достоверности ее источника. Если, покупая дом у агента по недвижимости, я спрашиваю его, не слишком ли этот дом сырой, и он отвечает мне «нет», я получаю мало информации и продолжаю сомневаться в достоверности его слов, но если тот же агент, совершенно неожиданно для меня и в ущерб своим собственным интересам, говорит «да», тогда я получаю изрядное количество информации и действительно узнаю что — то по интересующему меня вопросу.
Таким образом, информация представляет собой некое дополнение, является чем — то таким, что добавляется к уже известному и что я воспринимаю как новое. Однако в приведенных нами примерах речь шла о достаточно обширной и сложной информации, в которой доля новизны зависит от ожиданий получателя. В действительности информацию предварительно следует определить в гораздо более простых ситуациях, в которых ее количество можно измерить математически и выразить в числах, не обращаясь к познаниям, которыми может располагать ее возможный получатель; в этом, собственно, и заключается задача теории информации. Ее расчеты подходят к сообщениям любого вида, к числовым и лингвистическим символам, к последовательности тех или иных звуков и т. д.
Чтобы подсчитать количество информации, необходимо исходить из того, что максимальная вероятность совершения какого — то события равна 1, а минимальная 0. Следовательно, математическая вероятность совершения события колеблется между единицей и нулем. Когда мы подбрасываем монету, у нас одинаковая вероятность того, что выпадет «орел» или «решка», и, следовательно, вероятность «орла» равна 1/2. Если же мы берем игральную кость, то вероятность выпадения тройки равна 1/6. Вероятность того, что два независимых друг от друга события совершатся одновременно, зависит от вероятности совершения каждого из них, и, таким образом, вероятность того, например, что одна игральная кость выбросит единицу, а вторая шестерку, равна 1/36.
Отношение между рядом событий, которые могут осуществиться, и рядом вероятностей, связанных с этими событиями, выглядит как связь между арифметической и геометрической прогрессиями, та связь, которая выражается логарифмом, поскольку второй ряд будет заключаться в логарифме первого. Более понятным образом количество информации можно выразить так:
вероятность, которую получатель имеет после
принятия сообщения l og —
вероятность, которую получатель имел
до получения сообщения
В случае с монетой (если мне говорят о том, что выпадет «орел») равенство будет таким:
log — = log 2
1/2
Следовательно, данное равенство (поскольку при полученном сообщении вероятность всегда будет равна единице, если допустить, что отсутствует фоновый шум, о котором мы еще поговорим) можно представить так:
Информ. = — log (вероятность, имеющаяся для получателя до получения сообщения).
В случае с монетой:
— log (1/2) = log 2.
Осуществляя бинарный выбор, теория информации использует двоичные основные логарифмы и называет единицу информации термином bit (или binit), представляющим собой сокращение двух слов binary digit (двоичный знак). Использование двоичного логарифма имеет следующее преимущество: поскольку log22 = 1, один bit информации говорит нам о том, какая из двух возможностей события осуществляется.
В качестве еще одного примера возьмем доску из 64 клеток, в одной из которых должна располагаться пешка. Если информатор сообщает мне, что она находится в клетке 48, тогда получаемую мною информацию можно измерить следующим образом: поскольку изначально мои возможности угадать эту клетку составляли 1/64, формула выглядит так: — log2 (1/64) = log264 = 6. Таким образом, я получил информацию, которую можно сосчитать в 6 битах1.
Таким образом, можно сказать, что количество информации, переданной в сообщении, является двоичным логарифмом определенного числа альтернатив, позволяющих недвусмысленно определить это сообщение2.
Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии энтропии. Это понятие достаточно широко известно, потому что все о нем слышали, но в силу этого оно достаточно размыто, так как каждый понимает его по — своему и использует весьма свободно; поэтому будет неплохо, если мы вкратце его рассмотрим, ибо его происхождение из термодинамики оставило наслоения, не всегда обоснованные.
Согласно второму началу термодинамики, изложенному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами различной температуры: источником теплоты и охладителем. Двигатель поглощает определенное количество теплоты от ее источника, но не всю ее преобразует в работу, потому что часть отдает охладителю. Таким образом, часть теплоты Q1 преобразуется в работу, кроме того имеется теплота Q — Q1, которая передается охладителю.
Таким образом, если после преобразования работы в теплоту (первый закон термодинамики) я преобразую эту теплоту в работу, мне не удается вернуться к исходному количеству этой работы. Наблюдается уменьшение или, как обычно говорят, «расход» энергии, которую уже не удастся восстановить. Энергия «расходуется». Таким образом, некоторые природные процессы не являются полностью обратимыми: «эти процессы однонаправленны, и с каждым из них мир делает шаг, след которого никоим образом нельзя стереть»3. Если мы хотим найти общую меру этой необратимости, надо предположить, что природа, так сказать, отдает предпочтение одним состояниям перед другими (то есть тем, к которым устремляются необратимые процессы) и кроме того, нам придется отыскать физическую величину, которая количественно измеряет предпочтение, отдаваемое природой определенному состоянию. Такая величина имела бы свойство расти во всех необратимых процессах. Это и есть энтропия.
Таким образом, второе начало термодинамики, утверждая «расход» энергии, стало законом энтропии, причем настолько, что обычно идею энтропии связывают с идеей этого «расхода» и тем выводом, согласно которому, наблюдая за развитием любого естественного процесса в направлении увеличивающегося расхода и поступательного уменьшения энергии, можно якобы говорить о «тепловой смерти» вселенной. Однако надо раз и навсегда отметить, что если понятие энтропии и используется в термодинамике для того, чтобы определить расход энергии (и, следовательно, здесь неизбежно начинают звучать пессимистические нотки, коль скоро нам позволено облекать в чувства научные размышления), в действительности представляет собой статистическую величину и потому является математически нейтральным инструментом. Иными словами, энтропия представляет собой измерение состояния наибольшей равновероятности, к которому стремятся естественные процессы. В этом смысле и принято говорить, что природа имеет предпочтения: она предпочитает более единообразное состояние менее единообразному, и теплота переходит от более нагретого тела к менее нагретому потому, что состояние равномерного распределения температуры более вероятно, чем состояние неравномерного распределения. Иными словами, взаимонаправленная скорость молекул в большей степени тяготеет к состоянию единообразия, а не к состоянию различия, в котором, при их различной скорости, совершаются различные тепловые реакции. Исследования, проведенные Больцманом в области кинетики газов, показали, что природа прежде всего тяготеет к элементарной неупорядоченности, мерой которой является энтропия4.
Тем не менее необходимо еще раз подчеркнуть, что понятие энтропии является чисто статистическим, так же, как, в конечном счете, чисто статистическим является тот же принцип необратимости: как уже показал Больцман, в замкнутой системе обратимость не невозможна, а только невероятна. Столкновение молекул газа происходит согласно статистическим законам, которые сводят различие скоростей к среднему равенству. Когда более быстрая молекула сталкивается с более медленной, может случиться так, что последняя передаст часть своей скорости первой молекуле, но статистически более вероятно, что произойдет обратное, то есть быстрая молекула замедлит свой бег и сообразует свою скорость со скоростью более медленной молекулы, порождая состояние большего единообразия и, следовательно, способствуя росту элементарной неупорядоченности. «Таким образом, закон увеличения энтропии обусловлен законом больших чисел, известным любому виду статистики, однако он не относится к строгим физическим законам, которые, как, например, законы механики, не допускают исключений»5. То, каким образом от теории «расхода» энергии можно перейти к использованию понятия энтропии в теории информации, нам довольно ясно показывают рассуждения Ганса Рейхенбаха. Общая тенденция к возрастанию энтропии, свойственная физическим процессам, не препятствует тому, чтобы (как мы это ощущаем каждый день) происходили такие физические процессы, в которых совершается определенная организация, то есть упорядочение событий в соответствии с определенной невероятностью (все органические процессы таковы) и, следовательно, в соответствии с уменьшением энтропии. По отношению к общей графической кривой роста энтропии эти моменты ее уменьшения Рейхенбах называет branch systems (боковыми системами) (как отклонения, ответвления от этой кривой), в которых взаимодействие некоторых событий приводит к упорядочению соответствующих элементов. Приведем пример. Ветры, дующие на пляже, порождают в тысячах песчинок общую тенденцию к беспорядку и, следовательно, к единообразию их расположения, но вот неожиданно по пляжу проходит человек, и взаимодействие его ног с поверхностью песка представляет собой взаимодействие событий, приводящих к появлению определенной конфигурации (статистически совершенно невероятной) следа от его ноги. Эта конфигурация, являющаяся формой, фактом определенной организации, очевидно, будет стремиться к исчезновению под воздействием ветров, иными словами, если она и представляла собой ответвление от общей кривой энтропии (там, где сама энтропия уменьшалась, уступая место невероятному порядку), сама боковая система, тем не менее, будет стремиться к тому, чтобы снова слиться с общей кривой увеличивающейся энтропии. В то же время в этой системе, как раз благодаря уменьшению элементарной неупорядоченности и осуществлению порядка, сложились причинно — следственные отношения: причина представляла собой совокупность фактов взаимодействия с песчинками пляжа (читай «человеческая нога»), а следствие — возникшую затем их организацию («след»).
Существование причинно — следственных отношений в системах, организованных при уменьшении энтропии, приводит к возникновению «воспоминания»; с физической точки зрения воспоминание представляет собой запись, «упорядочение, структура которого остается неизменной, так сказать, замороженной»6. Это помогает нам установить цепь причин, чтобы воссоздать событие, однако поскольку второе начало термодинамики ведет к признанию и утверждению существования воспоминаний о прошлом, постольку воспоминание представляет собой не что иное, как накопление информации, из этого рождается тесная связь между энтропией и информацией1.
Поэтому нас не удивит, если в теоретических работах по информации мы обнаружим широко используемый термин «энтропия»: это, напротив, поможет нам понять, что измерение количества информации означает измерение того порядка или беспорядка, в соответствии с которым организовано то или иное сообщение.