В В Е Д Е Н И Е
Потребности в системах, ориентированных на накопление и эффективную обработку неструктурированной или слабоструктурированной информации привели к возникновению еще в 1970-х годах отдельной ветви программного обеспечения систем управления базами данных, на основе которых создаются документальные информационные системы.
Однако теоретические исследования вопросов информационного поиска документов, начавшись еще в 1950-х – 1960-х годах, к сожалению, не получили такой строгой, полной и в то же время технически реализуемой модели представления и обработки данных, как реляционная модель в фактографических системах. Не получили также стандартизации и многочисленные попытки создания универсальных так называемых информационно-поисковых языков, предназначенных для формализованного описания смыслового содержания документов и запросов по ним.
В итоге, несмотря на то, что первые системы автоматизированного поиска документов появились еще в 1960-х годах, развитые коммерческие информационно-поисковые системы, ориентированные на накопление и обработку текстовых документов, получили распространение лишь в конце 1980-х – начале 1990-х годов.
В настоящее время информационно-поисковые системы получили широкое распространение в правовых электронных системах, библиотечных, Интернете и других системах.
Введение и главы 1, 2, 3, 4 написаны А.Т. Тяжевым, глава 5 - Т.Т. Осиповой, главы 6, 7, 8 - Р.Р. Фокиным, глава 9 и вопросы для самоконтроля - М.А. Абиссовой.
Глава 1. ВИДЫИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМ. ОБЩАЯ ХАРАКТЕРИСТИКА
Информационно-поисковая система (ИПС) – информационная система (ИС) с единым хранилищем единичных элементов данных и с развитым инструментарием их поиска и отбора.
Комментарии: ИПС - это система для поиска информации.
Модули ИПС встроены почти во все современные программные средства.
ИПС в WINDOWS
Среди огромного количества файлов на каком-нибудь диске мы можем найти нужные нам файлы.
Пример:
попробуйте найти на диске d: файлы WORD (*.doc, *.rtf), которые содержат заявления, служебные записки, объяснительные, материалы по ИПС.
ИПС в WORD
В длинном тексте (реферат, курсовая, диплом, диссертация) можно найти нужное нам место в тексте, если мы помним какое-нибудь слово в этом месте. Можно все вхождения в текст одного слова заменить другим словом.
Пример:
найдите какой-нибудь файл WORD (*.doc, *.rtf) и в этом файле произведите замену каких-нибудь 10 слов их синонимами.
ИПС на CD-DVD ДИСКАХ
На лазерных дисках (CD, DVD) продаются многочисленные ИПС. Вы можете найти необходимые Вам адреса, телефоны, карты, товары, услуги и т.п.
Пример:
имеется лазерный диск и инструкция по установке соответствующих ИПС на компьютер. Среди них, например:
- Top Plan Санкт-Петербург
- Top Plan Ленинградская область
- Финансовый менеджмент
- К Вам пришли с проверкой
- Как устроиться на работу
- Лекарственные растения
- Выбор и секреты цифровых фотоаппаратов
- Выбор и секреты лыж и сноубордов
Давайте поставим эти ИПС на один из наших компьютеров.
ИПС в INTERNET
Наиболее мощные ИПС имеются в сети Интернет.
Поисковые машины Rambler (www.rambler.ru), Yandex (www.yandex.ru) и др. служат главным образом для поиска нужных сайтов. Эти ИПС интеллектуальны. Если мы просим найти сайты со словом "лётчик", то будут также найдены сайты со словом "пилот", причём во всех падежах.
Наиболее известные сайты (фирмы, библиотеки, история и др.) являются ИПС по поиску информации внутри данного сайта. Вот некоторые примеры:
www.sony.ru
www.canon.ru
www.samsung.ru
www.kodak.ru
www.lib.ru
www.nlr.ru
www.rasl.ru
www.price.ru
и др.
Рисунок 1.1. Классификация ИПС по виду единичных элементов данных
Пример:
Предположим нужно написать реферат. Тему выбираете сами. Это может быть выбор сотового телефона, автомобиля, ноутбука, фотоаппарата, какое-нибудь историческое событие и т.п. Реферат обязательно должен содержать аналитический обзор чего-нибудь. Вот пример: Нам нужен фотоаппарат. Для туристских походов. Следовательно, вес не более 500гр. Зум не менее 10. Найти 10-15 таких фотоаппаратов. Выбрать один. Аналитический обзор содержит подробное обоснование Вашего выбора.
По виду единичных элементов данных ИПС подразделяются на фактографические и документальные (Рисунок 1.1).
Фактографические ИПС – информационные системы, в которых единичным элементом данных, имеющим отдельное смысловое значение, является запись, образуемая конечной совокупностью полей-атрибутов.
Комментарии: фактографические ИПС ищут только внутри структурированного массива информации, например, в базе данных, состоящей из записей.
Например, в Access запись может состоять из следующих полей (Таблица 1.1).
Таблица 1.1. Запись Access
| Табельный номер | Фамилия | Имя | Отчество | Год рождения | Оклад |
| Иванов | Иван | Ионович |
Эксплуатация фактографических ИПС требует либо изначально структурированных данных (отчеты датчиков в АСУТП, финансовые массивы бухгалтерских ИС и т.д.), либо предварительной структуризации данных. Из этого вытекают недостатки фактографических ИС:
- зачастую структуризация данных требует больших накладных, в т.ч. и организационных расходов, приводящих к материальным издержкам информатизации,
- извлечение из текста данных по формализованным позициям для ввода в фактографические ИС может приводить к ошибкам и потере части информации, которая в исходных источниках имеется, но из-за отсутствия в базе данных соответствующих элементов в ней не может быть отражена.
В последнее время приоритет получили документальные ИПС.
Документальные ИПС – информационные системы, единичным элементом которых является неструктурированный на более мелкие элементы документ.
Комментарии: документальные ИПС ищут только внутри множества неструктурированных документов.
Обычно это текстовые документы в виде текстовых файлов, хотя к классу неструктурированных документированных данных могут также относится звуковые и графические файлы.
Основной задачей документальных ИС является накопление и предоставление пользователю документов, которые по содержанию, тематике, реквизитам и пр. соответствуют его информационным потребностям.
Информационная потребность – осознанное понимание различия индивидуального знания, определяемое разностью между субъективным восприятием предмета деятельности и уровнем знаний об этом предмете, накопленных обществом.
Коментарии: информационная потребность - это информация, которая необходима пользователю.
Пертинентностью называется соответствие найденных документов информационным потребностям пользователя.
Коментарии: найденная ИПС информация может не полностью соответствовать потребностям пользователя.
Особенности реализации хранилища документов и механизмов поиска
В зависимости от особенностей реализации хранилища документов и механизмов поиска документальные ИПС подразделяются на Системы на основе индексирования и Семантически-навигационные системы (Рисунок 1.2).
 |
Рисунок 1.2. Виды документальных ИПС в зависимости от особенностей реализации хранилища документов и механизмов поиска
В семантически-навигационных системах документы, помещаемые в хранилище (базу) документов оснащаются специальными навигационнымиконструкциями, соответствующими смысловым связям (отсылкам) между различными документами или отдельными фрагментами одного документа. Такие конструкции реализуют некоторую семантическую (смысловую) сеть в базе документов. Поиск осуществляется путем явной навигации по смысловым отсылкам между документами. В настоящее время такой подход реализуется в гипертекстовых ИПС.
Комментарии: Типичный примеры этих ИПС - это www-страницы. Навигационные конструкции на них - это гиперссылки на другие веб-страницы. Связанные таким образом www-страницы образуют сеть. Эта сеть семантическая (смысловая) поскольку каждая гиперссылка организует связь в соответствии с некоторым смыслом. Например, на одной www-странице мы видим слово Кутузов, если мы по нему щелкаем, то появляется www-страница, посвященная Кутузову. Навигация - это хождение по www-страницам с целью поиска некоторой информации.
В системах на основе индексирования исходные документы помещаются в базу без дополнительного преобразования (за исключением возможного сжатия), но смысловое содержание каждого документа отображается в некоторое поисковое пространство. Процесс отображения документа в поисковое пространство или индексирование заключается в присвоении каждому документу некоторого индекса-координаты в поисковом пространстве.
Индексирование – описание содержания документа посредством формализованного информационного языка.
Поисковым образом документа (ПОД) называется формализованное описание индекса документа.
Поисковым образом запроса (ПОЗ) к базе документов называется выражение пользователем своих информационных потребностей средствами и языком поискового пространства.
Система на основе определенных критериев и способов ищет документы, ПОД которых соответствуют или близки ПОЗ, и выдает соответствующие документы.
Коментарии: Имеется большой массив информации - сами документы. Там трудно что-либо найти. Мы собираем индекс - малую информацию, для облегчения поиска. Это и есть индексирование. Примеры: Малая информация (индекс) - это карта местности. Большая информация - это сама местность. Малая информация (индекс) - это оглавление книги. Большая информация - это сама книга. Пусть имеется книга о художниках. По оглавлению просто найти на каких страницах информация, например, о Шишкине. В этом случае документы - это главы книги, поисковое пространство - это оглавление, поисковые образы документов (ПОД) - это пункты оглавления. Поисковый образ запроса (ПОЗ) - слово Шишкин, мы ищем пункт оглавления с этим словом.
Рисунок 1.3. Система на основе индексирования
Рамблер, Яндекс и другие ИПС в интернете с помощью специальных программ-роботов просматривавают время от времени весь Интернет и по каждому сайту (документу) собирают множество ключевых слов. Это и есть индексирование интернета. Поисковый образ документа (ПОД) - это ключевые слова и адрес соответствующего сайта. Внутри ИПС типа Рамблера, Яндекса и т.п. хранится множество этих ПОД - это и есть поисковое пространство. Пользователь обычно пишет несколько ключевых слов - этои есть поисковый образ запроса (ПОЗ). Далее в поисковом пространстве ищутся ПОД, соответствующие ПОЗ, полностью или частично. Степень этого соответствия и есть релевантность. Обычно Рамблер, Яндекс и другие ИПС в интернете выдают несколько ссылок на сайты по убыванию релевантности.
Релевантностью называется соответствие найденных документов запросу пользователя.
Коментарии: Чем сам запрос отличается от поискового образа запроса (ПОЗ)? Запрос формулируется и понимается человеком. Например: Меня интересуют документы в Интернете, утверждающие, что полеты американцев на Луну - мистификация. ПОЗ формулируется так, чтобы его "поняла" машина. Например, как набор ключевых слов: луна полёт мистификация американцы. ПОЗ может не полностью соответствовать запросу.