Разметка. Средства разметки корпусов
Понятие разметки
Среди специальных программ для обработки естественного языка особое место занимают программы автоматической разметки. В рамках сегодняшней лекции постараемся определить, для чего же они нужны и как они функционируют.
Итак, для решения различных лингвистических задач недостаточно иметь массив текстов. Требуется также, чтобы тексты содержали в себе явным образом указанную разного рода дополнительную лингвистическую и экстралингвистическую информацию. Так, на материале корпуса, подобного Брауновскому, можно легко выявить частотность слов – их регулярное употребление в определенных контекстах. Однако это будет частотность токенов (словоформ). Для определения частоты лексем каждому слову должна быть приписана ее лемма. Для подсчета частот в разрезе грамматических категорий они также должны быть соответствующим образом маркированы. Если осуществлять маркировку в большом корпусе вручную, это займет очень много времени, поэтому исследователи разработали способы автоматической разметки в корпусе.
Разметка корпусов (tagging, annotation) представляет собой трудоемкую операцию, особенно учитывая размеры современных корпусов. Если для некоторых видов разметки, в частности, анафорической, просодической, создание автоматических систем пока представляется довольно сложным и основная часть работы проводится вручную, то для морфологического и синтаксического анализа существуют различные программные средства, которые принято называть соответственно тэггеры (taggers) и парсеры (parsers).
В результате работы программ автоматического морфологического анализа (тэггеров) каждой лексической единице приписываются грамматические характеристики, включая часть речи, лемму и набор граммем (например, род, число, падеж, одушевленность/неодушевленность, переходность и т.д.). В результате работы программ автоматического синтаксического анализа фиксируются синтаксические связи между словами и словосочетаниями, а синтаксическим единицам приписываются соответствующие характеристики (тип предложения, синтаксическая функция словосочетания и т.д.).
Однако автоматический анализ естественного языка небезошибочен и многозначен – он, как правило, дает несколько вариантов анализа для одной лексической единицы (слова, словосочетания, предложения). В этом случае говорят о грамматической омонимии.
Один из простых способов заключается в том, чтобы компьютеризированный словарь, в котором указаны лексические категории для самых распространенных слов или для наибольшего количества слов, совместить с неразмеченным корпусом. Затем каждому слову в неразмеченном корпусе может быть автоматически присвоен тэг от соответствующего ему слова в снабженном пометами словаре. Таким образом, если словоформы information и distribution появились и в корпусе, и в словаре, тэг ‘noun’, который сопровождал эти словоформы в словаре, автоматически будет перенесен на них в корпусе. Подобно этому, такие формы как lexical и frequent будут помечены как прилагательные, поскольку они всегда являются членами этой категории, the и a будут помечены как артикли, identify и see – как глаголы и т.д. [42].
Этот процесс нахождения соответствующих форм в корпусе и в снабженном пометами словаре не может быть использован для определения категорий всех форм, потому что некоторые формы могут быть членами более чем одной категории. Эта проблема носит название «проблема морфологической неоднозначности (ambiguity)». Например, слова words, forms, can, use, present и process могут быть как существительными, так и глаголами.
Возьмем слово deal в качестве примера. Как словоформа, оно может быть как существительным, так и глаголом. Предположим, что корпус содержал фразу a good deal of trouble, и предположим, что автоматическое совмещение со словарем уже позволило пометить good как прилагательное. При выборе между тем, предшествует ли прилагательное существительному или глаголу, намного надежнее выбрать существительное, поскольку в английском языке прилагательные обычно предшествуют существительным и обычно не предшествуют глаголам. Так, deal в a good deal of trouble может быть помечено как существительное. Другими словами, поскольку good однозначно является прилагательным, оно будет помечено как adjective на начальном уровне снабжения пометами путем совмещения корпуса со словарем.
Если начинать разметку, размечая только слова, принадлежащие исключительно одной категории, а затем использовать эту информацию для того, чтобы прояснить неоднозначные случаи, многие сложные проблемы смогут быть решены. В обычной практике случается так, что слова снабжаются пометами сначала для всех частей речи, к которым они могут относиться, а затем категории примыкающих слов используются для определения категории слов, у которых есть несколько помет.
Поскольку в английском языке так много форм принадлежит более чем одной категории, точно разметить слова можно благодаря более сложным процедурам, чем автоматическое совмещение со словарем. Конечно, в контексте словоформа принадлежит только одной категории. Следовательно, достичь точной разметки английского корпуса можно путем анализа контекста или анализа более высокого уровня: синтаксического анализа для морфологической разметки, семантического – для синтаксической.
Снятие неоднозначности (морфологической, синтаксической) в целом является одной из важнейших и сложнейших задач компьютерной лингвистики. При создании корпусов для снятия неоднозначности используются автоматические и ручные способы.
Корпусы нового поколения включают сотни миллионов слов, поэтому выдвигаются принципы разработки систем, которые бы минимизировали вмешательство человека. Автоматическое разрешение морфологической или синтаксической неоднозначности, как правило, основывается на использовании информации более высокого уровня (синтаксического, семантического) с применением статистических методов.
Лингвистическая разметка
Итак, разметка заключается в приписывании текстам и их компонентам специальных тэгов: собственно лингвистических, описывающих лексические, грамматические и прочие характеристики элементов текста, и внешних, экстралингвистических (сведения об авторе и сведения о тексте: автор, название, год и место издания, жанр, тематика).
Среди лингвистических типов разметки выделяются: морфологическая, синтаксическая, семантическая, анафорическая, просодическая, дискурсная и др. Все они осуществляются в соответствии со следующими принципами:
1) описание (обоснование) схемы разметки;
2) общепринятая система лингвистических понятий;
3) известная для пользователя схема анализа;
4) мотивированность введения параметров;
5) теоретически нейтральная (традиционная) схема разметки;
6) следование международным стандартам.