Направления компьютерной лингвистики
I. Обработка естественного языка (англ. naturallanguageprocessing; синтаксический, морфологический, семантический анализы текста). Сюда включают также:
1. Корпусная лингвистика, создание и использование электронных корпусов текстов
Ко́рпуснаялингви́стика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых корпусов. Термин введён в употребление в 1960-е годы в связи с развитием практики создания корпусов, которому начиная с 1980-х способствовало развитие вычислительной техники.
Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).
Первым большим компьютерным корпусом считается Брауновский корпус (БК, англ. BrownCorpus, BC), который был создан в 1960-е годы в Университете Брауна и содержал 500 фрагментов текстов по 2 тысячи слов в каждом, которые были опубликованы на английском языке в США в 1961 году. В результате он задал стандарт в 1 млн словоупотреблений для создания представительных корпусов на других языках. По модели близкой к БК в 1970-е годы был создан частотный словарь русского языка Засориной, построенный на основе корпуса текстов объёмом также в 1 миллион слов и включавший примерно в равной пропорции общественно-политические тексты, художественную литературу, научные и научно-популярные тексты из разных областей и драматургию. По аналогичной модели был построен и русский корпус, созданный в 1980-е годы в Университете Уппсалы, Швеция.
По этим причинам, а также в связи с ростом компьютерных мощностей, способных работать с большими объёмами текстов, в 1980-е годы в мире было предпринято несколько попыток создать корпуса большего размера. В Великобритании такими проектами были Банк Английского (BankofEnglish) в Бирмингемском Университете и Британский Национальный Корпус (BritishNationalCorpus, BNC). В СССР таким проектом был Машинный фонд русского языка, создававшийся по инициативе А. П. Ершова.
2. Создание электронных словарей, тезаурусов, онтологий. Например, Lingvo. Словари используют, например, для автоматического перевода, проверки орфографии.
ABBYY Lingvo — компьютерная программа и семейство электронных словарей, разработанные российской компанией «ABBYY».
Слово «lingvo » в переводе с языка эсперанто означает «язык», о чём есть статьи в словарях ABBYY Lingvo (LingvoUniversal и LingvoComputer).
ABBYY Lingvo х6
Новая версия вышла 26 августа 2014 года.
В ABBYY Lingvo нет функции полнотекстового перевода, но возможен пословный перевод текстов из буфера обмена. В некоторых словарях на английском, немецком и французском большинство словозвучены профессиональными дикторами — носителями языка.
В состав программы входит обучающий модуль LingvoTutor, помогающий запоминать новые слова.
Автоматический перевод текстов.
Среди русских переводчиков популярным является Промт. Среди бесплатных известен переводчик GoogleTranslate.
Переводчик PROMPT
PROMT (от PROject MT — проект машинного перевода) — российская компания, разработчик систем машинного перевода. В настоящий момент существуют десктопные переводчики PROMT для английского, немецкого, французского, испанского, итальянского, португальского и русского языков. Причем имеются пары не только с русским языком, но и с иностранными, например, англо-испанский, англо-португальский, немецко-французский, испанско-немецкий и т. п. Офисы компании открыты в России, США и Германии. В серверных продуктах PROMT доступны также китайский, японский, арабский и другие языки. В последние годы PROMT поставляет наряду с различными вариантами своей системы автоматического перевода и сопутствующими специализированными словарями ещё и собственные решения на основе технологии памяти переводов.
Технологии PROMT не раз удостаивались наград различных конкурсов. Так, в конкурсе, который проводится ежегодно в рамках семинара по статистическому машинному переводу под эгидой Ассоциации компьютерной лингвистики (ACL), переводчик от PROMT признан лучшим для перевода с английского языка на русский в 2013 и в 2014 годах
История
Компания основана в Санкт-Петербурге в 1991 году бывшими сотрудниками лаборатории инженерной лингвистики ЛГПИ им. А. И. Герцена. Руководитель компании со дня основания — Светлана Соколова.
Первая система машинного перевода называлась PROMT (1991 год), в 1992 году название было изменено на STYLUS, а в 1998 году — обратно на PROMT.
6 марта 1998 года PROMT запускает первый российский сервис бесплатного онлайн-перевода Translate.ru.
В 1997 году PROMT вместе с французской компанией Softissimo выпускает линейку продуктов для западного рынка под названием Reverso.
Принципы работы
Первоначально в основе перевода PROMT лежала технология машинного перевода, основанная на правилах (RBMT). RBMT строится на основе лингвистического описания двух естественных языков (двуязычных словарей и других баз данных, содержащих морфологическую, грамматическую и семантическую информацию), формальных грамматик и, собственно, алгоритмов перевода. Качество перевода зависит от объёмов лингвистических баз данных (словарей) и глубины описания естественных языков, то есть необходим учет максимального количества особенностей грамматической структуры.
В конце 2010 года PROMT представил Гибридную технологию перевода, совмещающую в себе подход RBMT и SMT. Суть такого совмещения в том, что вместо одного варианта перевода программа порождает множество переводов, число которых у одного предложения, в зависимости от многозначности слов, конструкций и результатов статистической обработки, может доходить до нескольких сотен. Далее вероятностная модель языка позволяет выбрать самый вероятный из предложенных вариантов.
Совмещение RBMT и SMT подходов дает преимущество от обеих технологий. Такой подход также позволяет быстро обучать переводчик.
С 2011 года PROMT также предлагает решения на основе статистического подхода.
Основные возможности
· Перевод слов, словосочетаний и текстов, в том числе с помощью «горячих» клавиш.
· Перевод выделенной области экрана с графическим текстом.
· Перевод документов разных форматов: doc(x), xls(x), ppt(x), rtf, html, xml, txt, ttx, pdf (в том числе отсканированные), jpeg, png, tiff.
· Использование, редактирование и создание специализированных словарей и профилей перевода.
· Подключение баз TranslationMemory и глоссариев.
· Интеграция в офисные приложения, веб-браузеры, корпоративные порталы и сайты.
Основные продукты
1. Сервис Translate.ru.
2. PROMT Home.
3. PROMT Professional.
4. PROMT Expert.
5. Переводчик для детей MagicGooddy].
Маши́нныйперево́д — процесс перевода текстов (письменных, а в идеале и устных) с одного естественного языка на другой с помощью специальной компьютерной программы. Так же называется направление научных исследований, связанных с построением подобных систем.
Формы организации взаимодействия ЭВМ и человека при машинном переводе
· С постредактированием: исходный текст перерабатывается машиной, а человек-редактор исправляет результат.
· С предредактированием: человек приспосабливает текст к обработке машиной (устраняет возможные неоднозначные прочтения, упрощает и размечает текст), после чего начинается программная обработка.
· С интерредактированием: человек вмешивается в работу системы перевода, разрешая трудные случаи.
· Смешанные системы (например, одновременно с пред- и постредактированием).