Семенова А.П., Миненко А.С., Ванжа Т.В.
Донецкий национальный технический университет, ДНР, г. Донецк
Аннотация. В работе рассмотрены основные технологии, тенденции и перспективы развития алгоритмов распознавания эмоций, базовые понятия теории распознавания эмоций, алгоритм автоматического распознавания эмоций на фотографических изображениях лица.
Ключевые слова: человеко-машинное взаимодействие, алгоритм распознавания эмоций, базовые эмоции.
THE APPLICATION AREA OF THE ALGORITHM OF EMOTION RECOGNITION IN INFORMATION TECHNOLOGY
Semenova A.P., Minenko A.S., Vanzha T.V.
Donetsk National Technical University, DPR, Donetsk
Abstract. The paper considers the main technologies, trends and perspectives of the development of emotion recognition algorithms, the basic concepts of emotion recognition theory, algorithm of automatic recognition of emotions on photographic facial images.
Key words: human-machine interaction, emotion recognition algorithm, basic emotions.
В основе распознавания истинного лица человека лежит распознавание эмоций. Эмоции – это субъективные переживания, касающиеся ситуаций и событий, важных для человека. Эмоцией называется особый вид психических процессов, которые выражают переживание человеком его отношения к окружающему миру и самому себе в конкретный момент времени. Они могут быть выражены с помощью голоса, мимики, движения, позы и вегетативных реакций (частота сердечных сокращений и дыхания, артериальное давление), но наибольшей выразительностью обладает именно лицо человека [1-3].
Т.к. полноценное общение между людьми невозможно без проявления и анализа эмоций, использование алгоритмов для их автоматического распознавания при создании современных человеко-машинных систем является актуальным и важным направлением исследований в Массачусетском технологическом институте, Оксфордском, Санкт-Петербургском, Московском университетах, Институте кибернетики им. В.М. Глушкова, Киевском национальном университете им. Тараса Шевченко, Донецком национальном техническом университете и др.
В основе процесса автоматического распознавания эмоций лежит использование методов и средств компьютерного зрения [4].
Задача распознавания эмоций может решаться в системах, применяемых в различных сферах человеческой деятельности. К наиболее значимым областям применения можно отнести: распознавание состояния водителя, криминалистику, маркетинговые исследования, человеко-машинное взаимодействие, системы безопасности и виртуальной реальности, online-обучение и др. Рассмотрим некоторые из них более подробно.
В настоящее время активно развивается робототехника. С развитием новых технологий появились бытовые роботы оснащенные средствами машинного зрения для анализа окружающей обстановки, определения текущего местоположения, обнаружения заданных предметов, объезда препятствий и т.д. Распознавание эмоций человека таким роботом позволит повысить уровень интеллектуализации их взаимодействия для обеспечения возможности правильного реагирования на состояние человека в случаях, связанных с опасностью для его жизни. Например, системы распознавания состояния водителя позволяют избежать аварий, вызванных невнимательностью, усталостью, сонливостью или же плохим самочувствием водителя.
Другой сферой применения алгоритмов распознавания эмоций являются охранные системы. Современные системы безопасности обладают механизмами регистрации и анализа видеоданных, но решение в таких системах все еще принимается человеком-оператором. Это приводит к снижению оперативности реагирования на различные чрезвычайные ситуации, связанные с поведением людей на охраняемой территории. Повысить эффективность охранных систем можно за счет обнаружения и сопровождения людей, проявляющих эмоции, характерные для психически больных, террористов, нарушителей правопорядка и т.д.
В криминалистике применимость подобных систем распознавания обусловлена необходимостью проверки достоверности показаний свидетеля. В процессе допроса подозреваемого можно использовать специальную программу, которая определит вид эмоции на его лице – злость, горечь, страх, обида и т.д. Это поможет следствию понять говорит человек правду, врет или что-то недоговаривает.
В сфере маркетинга такие системы могут быть использованы с целью оценки качества обслуживания, анализа поведения персонала, эффективности промоакций и т.д. Механизм распознавания эмоций позволяет не только лучше понимать поведение людей, но и предсказывать их действия в процессе покупок или при просмотре рекламных предложений.
В медицине также возможно применение приложений, которые анализируют по фотоизображениям лица психоэмоциональное состояние человека для дальнейшего прогнозирования лечения. Программа сможет оценить степень усталости, определить отклонения от нормы и заболевания (например, болезнь Паркинсона или Альцгеймера).
Использование алгоритмов распознавания эмоций в образовании также доказало свою эффективность. Наблюдается улучшение качества дистанционного обучения, дисциплины студентов в процессе обучения, во время прохождения тестирования или экзаменов. Во время изучения материалов дисциплины лицо студентов можно снимать с помощью веб-камеры, а затем анализировать с помощью системы распознавания эмоций. Используя полученные данные, программа сможет модифицировать стратегию обучения, предоставить возможность обратной связи для преподавателей. Таким образом, определять, какие части урока трудны для восприятия, можно просто просмотрев статистику реакции студента. В перспективе подобные системы распознавания помогут преодолеть такие недостатки дистанционного обучения как отсутствие индивидуального подхода к студенту или обратной связи между студентом и преподавателем.
Рассмотрим базовые понятия, лежащие в основе методов распознавания эмоций. Эмоции служат для решения определенных жизненных трудностей, сложных ситуаций. Каждая эмоция готовит человека к какому-то конкретному событию. Это событие может происходить как с внешним объектом, так и с самим человеком. В работе [5] предложено описывать эмоции используя набор бинарных признаков, отвечающих за знак (позитивная или негативная), время возникновения (предвосхищающая или констатирующая), направление (направлена на себя или на другого) и источник происхождения эмоции. В качестве базовых эмоций выделяют горе, радость, страх, надежду, гнев, удовлетворение, интерес, пренебрежение. На основании выделенных базовых эмоций можно получить новые эмоции в виде выпуклой комбинации двух эмоций.
В работах [6,7] рассмотрены некоторые положения процесса распознавания эмоций на мимических изображениях. Подробно рассмотрен этап нахождения основных фрагментов лица (нос, брови, глаза, губы), процесс преобразования фотографических изображений с определенными эмоциональными состояниями в векторы значений, содержащих координаты контуров основных фрагментов лица. Полученные контуры фрагментов лица служат основой для дальнейшего анализа и синтеза эмоций на изображении.
Таким образом, алгоритм автоматического распознавания эмоций в общем виде состоит из следующих этапов: предварительная обработка изображения (включает в себя удаление шумов, геометрические и цветовые преобразования), поиск лица на изображении, выделение наиболее важных частей лица (нос, брови, глаза, губы и щеки), построение контурной модели (построение сплайн кривых), классификация эмоций.