=Paper=
{{Paper
|id=Vol-2866/ceur_173-181_barmak17
|storemode=property
|title=Розпізнавання емоційних проявів за групуванням скупченостей характерних мімічних станів обличчя людини
Recognition of Emotional Expressions Using the Grouping Crowdings of Characteristic Mimic States
|pdfUrl=https://ceur-ws.org/Vol-2866/ceur_173-181_barmak17.pdf
|volume=Vol-2866
|authors=Olexander Barmak,Eduard Manziuk,Oleg Kalyta,Iurii Krak,Vladislav Kuznetsov,Anatoly Kulias
|dblpUrl=https://dblp.org/rec/conf/ukrprog/BarmakMKKKK20
}}
==Розпізнавання емоційних проявів за групуванням скупченостей характерних мімічних станів обличчя людини
Recognition of Emotional Expressions Using the Grouping Crowdings of Characteristic Mimic States==
https://ceur-ws.org/Vol-2866/ceur_173-181_barmak17.pdf
УДК 004.912
РОЗПІЗНАВАННЯ ЕМОЦІЙНИХ ПРОЯВІВ
ЗА ГРУПУВАННЯМ СКУПЧЕНОСТЕЙ
ХАРАКТЕРНИХ МІМІЧНИХ СТАНІВ ОБЛИЧЧЯ ЛЮДИНИ
О.В. Бармак a[0000-0003-0739-9678], Е.А. Манзюк a[0000-0002-7310-2126], О.Д. Калита a[0000-0003-1868-8803],
Ю.В. Крак b[0000-0002-8043-0785], В.О. Кузнєцов c[0000-0002-1068-769X], А.І. Куляс c[0000-0003-3715-1454]
a
Хмельницький національний університет МОН України, 29016, Хмельницький, вул. Інститутська, 11.
b
Київський національний університет імені Тараса Шевченка, 01601, Київ, вул. Володимирська, 60.
c
Інститут кібернетики імені В.М. Глушкова НАН України, 03187, проспект Глушкова, 40.
Характерні форми мімічних проявів емоційних станів людини є типовими з доволі значною мірою узагальнення на
підставі спільних фізіологічних структур та розташування м’язів, які формують людське обличчя. Ця обставина є однією з
основних причин спільності проявів людиною емоцій, які знаходять своє відображення на обличчі. За характером та
формою мімічних проявів на обличчі з високою ймовірністю можна визначати емоційний стан людини з певним
корегуванням зі сторони культурологічних особливостей та традицій певних груп. У відповідності до існування загальних
мімічних форм емоційних проявів запропоновано підхід до створення моделі розпізнавання емоційних проявів на обличчі
людини з відносно низькими вимогами до засобів фото, відео-фіксації та належною швидкодією у відео потоці. В основу
створення моделі покладена реалізація гіперплощинної класифікації мімічних проявів основних емоційних станів. Однією
з головних переваг запропонованого підходу є невелика обчислювальна складність, що дає змогу реалізувати систему
розпізнавання змін емоційного стану людини за мімічними проявами без використання спеціалізованого обладнання (для
відео-камер з низькою роздільною здатністю або на великій відстані). Крім того модель, сформована на базі
запропонованого підходу, дозволяє отримувати належну точність розпізнавання з невисокими вимогами до якісних
характеристик зображення, що дозволяє в значній мірі розширити сферу практичного застосування. Одним із прикладів
практичного застосування є контроль за водієм під час керування транспортом, оператором складного виробництва та
інші автоматичні системи візуального спостереження. Множина детектованих емоційних станів формується у
відповідності до поставлених задач та дає можливість фокусуватись на розпізнанні мімічних форм та групувати
характерні структурні прояви базуючись на множині розмежованих характерних ознак.
Ключові слова: розпізнавання емоції за мімічними проявами, гіперплощина класифікація, спрощена модель класифікації.
Характерные формы мимических проявлений эмоциональных состояний человека являются типичными с довольно
значительной степенью обобщения на основании общих физиологических структур и расположения мышц,
формирующих человеческое лицо. Это обстоятельство является одной из основных причин общности проявлений
человеком эмоций, которые находят свое отражение на лице. По характеру и форме мимических проявлений на лице с
высокой вероятностью можно определять эмоциональное состояние человека с определенной корректировкой со
стороны культурологических особенностей и традиций определенных групп. В соответствии с существованием общих
мимических форм эмоциональных проявлений предложен подход к созданию модели распознавания эмоциональных
проявлений на лице человека с относительно низкими требованиями к средствам фото, видео-фиксации и приемлемым
быстродействием в видеопотоке. В основу создания модели положена реализация гиперплоскостной классификации
мимических проявлений основных эмоциональных состояний. Одним из главных преимуществ предложенного
подхода есть небольшая вычислительная сложность, что позволяет реализовать систему распознавания изменений
эмоционального состояния человека с мимическими проявлениями без использования специализированного
оборудования (видеокамер с низким разрешением или на большом расстоянии). Кроме того, модель, сформированная
на базе предложенного подхода, позволяет получать надлежащую точность распознавания с невысокими требованиями
к качественным характеристикам изображения, что позволяет в значительной степени расширить сферу практического
применения. Одним из примеров практического применения является контроль за водителем во время управления
транспортом, оператором сложного производства и другие автоматические системы визуального наблюдения.
Множество детектированных эмоциональных состояний формируется в соответствии с поставленными задачами и
дает возможность фокусироваться на распознании мимических форм и группировать характерные структурные
проявления основываясь на множестве разделенных характерных признаков.
Ключевые слова: распознавание эмоции по мимическим проявлениям, гиперплоскостная классификация, упрощенная
модель классификации.
The characteristic forms of facial expressions of the emotional states of a person are typical of a rather large degree of
generalization on the basis of common physiological structures and the location of the muscles that form the human face. This
circumstance is one of the main reasons for the commonality of human manifestations of emotions that are reflected in the face. By
the nature and form of facial expressions on the face with high probability, it is possible to determine the emotional state of a
person with some correction on the part of the cultural characteristics and traditions of certain groups. In accordance with the
existence of common mimic forms of emotional manifestations, an approach is proposed to create a model of recognition of
emotional manifestations on the face of a person with relatively low requirements for the means of photo, video fixation and
acceptable speed in the video stream. The creation of the model is based on the implementation of the hyperplane classification of
mimic manifestations of major emotional states. One of the main advantages of the proposed approach is the small computational
complexity that allows realizing the recognition of the changes in people’s emotional state without any special equipment (for low
resolution or long distance video cameras). In addition, the model developed on the basis of the proposed approach allows
Copyright © 2020 for this paper by its authors. Use permitted under Creative 174
Commons License Attribution 4.0 International (CC BY 4.0).
obtaining proper recognition accuracy with low requirements for quality image characteristics, which allows extending the scope of
practical application to a great extent. One example of practical application is control over the drivers in the process of driving the
vehicle, complex production operators, and other automated visual surveillance systems. The set of detected emotional states is
formed in accordance with the set tasks and gives the opportunity to focus on the recognition of mimic forms and group
characteristic structural manifestations based on the set of distinguished characteristic features. Thus, this article proposes a system
for constructing a model for recognizing emotions on a person's face by characteristic facial expressions. A comparative analysis of
the FACS system and the model proposed by the authors based on the determination and selection of influential features makes it
possible to realize the recognition of emotional manifestations on a person's face without reducing quality indicators. Also, this
approach allows you to determine the set of necessary emotional states and form the necessary set of signs that create emotional
manifestation and are determined by the corresponding parameters of resolving emotions by mimic forms. The limitation of the
number of structural features of mimic forms has shown its effectiveness due to the fact that significant features are determined,
which together create the conditions for a good separation of these groups. A decrease in the number of structural features makes it
possible to improve the separation of groups of emotional states by eliminating features that are not typical manifestations.
Improving the separation of groups of characteristic states of features allows you to reduce the requirements for the qualitative
characteristics of data for analysis and to allow the presence of certain ambiguities when determining the objects of analysis on
photo and video data. Testing the developed model according to the quality criteria of the results indicated the possibility of using
the data obtained by conventional fixation means, which significantly expands the scope of practical application due to low
requirements for equipment. The developed approach to creating a model is based on the use of a hyperplane classification,
according to which hyperplanes are determined, the division of groups of features according to the values of their manifestations
directly on the set of these features. This circumstance makes it possible to significantly reduce the computational complexity at the
stage of using the model and using the appropriate computing equipmentKey words: facial expressions emotion recognition,
hyperplane classification, a simplified classification model.
Вступ та постановка задачі
Природним проявом емоційного стану людини є її вираз обличчя. Це має і зворотну залежність, згідно
якої, за виразом обличчя людини, можна, з високою ймовірністю, описати її внутрішній емоційний стан.
Поряд з цим вираз обличчя є невід’ємною частиною “емоційного спілкування”. Так спілкування людей
супроводжується певним виразом обличчя та говорить про відношення людини до співрозмовника і формує
емоційне забарвлення розмови. При цьому слід зазначити, що культуро-етнічні відмінності у співставленні
емоційного стану людини та виразу обличчя різняться з значно меншим чином, ніж, наприклад мовні.
Характерні зовнішні мімічні прояви емоцій практично є загальними та проявляють деякі незначні
відмінності, які виявляються тільки в аспекті емоційного забарвлення. Певна відмінність є також у мірі
прояву емоцій на обличчі, що проявляється в мистецтві, як приклад – театральна діяльність, та культурними
традиціями певної групи, як приклад – традиції говорять про небажаність проявів емоції та пропагують
емоційну стриманість, або “кам’яні” обличчя. Отже, мімічні прояви емоційного стану людини є практично
однаковими для усієї сукупності людей, особливо в головних характерних формах, та є невід’ємною
частиною спілкування і однією із головних форм візуальних проявів емоцій людини. Базуючись на
цьому шведський вчений Карл-Герман Йортшьо (C.-H. Hjortsjö) (1969 р.) розробив систему класифікації
емоцій відповідно до виразу обличчя [1]. Це є однією з перших робіт у встановленні характерних мімічних
форм. Подальший розвиток ці дослідження набули в роботі Екмана і Фрейзена (Ekman P., Friesen W.V.)
(1978 р.), що розширили систему класифікації [2] та, після проведення серії глибоких досліджень, в значній
мірі розширили спектр емоційних проявів [3] (2002 р). Емоційний прояв характеризується не тільки
статичною формою обличчя, якою показують найбільш характерну форму прояву емоції та в її найбільш
вираженій формі. Природним є те, що людський емоційний стан людини є динамічним та характеризується
змінами фаз екстремальних проявів у межах однієї емоції і загальною зміною послідовних емоційних станів.
Тому Екман і Фрейзен запропонували фіксувати прояв емоційного стану шляхом кодування рухів м’язів
обличчя. Цей підхід є найбільш близьким до природного прояву людиною емоційного стану в динамічній
формі та набув широкого розповсюдження у різноманітних сферах, зокрема, психології та анімації. Взявши
за основу системний підхід щодо зовнішніх проявів емоційного стану розроблено автоматизовану систему
Facial Action Coding System (FACS), яка ідентифікує обличчя на відео, знаходить необхідні ознаки та
класифікує емоції [4].
Базуючись на системі FACS можна закодувати та описати практично будь-яку емоцію використовуючи
так звані action-units (AU), тобто певні структурні елементи формування емоції. Цим структурним елементам
можна поставити у відповідність такий динамічний прояв фізіології складових людського обличчя як
напруження або розслаблення одного чи декількох м’язів на обличчі. Значна кількість досліджень, була
присвячена методам виділення на обличчі людини тих областей, де прояв емоцій є найбільш суттєвим, і на яких
можна алгоритмічно виділити характеристичні ознаки цих проявів [5–9]. Тоді, шляхом групування сумісних
рухів м’язових структур, можна виділити основні ділянки обличчя, зміни яких формують міміку, тобто
характерні прояви які прямо відображають емоційний стан [10]. З певною мірою узагальнення можна виділити
найбільш впливові на мімічні прояви ділянки обличчя з бровами, очами та ротом. Групуючи структурні
складові мімічних проявів можна сформувати множину якісних характеристик зміщень точок або груп точок,
які наведені у табл. 1. Точки визначаються по обличчю (за фото чи відео-матеріалами) та відповідають зонам
знаходження м’язових структур обличчя, які найбільш характерно впливають на формування міміки емоцій у
межах дослідження.
Таблиця 1. Якісні характеристики ділянок обличчя
175
Емоції Брови Очі Губи
Гнів опущені без змін стиснуті
Горе без змін опущені верхні повіки Опущені кутики
Задоволення без змін злегка опущені верхні повіки Без змін
Страх сильно підняті підняті верхні повіки підняті кутики губ
Радість без змін підняті зовнішні кутики очей злегка підняті кутики губ
Мета роботи – проведення досліджень у напрямку розробки інформаційного підходу щодо
формування моделі подання мімічних структур у вигляді роздільних множин як характерних скупченостей,
які у своєму поєднанні утворюють зовнішнє подання характерних емоційних станів, тобто за допомогою
детектування сукупностей зовнішніх станів реалізують систему розпізнавання емоційних проявів на обличчі.
Розробка моделі базується на запропонованій авторами гіперплощинній класифікації [11, 12], яка реалізована
для розпізнавання мімічних проявів основних емоційних станів. Основна перевага запропонованого підходу
– це незначна обчислювальна складність, що дозволяє реалізувати розпізнавання змін емоційного стану
людини за мімічними проявами без використання спеціалізованого обладнання (для відео-камер з низькою
роздільною здатністю або на великій відстані). Можливими сферами застосування такої системи – це
контроль за емоційним станом водія під час керування транспортом, оператора складного виробництва,
працівника спеціальних служб тощо.
Синтез моделі
Виходячи з потреби ідентифікації мімічних проявів засобами звичайних камер із невисокою роздільною
здатністю, або на великій відстані та за результатами з табл. 1 введено наступну градацію для ознак, які
розташовані на ділянках обличчя:
очі: {розплющені, примружені, нормальні};
губи: {розтягнуті, зжаті, нормальні};
брови: {підняті, опущені, нормальні}.
За наведеною градацією, отримані у дослідженні мімічні прояви емоцій подаються наступним чином: у
табл. 2 наведене подання мімічних проявів у розрізі емоційних станів, що слугуватиме основою для наступного
синтезу моделі за якою буде проводитися ідентифікація. Визначені емпіричним шляхом ознаки формально
подано наступним чином: x1 – ознака міміки ділянки обличчя з очами; x2 – ознака міміки ділянки обличчя з
губами; x3 – ознака міміки ділянки обличчя з бровами.
Дані ознаки нормовані на інтервал 0,1 , x1, x2 , x3 0,1 , причому для кожної з них виділені
підінтервали де емоції проявляються найбільше: x1 0, 0.2 – для примружених очей; x1 0.4, 0.6 – для
нормальних очей; x1 0.8,1 – для розплющених очей; x2 0, 0.2 – для зжатих губ; x2 0.4, 0.6 – для
нормальних губ; x2 0.8,1 – для розтягнутих губ; x3 0, 0.2 – для опущених брів; x3 0.4, 0.6 – для
нормальних брів; x3 0.8,1 – для піднятих брів. Існуючі у запропонованій синтетичній моделі проміжки, що
не використовуються ( 0.2, 0.4 , 0.6, 0.8 ) служать для моделювання хорошої роздільності між різними
емоційними станами при їх класифікації.
Таблиця 2. Подання мімічних проявів емоцій якісними характеристиками
Радість Горе Страх Гнів Задоволення
очі нормальні нормальні розплющені примружені нормальні
губи розтягнуті зжаті нормальні нормальні розтягнуті
брови підняті опущені підняті опущені опущені
Класифікація за допомогою гіперплощин
У результаті будуть сформовані сукупності характерних ознак для визначення відповідних емоційних
станів. Мімічні прояви природно мають граничні стани і водночас характеризуються типовою сукупністю ознак
зовнішніх проявів цих станів. Відповідно до цього і було емпірично визначено межі проявів ознак. Однак слід
Copyright © 2020 for this paper by its authors. Use permitted under Creative 176
Commons License Attribution 4.0 International (CC BY 4.0).
зазначити, що існує природний розподіл і вказані межі відповідають найбільш типовим проявам. Для
визначення форм групування станів як відображення сукупності ознак застосуємо підхід запропонований у
роботах [11, 12]. Підхід дозволяє використати методи візуалізації даних для наочного відображення
характерних форм групування даних. Ці груповані дані і визначають класи емоційних проявів. Важливим
аспектом є можливість встановлення границь розділення класів, у нашому випадку, емоційних станів.
Розташування границь може корегуватися в залежності від якості та кількості даних. Така форма адаптації
дозволяє більш гнучко застосовувати технологію розпізнавання мімічних проявів емоцій та адаптувати її до
корпусу даних. Хоча мімічні прояви в силу фізіологічних особливостей є типовими проявами емоцій, однак
границі розділення даних необхідно корегувати для точного розмежування класів емоцій. Таке корегування
можливо реалізувати за допомогою гіперплощинної класифікації. Адаптуємо застосування запропонованої
технології розділення у гіперпросторі до розпізнавання емоційних проявів.
Вхідні дані, а саме їх ознаки необхідно трансформувати наступним чином:
1) зниження багатовимірного простору ознак до двовимірного (при невеликій кількості ознак
мінімізується втрата інформативності даних при пониженні розмірності);
2) візуальне подання даних у двовимірному просторі із застосування програмних інструментів;
3) побудова границь розділення класів групованих даних;
4) встановлення відповідностей груп даних мімічним емоційним станам;
5) відображення границь класів емоційних станів у вихідному просторі ознак у вигляді гіперплощин;
6) встановлення просторових гіпероб’ємів обмежених гіперплощинами з даними, що належать цим
гіперкубам;
7) побудова правил визначення приналежності нового елемента даних до певного класу як
знаходження його просторового положення відносно гіперплощин.
Для пониження розмірності простору ознак використовуються методи багатомірного шкалювання
(multidimensional scaling – MDS) [13–16]. За розмірну характеристику приймається відносне розтушування
об’єктів один відносно іншого за сукупністю ознак. Міра віддалення об’єкті використовується як міра
відмінності.
Вихідні дані подаються у вигляді матриці «об’єкт-ознака» та визначається відстань між i -м і j -м
об’єктом, яку позначимо ij d X i , X j . Положення об’єктів у багатовимірному просторі визначається таким
чином X i xi1 , xi 2 ,..., xin , i 1...n . Розмірність простору встановлюємо відповідно до кількості вибраних
нами характеристик емоційних проявів мімічного характеру.
Застосуємо Евклідову метрику для обрахунку відстаней між об’єктами:
0.5
n 2
d X i , X j xik x jk . (1)
k 1
При шкалюванні простору, особливо високої розмірності, можливе спотворення та втрата
інформативності даних. Для мінімізації цього впливу використаємо таку міру якості відображення як стрес, та
запишемо її у вигляді функції найменших квадратів:
,
2
wij d Yi , Y j ij (2)
i j
де wij – невід’ємні вагові коефіцієнти.
Такий запис дозволяє відобразити мінімізацію відмінності відстаней між даними в пониженому та
вихідному просторах. Оскільки забезпечити мінімізацію цієї функції у загальному випадку досить складно,
скористаємось наближеним методом заміни вихідної функції більш простою та керованою мажорантною
функцією. Це реалізується на базі ітеративного використання алгоритму SMACOF [17], де забезпечується
мінімізація функції втрат при понижені простору.
Для забезпечення оптимізації та ефективності пониження простору використаємо наступні етапи.
Спочатку сформуємо матрицю попарних відстаней вхідних даних. Далі необхідно сформувати матрицю
загальних відстаней між об’єктами. Для отриманої матриці з метою оптимального відображення даних
відносного розташування необхідно провести подвійне центрування. В цьому випадку візуальне відображення
буде оптимально відцентроване по відношенню до даних. Визначаються власні значення та власні вектори
матриці. Наступним кроком є оптимізація розташування положення даних із застосування мажорантної
функції. За мету ставиться отримання даних з координатами, які можна відобразити на площині тобто у
двовимірному просторі. Отримані дані будуть мати дві узагальнені координати.
Для того щоб отримати модель розпізнавання емоційних проявів використовуємо навчальну вибірку, де
дані вже попередньо розмічені. Таким чином, на візуальній площині маємо певне групування даних та можна
встановити за якими емоційними проявами ці дані групуються. Найбільш важливим аспектом є можливість
розділити ці групи даних. Чим краще вони роздільні і чим між цими групами є більша відстань, тим більший
177
допуск можемо дати на розсіювання значень ознак. Таким чином важлива роздільність даних за сукупністю
ознак. Перевагою застосування візуалізації є можливість провести ефективний аналіз даних на роздільність,
наявність викидів, та формування границь класів з ефективними допусками за розсіюванням ознак. У
відповідності до групування даних встановлюємо класи та графічно проводимо границі цих класів.
Границі класів визначаються використовуючи кусково-лінійні розділювачі. Використання
дискримінантної лінійної функції обумовлено необхідністю вирішення завдання проекції в початковий простір
ознак.
T
Лінійний класифікатор d x визначається d x W x wn , де x x0 , x1 ,..., xn1 – вектор ознак, який
T
визначає образ об’єкту класифікації; W w0 , w1 ,..., wn1
T
– вектор вагових коефіцієнтів класифікатора; wn –
порогове значення.
Належність до класу визначається розташуванням об’єкту відносно ліній класу. Кусково-лінійний підхід
з формування границі класу дозволяє утворити будь-яку форму шляхом комбінації лінійних елементів. Якщо
просторова конфігурація групи об’єктів складна, кількість лінійних елементів границі збільшується. Однак це
не порушує загального підходу використання лінійного розділювача. Таким чином є можливість сформувати
загальну нелінійність границі класу застосовуючи локальну лінійну роздільність із обмеження самої
локалізації. Локалізація лінійного розмежовування визначається методами візуального аналізу, що і є
перевагою застосування запропонованого підходу.
Далі, відповідно, лінійні елементи границь проектуються у вихідний простір та утворюють у ньому
гіперплощини. У гіперпросторі гіперплощини перетинаються та формують гіперкуби. Саме ці гіперкуби є
просторовими об’ємами класів.
Для того щоб визначити належність нового об’єкту до класу немає необхідності знаходження перетинів
площин. Важливим є утворення границь у двовимірному візуальному просторі та відповідних їм елементів
гіперплощин у вихідному просторі. У двовимірному просторі визначається границя класу, тобто певний контур.
Новий об’єкт по відношенню до цього контуру розташовується, так як і усі інші елементи цього класу. Таким
чином можна сформувати правила відношення до класу, правила встановлення розташування об’єктів класу
щодо кусково-лінійного контуру границі класу. Встановлення розташування об’єктів класу по відношенню до
границь класу відбувається у відповідності з правилами дерева рішень. Застосування дерева рішень дозволяє
забезпечити швидкий процес класифікації за отриманою моделлю.
Застосування візуального аналізу визначення границь групованих об’єктів є ключовим елементом
формування моделі класифікації. Використання кусково-лінійних контурів границь класів дозволяє сформувати
дискримінанті розділювачі досить складної нелінійної залежності. Візуальне визначення границь також дає
можливість оптимізувати обчислення при формуванні моделі мінімізуючи кількість лінійних елементів та
залежить від досвіду та кваліфікації аналітика. При необхідності як межі класів так і кількість лінійних
елементів може бути змінена. Найбільш оптимальним є забезпечення мінімально необхідними границями
класів.
Ключовим елементом застосування запропонованого підходу є участь аналітика у процесі навчання
моделі класифікації. Аналітик, застосовуючи необхідний інструментарій визначає границі класів, базуючись на
візуалізованих даних. Надалі навчена система розпізнавання емоцій працює самостійно і є повністю
автоматичною.
Навчена модель класифікації даних є деревом рішень розташування об’єктів даних відносно границь
класів. За цими правилами і визначається положення нового об’єкта у просторі ознак відносно границь класів,
а, відповідно і класифікується новий об’єкт.
Аналіз моделі за еталонними зображеннями мімічних проявів емоційних станів
Валідність запропонованої моделі пропонується перевірити на даних отриманих у дослідженні [18].
За зображеннями відповідних емоцій із наведеного дослідження, згідно табл. 2, сформовані ознаки
x1 , x2 , x3 за відповідними проміжками. Генеровані вхідні дані візуалізовано у двовимірному просторі за
запропонованим підходом (рисунок).
Copyright © 2020 for this paper by its authors. Use permitted under Creative 178
Commons License Attribution 4.0 International (CC BY 4.0).
Рисунок. Візуалізація емоційних станів та кусково-лінійні роздільники класів
Як видно з рисунка, синтезовані дані згруповані за емоціями, що підтверджує спроможність
запропонованої моделі використовуватись для класифікації емоційних станів.
Слідуючи крокам запропонованого підходу, побудовані кусково-лінійні роздільники для класів, що
відповідають емоційним станам.
Далі, згідно запропонованому підходу, отримано параметри гіперплощин. За допомогою отриманих
параметрів гіперплощин побудовано дерево рішень для гіперплощинної класифікації мімічних проявів
емоційних станів.
Як можна бачити на рисунку, класи емоцій «Злість» та «Горе» можна візуально розділити на 2 групи
кожний. Для емоції «Горе» це пояснюється тим, що у частини респондентів на фото повіки примружені
( x1 0, 0.2 ), а у іншої частини повіки у нормальному стані ( x1 0.4, 0.6 ). Для емоції «Злість», у частини
респондентів на фото повіки примружені x1 0, 0.2 , а у іншої частини – розширені ( x1 0.8,1 ).
Порівняння FACS та запропонованої спрощеної моделі
Система FACS [4] налічує 100 одиниць дії які пронумеровані AUI, I=1,…, 100, та характеризує ступінь
вираження зміни стану м’язів за 5-ма рівнями: A. Мінімальний, B. Незначний, C. Явний, D. Сильний або
екстремальний, E. Максимальний.
Наприклад, емоція «Happiness» характеризується AU6 та AU12, емоція «Sadness» – AU1, AU4 та AU15,
емоція «Fear» – AU1, AU2, AU4, AU5, AU7, AU20 та AU26.
У запропонованій моделі емоції визначаються простіше ніж у даній системі [4]. Для порівняння взято
наступні емоції:
1) мімічний прояв емоції «Злість» по FACS визначається як:
- брови опущені (AU4);
- повіки верхні припідняті (AU5);
- повіки нижні припідняті (AU7);
- губи зжаті (AU23).
В запропонованій авторами моделі «Злість» характеризують:
- очі примружені (повіка верхня опущена і повіка нижня припіднята );
- брови опущені;
- губи зжаті.
179
2) мімічний прояв емоції «Горе» по FACS визначається як:
- внутрішні частини брів підняті (AU1);
- (AU4);
- кутики губ опущені (AU15).
В запропонованій моделі «Горе» визначається як:
- нормальний стан верхньої та нижньої повік;
- брови опущені;
- губи зжаті.
3) мімічний прояв емоції «Страх» по FACS визначається як:
- (AU1);
- зовнішні частини брів підняті (AU2);
- (AU4);
- (AU5);
- (AU7);
- губи натягнуті (AU20);
- опущена щелепа (AU26).
Запропонована модель визначає «Страх» як:
- повіки верхні опущені та повіки нижні припідняті;
- брови підняті;
- стан губ нормальний.
4) мімічний прояв емоції «Радість» по FACS визначається як:
- щоки підняті (AU6);
- кутики губ розтягнуті (AU12).
Спрощена модель визначає «Радість» як:
- повіки верхні опущені та повіки нижні припідняті;
- брови у нормальном стані;
- губи розтягнуті.
Відзначимо, що у запропонованій моделі не відслідковується опущення щелепи та кутиків губ. Також
система FACS розглядає послідовність мімічних проявів, які у деяких ситуаціях протилежні, як, наприклад, при
страху (підняття брів а потім їх опускання), що свідчить про надлишковість ознак та призводить до значної
неоднозначності при розпізнаванні. Пропонована модель відслідковує тільки один мімічний прояв (підняті
брови), що найбільш характерно для даної емоції і дозволяє ефективно виділити (розпізнати) цю емоцію.
Висновки
Запропонована система побудови моделі розпізнавання емоцій на обличчі людини за характерними
мімічними проявами дозволила визначити ряд переваг, які експериментально підтверджуються на
спроектованому та реалізованому програмному забезпеченні.
1. Порівняльний аналіз системи FACS та запропонованої авторами моделі на базі визначення та вибору
впливових ознак дає можливість реалізувати розпізнавання емоційних проявів на обличчі людини без зниження
якісних результативних показників.
2. Запропонований підхід дозволяє визначати сукупність необхідним емоційних станів та сформувати
необхідну множину характерних ознак, які створюють емоційний прояв та характеризуються належними
параметрами роздільності емоцій за мімічними формами.
3. Обмеження кількості структурних ознак мімічних форм показало свою ефективність внаслідок того
що визначаються значимі ознаки, які в сукупності створюють умови хорошого розділення цих груп і, таким
чином, розділення емоційних станів.
4. Зменшення кількості структурних ознак дозволяє покращити роздільність груп емоційних станів
шляхом виключення ознак, які не є характерними проявами а їх наявність підвищує неоднозначність
детектування станів, тим самим погіршуючи очікуваний результат.
5. Покращення розмежування груп характерних станів ознак, тобто збільшення відстаней їх відносного
розташування дозволяє зменшити вимоги до якісних характеристик даних для аналізу та допускати наявність
певних неоднозначностей при визначенні об’єктів аналізу на фото та відео-даних.
Copyright © 2020 for this paper by its authors. Use permitted under Creative 180
Commons License Attribution 4.0 International (CC BY 4.0).
6. Тестування розробленої моделі за критеріями якості результатів вказало на можливість використання
даних, отриманих звичайними засобами фіксації (камерами телефонів, web-камерами), що значно розширює
сферу практичного застосування завдяки невисоким вимогам до обладнання.
7. Розроблений підхід створення моделі базується на застосуванні гіперплощинної класифікації, згідно
якої визначаються гіперплощини розмежовування груп ознак за величинами їх проявів безпосередньо на
множині цих ознак. Ця обставина дозволяє в значній мірі знизити обчислювальну складність на етапі
використання моделі та використання відповідного обчислювального обладнання.
Подальші дослідження направлені на виявлення на зображенні обличчя, отриманого з відеокамер з
низькою роздільною здатністю або на великій відстані, параметрів моделі у потрібному форматі та створення
відповідних інформаційних систем.
Література
1. Hjortsjö C.H. Man's Face and Mimic Language, Studentlitteratur. Lund, Sweden, 1970.
2. Ekman P., Friesen W.V. Manual for the Facial Action Code. Palo Alto, CA: Consulting Psychologist Press. 1978.
3. Ekman P., Friesen W.V., Hager J.C. The Facial Action Coding System. Salt Lake City, UT Research Nexus eBook. 2002.
4. Hamm J., Kohler C.G., Gur R.C., Verma R. Automated Facial Action Coding System for dynamic analysis of facial expressions in
neuropsychiatric disorders. Journal of Neuroscience Methods. Philadelphia, USA. 2011.
5. Brunelli R., Poggio T. Face recognition: features versus templates. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1993.
15(10). P. 1042–1052.
6. Kryvonos I.G., Krak I.V. Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information.
Cybernetics and Systems Analysis. 2011. 47. P. 501–505.
7. Krak Yu.V., Barmak A.V., Baraban E.M. Usage of NURBS-approximation for construction of spatial model of human face. Journal of
Automation and Information Sciences. 2011. Vol. 43(2). P. 71–81.
8. Martinez A., Du S. A model of perception of facial expressions of emotion by human: research overview and perspectives. Journal of Machine
Learning Research. 2012. 13. P. 1589–1608.
9. Kryvonos I.G., Krak I.V., Barmak O.V., Ternov A.S., Kuznetsov V.O. Information Technology for the Analysis of Mimic Expressions of
Human Emotional States. Cybernetics and Systems Analysis. 2015. 51. P. 25–33.
10. Бармак О.В., Калита О.Д., Гащук Т.О., Скрипник Т.К. Інформаційна технологія визначення критеріїв ділянок обличчя, що
відтворюють емоційну міміку. Вісник Хмельницького національного університету. Сер.: Технічні науки. Хмельницький. 2018.
№ 6(2). С. 130–134.
11. Barmak A.V., Krak Y.V., Manziuk E.A., Kasianiuk V.S. Information technologyof separating hyperplanes synthesis for linear classifiers.
Journal of Automation and Information Sciences. 2019. 51(5). P. 54–64.
12. Krak I., Barmak O., Manziuk E. Using visual analytics to develop human and machine centric models: A review of approaches and proposed
information technology. Computational Intelligence. 2020. 1– 26. https://doi.org/10.1111/coin.12289.
13. Cox T.F., Cox M.A.A. Multidimensional scaling, 2nd edn. Chapman and Hall / CRC, Boca Raton, 2001.
14. Krak I.V., Kudin G.I., Kulyas A.I. Multidimensional Scaling by Means of Pseudoinverse Operations. Cybernetics and Systems Analysis. 2019.
55(1). P. 22–29.
15. Barmak A.V., Krak Yu.V., Manziuk E.A., Kasianiuk V.S. Definition of information core for documents classification. Journal of Automation
and Information Sciences. 2018. Vol. 50(4). P. 25–34.
16. Maaten van der L.J.P., Postma E.O., Herik van den H.J. Dimensionality reduction: a comparative review. Technical report TiCC-TR 2009-005.
Tilburg University 2009.
17. Leeuw de J., Mair P. Multidimensional scaling using majorization: SMACOF in R. Journal of Statistical Software. 2009. Vol. 31. Issue 3.
P. 1–30.
18. Wingenbach TSH, Ashwin C, Brosnan M Correction: Validation of the Amsterdam Dynamic Facial Expression Set – Bath Intensity Variations
(ADFES-BIV): A Set of Videos Expressing Low, Intermediate, and High Intensity Emotions. PLOS ONE 11(12): e0168891. 2016.
https://doi.org/10.1371/journal.pone.0168891
References
1. Hjortsjö C.H. Man's Face and Mimic Language, Studentlitteratur. Lund, Sweden, 1970.
2. Ekman P., Friesen W.V. Manual for the Facial Action Code. Palo Alto, CA: Consulting Psychologist Press. 1978.
3. Ekman P., Friesen W.V., Hager J.C. The Facial Action Coding System. Salt Lake City, UT Research Nexus eBook. 2002.
4. Hamm J., Kohler C.G., Gur R.C., Verma R. Automated Facial Action Coding System for dynamic analysis of facial expressions in
neuropsychiatric disorders. Journal of Neuroscience Methods. Philadelphia, USA. 2011.
5. Brunelli R., Poggio T. Face recognition: features versus templates. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1993.
15(10). P. 1042–1052.
6. Kryvonos I.G., Krak I.V. Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information.
Cybernetics and Systems Analysis. 2011. 47. P. 501–505.
7. Krak Yu.V., Barmak A.V., Baraban E.M. Usage of NURBS-approximation for construction of spatial model of human face. Journal of
Automation and Information Sciences. 2011. Vol. 43(2). P. 71–81.
8. Martinez A., Du S. A model of perception of facial expressions of emotion by human: research overview and perspectives. Journal of Machine
Learning Research. 2012. 13. P. 1589–1608.
9. Kryvonos I.G., Krak I.V., Barmak O.V., Ternov A.S., Kuznetsov V.O. Information Technology for the Analysis of Mimic Expressions of
Human Emotional States. Cybernetics and Systems Analysis. 2015. 51. P. 25–33.
10. Barmak O.V., Kalyta O.D., Hashchuk T.O. Skrypnyk T.K. Information technology for determining the criteria of facial areas that reproduce
emotional facial expressions. Herald of Khmelnytskyi national university. Technical Sciences, Issue 6, 2018 (2). p. 130-134.
181
11. Barmak A.V., Krak Y.V., Manziuk E.A., Kasianiuk V.S. Information technologyof separating hyperplanes synthesis for linear classifiers.
Journal of Automation and Information Sciences. 2019. 51(5). P. 54–64.
12. Krak I., Barmak O., Manziuk E. Using visual analytics to develop human and machine centric models: A review of approaches and proposed
information technology. Computational Intelligence. 2020. 1– 26. https://doi.org/10.1111/coin.12289.
13. Cox T.F., Cox M.A.A. Multidimensional scaling, 2nd edn. Chapman and Hall / CRC, Boca Raton, 2001.
14. Krak I.V., Kudin G.I., Kulyas A.I. Multidimensional Scaling by Means of Pseudoinverse Operations. Cybernetics and Systems Analysis. 2019.
55(1). P. 22–29.
15. Barmak A.V., Krak Yu.V., Manziuk E.A., Kasianiuk V.S. Definition of information core for documents classification. Journal of Automation
and Information Sciences. 2018. Vol. 50(4). P. 25–34.
16. Maaten van der L.J.P., Postma E.O., Herik van den H.J. Dimensionality reduction: a comparative review. Technical report TiCC-TR 2009-005.
Tilburg University 2009.
17. Leeuw de J., Mair P. Multidimensional scaling using majorization: SMACOF in R. Journal of Statistical Software. 2009. Vol. 31. Issue 3.
P. 1–30.
18. Wingenbach TSH, Ashwin C, Brosnan M Correction: Validation of the Amsterdam Dynamic Facial Expression Set – Bath Intensity Variations
(ADFES-BIV): A Set of Videos Expressing Low, Intermediate, and High Intensity Emotions. PLOS ONE 11(12): e0168891. 2016.
https://doi.org/10.1371/journal.pone.0168891
Одержано 16.03.2020
Про авторів:
1
Бармак Олександр Володимирович,
доктор технічних наук, професор,
професор кафедри комп’ютерних наук та інформаційних технологій;
Кількість наукових публікацій – понад 100, в т.ч.:
кількість наукових публікацій у фахових виданнях – 45.
Кількість наукових публікацій в зарубіжних виданнях – 12.
http://orcid.org/0000-0003-0739-9678,
1
Манзюк Едуард Андрійович,
кандидат технічних наук,
доцент кафедри комп’ютерних наук та інформаційних технологій.
Кількість наукових публікацій – 47, в т.ч.:
кількість наукових публікацій у фахових виданнях – 32.
Кількість наукових публікацій в зарубіжних виданнях – 9.
http://orcid.org/0000-0002-7310-2126,
1
Калита Олег Дмитрович,
PhD студент.
http://orcid.org/0000-0003-1868-8803,
2,3
Крак Юрій Васильович,
доктор фізико-математичних наук, професор,
завідувач кафедри теоретичної кібернетики.
Кількість наукових публікацій – понад 600, в т.ч.:
кількість наукових публікацій у фахових виданнях – 170.
Кількість наукових публікацій в зарубіжних виданнях – 100.
http://orcid.org/0000-0002-8043-0785,
3
Кузнєцов Владислав Олександрович,
молодший науковий співробітник.
Кількість наукових публікацій – понад 26, в т.ч.:
кількість наукових публікацій у фахових виданнях – 8.
Кількість наукових публікацій в зарубіжних виданнях – 5.
http://orcid.org/0000-0002-1068-769X,
3
Куляс Анатолій Іванович,
кандидат технічних наук,
провідний науковий співробітник.
Copyright © 2020 for this paper by its authors. Use permitted under Creative 182
Commons License Attribution 4.0 International (CC BY 4.0).
Кількість наукових публікацій – понад 40, в т.ч.:
кількість наукових публікацій у фахових виданнях – 12.
Кількість наукових публікацій в зарубіжних виданнях – 8.
http://orcid.org/0000-0003-3715-1454.
Місце роботи авторів:
1
Хмельницький національний університет МОН України,
29016, Хмельницький, вул. Інститутська, 11.
E-mail: alexander.barmak@gmail.com,
exe.chong@gmail.com.
2
Київський національний університет імені Тараса Шевченка,
01601, Київ, вул. Володимирська, 60.
E-mail: krak@univ.kiev.ua
3
Інститут кібернетики імені В.М. Глушкова НАН України,
03187, проспект Глушкова, 40.
E-mail: kuznetsow.wlad@gmail.com
183