Аннотация-Стандартный подход для оценки качества направлено на то, чтобы улучшать качество работы систем систем распознавания речи основан на вычислении числа распознавания для различных практических ситуаций. К неправильно распознанных слов (метрика WER, Word Error сожалению, основной фокус в данных работах направлен фRеaкteт)и.вДнаынмнывйбоплоьдшхоиднсятввлеяселтусячапевр.оОстдынмакои, односнтеатуоччинтоыэвфа-- на эксперименты с моделью распознавания, а именно ет несколько существенных факторов. Во-первых, системы эксперименты с архитектурой и типом нейронной сети распознавания голоса могут допускать ошибки, существенно (использование сверточных [11; 14] или рекуррентных семеняющие смысл фразы, а метрика WER не является чув- тей [8], архитектуры на основе трансформеров [16], и т.д.), ствительной к данному типу ошибок. Во-вторых, в реальных методами аугментации и другими техниками обучения тпорчинлаояжетнриаянхскортибсиацстиеям срлаосвпоозвнасвлаонвиоя, аголспосеацитфриечбунеатясядлняе глубинных сетей, а также способами ускорить обучение и конкретного приложения функциональность: возможность применение систем распознавания в реальных задачах. В определить потребность пользователя (интент) для голосо- то же время, все эти методы сравниваются на основе единвых ассистентов; качество распознавания автомобильного ственной метрики - числе ошибочно распознанных слов номера, адреса, номера телефона и т.д. Таким образом, (WER), которая хотя и сильно коррелирует с качеством вкоачзнеистквааетрансепообзхноадвиамноисятьв вкорнакзрреатбнотыкхе пмреитлроижкендиляях,оацетнакки- распознавания, тем не менее не является чувствительной же необходимо научиться оценивать качество современных к ошибкам, существенно меняющим суть произнесенного систем не только в терминах числа ошибочно распознанных текста. Таким образом, улучшения моделей по существуюслов, но и с учетом того, что целью является передача смысла щей метрике не позволяют оценить влияние тех или иных фразы. В данной работе мы разработали общий подход к изменений на то, как эти изменения будет воспринимать сптовсатрмоеетнрииюк.тОаксонгоовнтиаяпаидмееятрниокво,гаотпаокджхеодсапо-соибсопцоелнькзиовкаанчиее- пользователь. В результате, в распознавании речи сегодня краудсорсинга и последующего сведения задачи построения возникает проблема, близкая к той, с которой столкнулся метрики к хорошо изученной задаче обучения с учителем. информационный поиск в 2000-х годах, когда стало понятВ качестве примера использования данного подхода мы но, что не все документы одинаково хорошо отвечают на предлагаем обобщение метрики WER - метрику MERaLM, запрос пользователя, а существующие метрики, такие, как облдаодсатоюищнустювасмлеид:ууючщетимтиого, что не все ошибки одинаково MAP, не позволяют улучшать системы в сторону выявлевлияют на точность передачи смысла фразы и легкая ин- ния более релевантных документов [5]. В качестве решетерпретируемость. ния было предложено семейство метрик DCG и NDCG [5]. Ключевые слова- автоматическое распознавание речи, В распознавании речи сегодня наблюдается аналогичная метрика, машинное обучение. проблема - отсутствует подход к построению метрик, отражающих то, как пользователи воспринимают работу I. Введение системы: какое распознавание считать ”хорошим”, а какое Автоматическое распознавание речи в настоящее время ”плохим”? Передает ли распознавание смысл исходного активно применяется для решения большого числа прак- текста? Какие ошибки считать существенными, а какие тических задач: голосовые помощники, автоматическая нет? Насколько влияет добавление или пропуск частицы генерация субтитров, автоматизация работы центров обра- ”не” на восприятие смысла? Человек, так или иначе, ботки звонков и т.д. Современные методы, основанные на может дать ответы на эти вопросы, в то время как метрика применении методов глубинного обучения, достигли каче- WER - нет, и мы считаем, что для дальнейшего развития ства, сравнимого с человеком [13] на общедоступных кор- систем распознавания голоса нужно понять, что и зачем пусах транскрибированных аудио таких, как LibriSpeech. мы хотим оптимизировать. В практических задачах требуется работать с шумными Наиболее эффективный подход к построению оценки данными, часто плохого качества (например, записи звон- качества систем распознавания голоса - привлечь к этой ков в телефонии), для которых разработанные системы задаче человека (например, на основе краудсорсинга), копоказывают существенно худшее качество. Тем не менее, торый сможет формализовать такие понятия, как ”смысл этого качества уже достаточно для того, чтобы актив- фразы передан точно”. Однако экспертная оценка стоит но внедрять автоматическое распознавание в различные дорого и требует большого количества времени и усилий приложения. Большое количество работ в данной области на проведение любого эксперимента. Поэтому в данной
работе мы предлагаем решение, близкое по духу к тому,
которое было применено для оценки ранжирования в
информационном поиске с помощью метрики DCG и NDCG;
и в системах автоматического перевода при переходе к
оцениванию с помощью метрики BLEU [
Остальные метрики машинного перевода, являются различными модификациями метрики BLEU и не подлежат рассмотрению в рамках данной статьи.
III. Методология сравнения метрик Мы выяснили какую задачу должна решать метрика для оценки качества систем распознавания речи, рассмотрели
II. Обзор существующих метрик существующие метрики и выявили ряд основных
недоНа данный момент в задачах автоматического распо- статков. Теперь необходимо разработать новый способ
знавания речи используется метрика WER. Она является оценки, который будет лишен этих проблем.
стандартом и используется для оценки качества систем. Первая задача, которая возникает при разработке новой
Однако, несмотря на свою популярность, эта метрика метрики — формализация понятия того, что одна метрика
имеет ряд существенных недостатков. Основным из них лучше чем другая. Одним из естественных способов такой
является одинаковый вес ошибки. Как следствие, ошибки формализации является определение необходимого набора
в словах сильно искажающих смысл и ошибки в незначи- свойств, которыми должна обладать ”хорошая” метрика. В
тельных для содержания словах будут иметь одинаковые некоторых приложениях удается доказать, что такой набор
веса. свойств определяет метрику однозначно. Так, например,
На основе WER было разработано большое количество для некоторых моделей машинного обучения используют
метрик, которые также применяются в области автома- технику SHAP values [
Стоит отметить, что автоматическое распознавание го- К сожалению, такой подход в общем случае не
реалилоса не единственная область машинного обучения, где зуем. Во-первых, составление списка аксиом трудная и,
используются метрики для оценки качества через сравне- во многом, субъективная задача. Во-вторых, даже имея
ние пар предложений. В машинном переводе стандартной список аксиом, построить метрику, удовлетворяющую им,
метрикой качества является BLEU (Bilingual evaluation а также доказать, что такая метрика единственна, выглядит
understudy) [
Заметим, что в описанном процессе не формализовано
понятие согласованности. Оно связано непосредственно
с множеством значений метрики. В экспериментах,
которые будут описаны в этой статье для простоты выбрана
бинарная шкала оценивания. В таком случае в качестве
меры согласованности может быть использована любая
метрика качества модели бинарной классификации. Для
определенности мы будем использовать AUC — area under
the curve (одна из основных метрик для оценки качества
бинарной классификации [
IV. Подход к построению семейства метрик Основной принцип построения метрики — согласованность с ”идеальной” метрикой. Согласованность измеряется на некотором фиксированном наборе данных, репрезентативно представляющем конкретную предметную область. При этом, в качестве метрики можно рассматривать любую функцию от пары предложений. Как следствие, новой метрикой может быть любая функция пар предложений, однозначно описывающаяся некоторым набором параметров. Тогда задача построения новой метрики сводится к выбору модели, сбору данных для обучения этой модели и, собственно, обучения.
В качестве базовой модели была выбрана модификация
стандартной метрики WER. Как и в метрике для
машинного перевода NIST [
Формально можно записать ее следующим образом:
MERa = min σ ( E(wi,wj)∼ DˆQ(wi, wj)) ,
) где
x σ(x) = 1 +eex — сигмоидальная функция,
E(wi,wj)∼ Dˆ — эмпирическое математическое ожидание (по парам слов (wi, wj)),
Q(u, v) — стоимость замены слова u на слово v.
Минимум берется по всем ”выравниваниям” предложений. Под ”выравниванием” подразумеваем следующее — каждому слову из первого предложения ставим в соответствие слово из второго (что соответствует замене) или пустое слово (что соответствует удалению). Если во втором предложении остались слова без пары, им в соответствие ставится пустое слово (что соответствует операции вставки). Таким образом, пара предложений однозначно представляется в виде пар слов, некоторые из которых могут быть пустыми.
В результате получается семейство метрик MERa (Meaning error rate), где каждый элемент семейства задается своей функцией стоимости.
Далее рассмотрим базовый пример стоимостной функции, который был реализован.
V. Стоимость исправления смысловой ошибки В качестве функции стоимости можно рассматривать абсолютно любую функцию. Для базовой реализации используем линейную функцию от выбранных признаков для пары слов.
Выбор признаков, а также данные для обучения модели являются ключевыми элементами процесса построения новой метрики. Основная сложность заключается в том, что во многом эти составляющие взаимосвязаны и выбрать признаки, которые наиболее точно будут отображать влияние на итоговый смысл фразы очень сложно без данных, репрезентативно представляющих предметную область. Как уже было ранее отмечено, сбор такого набора данных является отдельной крайне трудоемкой задачей и выходит за рамки этой статьи. В связи с этим, выбор признаков был основан на некоторых эмпирических предположениях о важности с точки зрения совпадения по смыслу, однако в дальнейшем этот список можно и нужно расширить и возможно найти более значимые. Выбранный набор признаков в таблице I.
Таблица I Описание признаков Признак совпадает словарная форма слова исходное слово — ”нет” распознанное слово — ”нет” слова полностью совпадают исходное слово — ”не” распознанное слово — ”не” исходное слово — ”да” распознанное слово — ”да” По сути, функция, которую мы строим, соответствует некоторой модели бинарной классификации (в базовой реализации — линейной). Модель обладает некоторым набором параметров, которые заранее не известны, а значит, их нужно как-то оценить (для линейной — набор коэффициентов при признаках).
VI. Оценка параметров 1) Подготовить обучающее множество. В качестве наблюдений в нашей задаче выступают пары (распознанный текст, исходный текст на аудио), а в качестве целевой переменной — оценка эксперта о том, насколько точно предсказание передает смысл текста. В наших экспериментах мы использовали бинарные предсказания, но в дальнейшем можно легко добавить вероятностные предсказания. 2) Метод оценки, по сути, функция, которую мы строим, соответствует некоторой модели бинарной классификации (в базовой реализации — линейной). Модель обладает некоторым набором параметров, которые заранее не известны, а значит их нужно както оценить (для линейной — набор коэффициентов при признаках).
VI-A. Данные
В качестве набора обучающих данных были собраны результаты распознавания голоса нескольких облачных сервисов компаний Яндекс и Google. Исходные аудио были собраны на основе реального набора данных телефонии (полученные результаты распознавания доступны по ссылке https://github.com/gordeeva-ln/MERa).
Собранный набор данных представляет из себя множество пар — исходный текст аудио и текст, распознанный одним из указанных выше сервисов.
Далее на его основе создали задание для сервиса Яндекс.Толока, в которой попросили людей (экспертов) разметить пары собранного набора данных на два класса. К первому классу относятся предложения, совпадающие по смыслу, ко второму — различающиеся. Заметим, что не для любой пары предложений можно однозначно установить, к какому классу нужно ее отнести. Поэтому каждая пара была отправлена одновременно трем пользователям. Таким образом, был собран набор данных, использующийся для эксперимента и содержащий в себе около 5000 размеченных пар.
VI-B. Оценка параметров
Наша задача свелась к стандартной логистической
регрессии. Для оценки оптимальных параметров необходимо
найти минимум логистической функции потерь.
Сложность задачи заключается в том, что стандартные методы
оптимизации применять не получается, т.к. оптимальное
выравнивание зависит от параметров, которые мы
оцениваем, а методы непрерывной оптимизации можно
использовать только при фиксированном выравнивании. Поэтому
мы используем некоторый аналог EM-алгоритма [
VI-C. Представление данных
Чтобы пояснить дальнейшие рассуждения, введем несколько вспомогательных обозначений: • Один элемент обучающего множества — пара пред
ложений. • В процессе подсчета метрики MERa для каждой пары предложений получаем набор пар слов. Метрика для Обозначение X ytrain ypred Q U S C
Таблица II Используемые обозначения Описание исходные данные (набор пар предложений) ответы асессоров (0 если смысл одинаковый, 1 если разный) значение метрики для пары предложений функция стоимости для пары слов матрица признаков для уникальных (внутри датасета) пар вектор значений score на соответствующих уникальных парах матрица, в которой элемент (i, j) соответствует количеству раз, которое уникальная пара под номером j встречается в паре предложений под номером i пары предложений — среднее значение Q на парах слов — поэтому порядок слов не важен (важен лишь набор пар). • Составляем список уникальных пар по всему набору данных и представляем каждый элемент исходных данных как вектор, где каждый элемент равен количеству раз, которое соответствующая уникальная пара встречается в множестве пар для этой пары предложений (матрица C). • Таким образом, получаем равенство ypred = CS.
Такое представление данных удобно в контексте используемого алгоритма.
VI-D. Алгоритм 1) Выбираем некоторую начальную модель, предсказывающую метрику для пары слов. В случае модели, являющейся линейной функцией, достаточно задать набор стартовых весов (можно выбирать случайно). 2) Разбиение на пары: Согласно текущей модели, для каждой пары предложений получаем оптимальное (минимально возможное) значение метрики при наилучшем возможном ”выравнивании” (разбиении на пары слов) и соответствующее разбиение. Затем получаем матрицы C, S и U . Оптимальное выравнивание ищется с помощью динамического программирования, аналогичного динамическому программированию для вычисления WER, с той лишь разницей, что вес удаления, вставки и замены одного слова на другое вычисляется с помощью модели, а не является константным. 3) Шаг градиентного спуска: Посчитать производную функции потерь непосредственно по параметрам модели может быть достаточно сложно, поэтому возьмем производную по S. При помощи представления ypred = CS производную по S посчитать легко. Обучим новую модель, которая по U (уникальным парам) будет предсказывать направление градиентного спуска по S и добавим ее к существующей. 4) Повторяем шаги 2-3 пока алгоритм не начнет переобучаться.
VII. Эксперименты На основе предложенной модели и собранных данных был проведен набор экспериментов. Полученные коэффициенты при выбранных параметрах линейной модели в таблице1.
Анализируя полученные коэффициенты, можно сделать несколько выводов. Во-первых, в основном значения очень малы. Такого результата можно было ожидать, так как выбор признаков был сделан не исходя из экспериментов, а исходя из интуитивных представлений. Вторая причина в том, что в качестве данных были выбраны реальные распознавания голоса. Ошибки, с которыми не справляются существующие на данный момент метрики и которые при этом можно описать в виде признаков от пар слов, встречаются крайне редко, но именно на такие ошибки метрика должна реагировать. Поэтому так важно и для обучения, и для сравнения метрик между собой собрать подробный репрезентативный набор данных. В рамках данной работы, не было задачи показать насколько сильное влияние оказывают выбранные признаки. Вовторых, наибольший положительный вес имеет признак, отвечающий за полное совпадение слов. По полученным выводам нельзя судить о значимости признаков, они всего лишь отражают данные, на которых модель обучалась.
Стоит отметить, что до сих пор про признаки было сказано только то, что корректно выбрать их можно после тщательного анализа данных, но как этот анализ проводить и как выделять признаки — отдельная задача.
Теперь переходим к оценке и попытаемся предсказать для пары предложений эквивалентны они по смыслу или нет. Для текущего набора коэффициентов результаты представлены в таблице III.
Таблица III
Сравнение метрик. Для сравнения качества использовался AUC[
MERaLM 0.77 Можем заметить, что MERaLM действительно показала лучшее качество по сравнению с предыдущими метриками (WER, Расстояние Левенштейна) по основным характеристикам. Метрика LER, по сути, является частным случаем метрики MERaLM с единственным признаком — словарной формой слова. Тот факт, что LER показал результаты хуже, чем MERaLM говорит о том, что одного признака недостаточно. Но комбинация с другими, пусть даже незначительными признаками дает значительный прирост в качестве.
1https://github.com/gordeeva-ln/MERa/Коэффициенты.pdf Таким образом, мы показали, что с помощью методов машинного обучения и правильной подготовки признаков можно отлавливать потери смысла. Разумеется данная конкретная модель не является оптимальной. Большее число признаков и более качественные методы обучения позволяют получать лучшие результаты. Но, наборы признаков будут зависеть от конкретной задачи и данных и наша цель была показать работоспособность подхода, с чем такой простой пример успешно справился.
VIII. Направление для дальнейших исследований В данной работе мы предложили подход к построению семейства метрик. В качестве примера мы рассмотрели простую линейную модель, обобщающую метрику WER. Несмотря на тот факт, что в качестве модели выбран наиболее простой вариант, набор признаков выбран не оптимально, а на основе эмпирических предположений, нам удалось показать, что даже на таком наборе параметров существующие метрики оказываются хуже.
• В анализе естественного языка наилучшее качество
в обширном спектре задач показывают нейросетевые
модели на основе BERT [
IX. Заключение В рамках этой статьи мы по-новому взглянули на метрики для задачи автоматического распознавания голоса и обнаружили, что существующие варианты не удовлетворяют базовым понятиям релевантности для данной задачи. Мы предложили новый подход, который, несмотря на свою простоту, позволяет отобразить насколько передает метрика информацию об эквивалентности гипотезы и исходного текста по смыслу. В качестве демонстрации применения этого подхода было предложено новое семейство метрик, которое строится на основе оценки передачи смысла. Проведенный эксперимент показал, что метрика из этого семейства, реализованная на основе линейной модели оказывается лучше старых согласно нашему методу оценки качества метрик.
Список литературы
ITMO University
Yandex
Yandex / SPb HSE lulu.gordeeva07@gmail.com
Yandex / JetBrains Research