Синтаксические и семантические модели и алгоритмы в задаче вопросно-ответного поиска © А.А. Соловьёв МГТУ им.Н.Э.Баумана a-soloviev@mail.ru Аннотация Сегодня системы ограничиваются поиском текста ответа и не занимаются логическим выводом Вопросно-ответный поиск – особый вид неявной информации. информационного поиска, результатом Типичной архитектурой вопросно-ответной которого является не документ, а краткий и системы является архитектура метапоисковой лаконичный ответ на вопрос, системы, т.е. система надстраивается поверх сформулированный на естественном языке. классической системы поиска по ключевым словам Рассматривается задача проверки ответов. (Рис. 1). Выделяют 4 подзадачи: анализ вопроса После анализа литературы был сделан (А1), поиск фрагментов текста (А2), выделение вывод: некоторые алгоритмы обработки ответов-кандидатов (А3) и проверка ответов (А4) семантических структур применимы к [11]. На Рис. 2 изображена функциональная схема синтаксическим структурам, и наоборот. системы, построенной в рамках диссертационного Планируется провести недостающие исследования. эксперименты на основе таблиц релевантности РОМИП, полученных после участия в прошлом году. 1. Введение Вопросно-ответный поиск – это особый вид задачи информационного поиска, активно использующий методы компьютерной лингвистики. Рис. 1 Архитектура метапоисковой системы[20] В отличие от классического поиска по ключевым словам, результатом поиска является не документ, а краткий и лаконичный фрагмент текста – ответ на вопрос, сформулированный пользователем на естественном языке[10]. Ответ ищется в коллекции документов. В качестве коллекции часто используется Интернет, обычно опосредованно через некоторую классическую поисковую систему. Предметно-специализированные системы могут использовать свою закрытую коллекцию тематических документов. Вопросно-ответная система способна обрабатывать некоторые предопределённые классы вопросов. Наиболее успешно решается задача ответа на вопросы об определениях (англ.: definitional) и фактографические (англ.: factoid). Труды 13й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и Рис. 2 Подзадачи вопросно-ответного поиска[20] технологии, электронные коллекции» - RCDL’2011, Воронеж, Россия, 2011. 201 Для решения лингвистических задач третьего раздела. В пятом разделе обсуждается используются разные методы: символьные, применимость существующих алгоритмов к вероятностные, основанные на правилах или синтаксической модели представления текста. больших словарях. В работе [3] подробно обсуждается вероятностный подход для решения задач А1, А2, А3, а в [21] рассмотрена реализация модуля анализа вопроса, разработанного в данном 2. Задача проверки ответа диссертационном исследовании. В последующих разделах обсуждается только последняя подзадача типового конвейера – проверка ответа (А4). При оценке вопросно-ответной системы Оценку вопросно-ответных систем выполняют возникает серьёзная проблема: невозможность на традиционных конференциях по оценке методов использовать полученные ранее таблицы информационного поиска: TREC, CLEF, ROMIP – в релевантности в новых экспериментах. Результатом каждой из этих конференций есть дорожка каждого задания является не просто краткий ответ, вопросно-ответного поиска. Организаторы но и фрагмент текста из конкретного документа, предоставляют коллекцию документов и набор явно подтверждающий этот ответ. Таких заданий – вопросов. Участники выполняют прогоны фрагментов может быть в коллекции много, и своих систем в разных конфигурациях и отправляют система может сделать вывод на основании какого- результаты всех заданий. Далее асессоры проверяют то одного из них или даже в условии избыточности правильность ответов, и рассчитываются общие [6] – нескольких разных фрагментов в разных метрики качества для всех участников. Таким документах, содержащих один и тот же ответ. При образом, экспериментально сравнивают методы, этом в таблице релевантности, в отличие от реализованные разными участниками, а также классического поиска, окажется не только разные конфигурации системы одного участника. В идентификатор документа, но и фрагмент текста [20] опубликован отчёт об участия в РОМИП 2010 (сниппет) и краткий ответ из этого фрагмента. Эта системы Умба, разработанной автором. В таблице запись подтверждена асессором. В следующий же ниже перечислены несколько вопросов из заданий раз, когда исследователь захочет измерить качество РОМИП. модифицированной системы (вне ежегодной кампании), он не будет иметь доступа к тем же Таблица 1 Примеры заданий РОМИП асессорам, но будет иметь таблицу релевантности (орфография оригинальная) прошлого года. Однако модифицированная система может найти новый фрагмент нового документа с № Вопрос, жирным шрифтом тем же или даже новым вариантом ответа, который выделен фокус не встречался в предыдущих результатах. И это не nqa2009_6368 как отключить перехват означает, что система ошиблась. Подобная ситуация клавиатуры? (новый неоценённый ранее документ) возможна и в nqa2009_7185 сколько стоит поченить гнездо у классическом поиске, однако в случае вопросно- телефона сони эрикссон? ответного поиска она гораздо более вероятна. nqa2009_6425 в каких религиях как Подзадача проверки вопроса лишена этой рассматривается карма? проблемы. Модуль проверки должен для каждого nqa2009_3123 отечественная война кто с кем ? кортежа <вопрос, документ, фрагмент, ответ> nqa2009_8557 являются ли чердаки принять решение: да или нет. В такой пожароопасными помещениями? формулировке таблица релевантности с nqa2009_7801 какое колличество циклов позитивными и негативными примерами может чтения/записи предусмотренно быть успешно использована. Примером такого компанией fujifilm для картриджей подхода к оценке является семинар CLEF Answer стандарта lto 4? Validation Exercise [12], организаторы которого в nqa2009_856 где собирают меганы? свою очередь заимствовал многое из более общей nqa2009_2256 кто использовал стволовые задачи компьютерной лингвистики Recognizing клетки? Textual Entailment [15]. Такой подход к оценке использовался в работах [9], [2] и [1]. Далее статья организована следующим образом. Для оценки методов проверки вопросов мы Во втором разделе обсуждается подзадача проверки будем использовать таблицу релевантности, ответа, отличия в методе оценки её результатов от построенную на основе результатов вопросно- оценки системы в целом. В третьем разделе ответной дорожки РОМИП 2010. обсуждаются существующие синтаксические и семантические модели представления текста. В четвёртом разделе рассмотрены алгоритмы проверки ответов, работающие на моделях из 202 3. Модели представления текста в задаче считается переходом от синтаксического к валидации ответов семантическому уровню представления. В [9] дерево тоже строится по выходу Collins’ Parser. Для русского языка грамматические зависимости могут быть построены с помощью системы RCO В основе любого метода обработки информации [11]. Например, результат анализа предложения лежит модель представления этой информации. “Отдел новостроек желает арендовать у нашего Рассмотрим существующие модели представления комбината малую строительную и погрузочную текста в задаче проверки ответов. технику” описывается такой структурой: 3.1 Набор слов Успешная в традиционном поиске модель набора слов (англ: bag of words) часто применяется в базовом (англ: baseline) прогоне системы. Пусть Q - множество слов в вопросе, а T – множество слов во фрагменте подтверждающего текста. Тогда отношение E = Q ∩ T Q может является мерой «подтверждения» ответа на вопрос Q текстом T. 3.2 Символьные шаблоны Для проверки некоторых типов ответов можно использовать заранее подготовленные регулярные выражения. Например, для вопроса «В каком городе родился X», хорошим шаблоном подтверждающего текста может быть «X родился в городе А», где А – ответ. 3.3 Дерево синтаксического разбора граматики составляющих Следующий естественной структурой Рис. 4 Деревья грамматических зависимостей представления текста является его дерево синтаксического разбора. Для русского языка Отдел (существительное): синтаксический разбор предложения можно • генитивное отношение с “новостроек”; выполнить, например, с помощью библиотеки АОТ • Новостроек (существительное); (см. Рис. 3). Желает (глагол): • предикативное отношение с “отдел” в роли “Субъект действия”; • предикативное отношение второго порядка с “арендовать”; Арендовать (глагол): • предикативное отношение с “комбината” Рис. 3 Синтаксический разбор предложения, в роли “Источник”; выполненный библиотекой АОТ [17] • предикативное отношение с “технику” в роли “Объект действия”; 3.4 Дерево грамматических зависимостей • Нашего (местоименное прилагательное); Другой вид представления синтаксической Комбината (существительное): структуры предложения предлагает грамматика • Атрибутивное отношение с “нашего”; зависимостей (англ.: dependency grammars [4]). В • Малую (прилагательное); работе [9] используется дерево грамматических • Строительную (прилагательное); зависимостей (англ.: dependency tree). На Рис. 4 • Погрузочную (прилагательное); представлены синтаксические деревья для вопроса Технику (существительное): и двух утверждений. • Атрибутивное отношение с однородным Отметим, существуют простой алгоритм для членом “погрузочную”; построения дерева грамматических зависимостей по • Атрибутивное отношение с однородным дереву синтаксического разбора предложения: для членом “строительную”; английского языка [4], для русского языка в [19] • Атрибутивное отношение с “малую”; (досемантический анализ). Такое преобразование не 203 3.5 Разбор р на основе грамматики г связей reprresentative_NN NN(x17) & to_TO(e2, x21) & Afghhanistan_NN(x(x18) & N(x19) opium_NN & Третьейй популярн ной формой й представлления farm mer_NN(x20) & nn_NN NC(x21, x19,, x20) & синтаксичееский отношений в предлложении являяется buy__VB(e3, x117, x22) & large_JJJ(x22) & грамматикка связей (англ.: ( link grammar) [13]. amoount_NN(x22) & of_IN(x222, x23) & opiu um_NN(x23) Грамматикка связей сосстоит из словв, которые им меют & probably_RB( p (e4) & raise_VB(e4, x22, x24) & ограничени ия по связяям. Последоввательность слов fund ds_NN(x24) & for_IN(x24,, x27) & al_ _NN(x25) & является предложением м языка если:: Qaeeda_NN( x26) & nn_NNC(xx27, x25, x26).. 1. Связи между собоой не переесекаются (ссвязи Используя И в качестве прравил выводаа аксиомы, рисуюттся графическки над словам ми). посттроенные на базе лексичееского словар ря WordNet, 2. Отсутсттвуют изоолированныее слова или можжно доказы ывать вывод димость уттверждения несвязаанные группы ы слов. вопррос-ответ из текста. 3. Выполн нены все ограничения о на связи для каждогго слова. 3.7 Семантичес С кие узлы и оотношения В работте [18] предлложена граммматика связей й для русского языка. я Сообщщается, что скорость рабботы Существует С много мооделей семантических синтаксичееского анали изатора краййне мала – одно о отно ошений, ноо все он ни с точкки зрения предложенние в секунд ду при потрреблении паммяти матеематическогоо аппарата оочень похож жи друг на 200 Мб. Однако О при неограниченн н ном объёме ОЗУ другга. В отличи ие от логичесских форм, существует с автор доопускает возможность в разбора 100 ограаниченный набор отношеений, возмож жных между предложенний в секун нду. На Ри ис. 5 изобраажён словвами. Поиск этих отношеений неразры ывно связан пример раззбора предлоожения руссккого языка. с раазрешением смысловой с нееоднозначноссти. Англоязычно А ой литераатуре эта техника назыывается Semaantic Role Labeling [4]. Так, среди семаантических отношений о (рролей), исполльзуемых в [14], есть T TARGET, ARG1, ARRGM_LOC, ARG GM_TMP. Прример из тогоо же источни ика: The T CMU cam mpus at the US west coast was w founded Рис. 5 Гр рамматика связей для руссского языка [118] in th he year 2002. TARGET: T fouunded Отметиим, что реззультатом разбора р являяется ARG1: A The CMU C campus неориентированный грраф с возмож жными циклам ми, а ARGM_LOC A : at the US weest coast не дерево, как в случае грамматики зависимостеей. ARGM_TMP A : in the year 22002 3.6 Логичееские формы ы Для Д русскоого языка аналогичны ый разбор выпполняется си истемой АОТ Т[17]. Легко о заметить, Логичееские форм мы (англ.: Logic Foorms) что набор отнош шений легко визуализироввать в виде используюются во многих м вопросно-ответтных семаантического графа. На Р Рис. 6 изобр ражён граф системах. Такое представлен ние позвооляет семаантических отношений для предло ожения из применятьь математи ических ап ппарат лям мбда- колл лекции РООМИП «У Ученые исспользовали выражений й и автооматическое доказателььство мезеенхимные стволовые с клетки, извлеченные и теорем. из образцов о косттного мозга м мужчин-добр ровольцев.» Простейшим прим мером являю ются тернаррные выраженияя в системее STAR [5] (T-Expressiions). Выражени ия имели вид <субъ ъект отнош шение объект>, гдде каждый эллемент замещ щается некотоорой лексемой. Сами выражения транзиттивны: Wilson presented Jooe with a gift. < J with giftt> Wilson presented a giftg to Joe. < g to Joe> Исполььзуя ряд лексических правил моожно выводить эквивалентн ность этих вы ыражений. Рассмоттрим более сложную фоорму логичееских форм из рааботы [8]. Рисс. 6 Граф семаантических оттношений, построенный Текст: Bin B Laden repportedly sent representativves to системой АООТ [19] Afghanistann opium farm mers to buy large amounts of opium, probbably to raisee funds for al-Q Qaeda. Следует С отм метить, чтоо для одно ого языка Логичееская форма: Binn_NN(x14) & сущ ществует моодели семан нтических отношений, о Laden_NN((x15) & nn_NNC(x16, n x14, x15)) & разр работанные разными учёными-ли ингвистами reportedly__RB(e2) & send_VB(e2,, x16, x17)) & (Н.Н Н.Леонтьевой й в [17] и Г.А А.Золотовой в [22]). 204 4. Алгоритмы сравнения семантических W1 ∩ W2 , где W1 и W2 – SimTerm (t1 , t2 ) := J (W1 , W2 ) = структур вопроса и подтверждающего W1 ∪ W2 текста множества контекстных слов из описания значения терма в словаре WordNet. Схожесть же всех аргументов предиката вопроса pq и предиката ответа pa вычисляется следующим образом: Рассмотрим существующие алгоритмы, используемые для проверки ответа в вопросно- ∑ max(Sim ExpTerm (t , t )) a q SimArgs ( pa , pq ) := t q ∈Tq t a ∈Ta ответной системе, на основе вычисления схожести структуры вопроса от текста, из которого Tq + ⎧⎨ta ∈ Ta max(SimExpTerm (ta , tq )) = 0⎫⎬ извлекается ответ. ⎩ t q ∈Tq ⎭ А мера схожести всего предиката определяется 4.1 Подсчёт пересечения множеств отношений как произведение схожести аргументов, вычисленной выше, и схожести глаголов: По аналогии с формулой из раздела 3.1 многие Ч 晦 исследователи рассматривают текст как множество Данный алгоритм позволяет нестрогое несвязанных отношений – будь то представление в совпадение слов, семантически схожих на логической форме, синтаксический разбор или основании лексической онтологии WordNet. семантические роли. Рассмотрим граф на Рис. 6. Каждая дуга графа – семантическое отношение 4.3 Расстояние редактирования для дерева между соседними узлами R(N1,N2), или записывая в виде кортежа . Пусть Q – множество В работе [9] рассматривается задача вычисления таких кортежей-отношений в вопросе, а A – схожести деревьев грамматических зависимостей множество кортежей-отношений в ответе. между словами двух предложений: вопросительного Воспользовавшись той же формулой из 3.1 и повествовательного. В отличие от формул выше, деревья сравниваются в целом, а не в контексте получаем E = Q ∩ T Q. отдельных отношений/предикатов. Авторы [9] Из двух разных фрагментов текста A1 и A2, применили естественную метрику схожести содержащих ответ (м.б. два разных ответа) на один деревьев: минимальное число операций вопрос Q, более правдоподобным ответом будет редактирования, необходимых для трансформации считаться тот, у которого мера E больше. Модуль одного графа в другой. валидации ответа, построенный на этой формуле, Доступные операции редактирования: удаление может либо выбирать из кандидатов ответ с вершины, вставка, замена – представлены на Рис. 7. наибольшим числом E, либо установить некоторое пороговое значение Eпор для признания ответа верным. В работе [16] этот метод используется в качестве «запасной стратегии» – в случае, когда более сложный алгоритм применить не удаётся по тем или иным причинам. Заметим, что одну и ту же формулу можно применять для четырёх моделей представления текста из раздела 3: набора слов, грамматических зависимостей в предложении, семантических отношений и даже логических форм. Так, в той же работе [16] используются две запасные стратегии, обе на основе формулы выше: первая запасная стратегия использует наборы семантических триплетов, а вторая – наборы слов. 4.2 Сопоставление предикатов В работе [14] используется усложнённая Рис. 7 Элементарные операции редактирования модификация формулы из предыдущего раздела – дерева [9] Predicate Matching. Рассматриваются не триплеты из двух вершин графа, а все отношения Разным операциям приписан разный вес: семантического узла (т.н. предикативные отношения) во главе с глаголом. Сравнивается предикат вопроса (со всеми зависимыми аргументами) с предикатом в тексте ответа. На основе словаря WordNet и формулы Жаккарта вводится мера схожести двух термов: 205 Такая матрица M несомненно полезна для сопоставления параллельных переводов текстов. Однако для задачи проверки лексической Также алгоритм поиска предписания выводимости авторы предложили использовать в редактирования модифицирован таким образом, качестве меры схожести двух текстов один чтобы удаление лишних поддеревьев в единственный элемент этой матрицы – лучшее подтверждающем тексте не штрафовалось, т.к. найденное соответствие корневой вершины текст с ответом почти всегда содержит гипотезы (обычно глагол). дополнительные грамматические конструкции, не относящиеся к вопросу. 4.5 Неточное совпадение поиском вглубину , min д , \ В диссертационной работе предложен оригинальный метод неточного сравнения д , \ min г \ семантических графов поиском в глубину[20]. Где F(T) – множество всех возможных Предложенный метод основан на вычислении поддеревьев, а S множество всех возможных схожести семантических графов вопроса и последовательностей операций редактирования г. фрагмента, содержащего ответ. Для вопроса и Отметим, что оригинальный алгоритм работает с фрагмента строятся семантические графы, с синтаксическим представлением текста (деревом использование библиотеки AOT[17]. грамматических зависимостей). Однако его можно Рассмотрим пример семантического графа для перенести и на семантическое представление, вопроса nqa2009_2256 «кто использовал стволовые применяя меры схожести термов, описанные в 4.2. клетки?» и фрагмента из документа 419883 «Ученые использовали мезенхимные стволовые 4.4 Совмещение деревьев зависимостей клетки, извлеченные из образцов костного мозга В работе [7] предлагается сравнивать два дерева мужчин-добровольцев» (Рис. 8). Граф построен зависимостей в задаче лексического вывода, библиотекой AOT.Seman. используя алгоритмы, применяемые для обработки В основе метода лежит интуиция, что если у параллельных двуязычных текстов. Для двух простого вопроса «кто?» или «где?» заменить деревьев D и D’ строится матрица соответствия вопросительное слово (фокус) кратким ответом, мы элементов M размера NxN’, где N – число элементов получим семантически верное утверждение. Мы не в дереве D, а N’ – число элементов в дереве D’. рассматриваем проблему синтаксической Каждый элемент S(v,v’) в матрице вычисляется корректности полученного предложения. На Рис. 8 алгоритмом динамического программирования, подграф УЧЕНЫЕ-ИСПОЛЬЗОВАЛИ-КЛЕТКИ- используя следующие рекурсивные формулы: СТВОЛОВЫЕ во фрагменте очевидным образом соответствует графу вопроса КТО- ИСПОЛЬЗОВАЛИ-КЛЕТКИ-СТВОЛОВЫЕ, если заменить КТО на УЧЕНЫЕ. Любой строгий алгоритм поиска изоморфизма подграфов обнаружит это равенство подграфов. Однако, более часты случаи с менее строгим совпадением подграфов. Например, вопрос nqa2009_856: «где собирают меганы?» и фрагмент из документа 477114: «Может это от части потому, что часть Сцеников, как и Меганов, собиралась в Турции» (Рис. 9). Здесь присутствуют узлы-связки однородных членов. Стоит заметить, что дерево фрагмента в данном примере также содержит ошибку: алгоритм неправильно обработал оборот «как и». 206 Алгори итм вычислен ния меры схоожести подграафов выглядит следующим с о образом: 1. Найти и вершину с фокусом ф в воппросе. 2. Найти и вершину с ответом о во фррагменте. 3. Выполлняя операц ции, аналоги ичные поискку в глубин ну, продвигаеемся одноврееменно по об боим графам м от исход дных вершин н по рёбраам и верши инам с совпадающими меетками (меткка из графа вопроса доллжна совпад дать с меткой из графа фрагмента). 4. При каждом совпадении с ребра/верш шины сумми ируем в общий о наккопитель бааллы совпад дения: 4.1. Совпадение С рёбер. 4.1.1. Рёбрам разного типа моожно присваиввать свой вес.в Интуитиивно, Рис. 9 Семан нтические граафы для вопрооса «где метки AUTHOR, LOK, NA AME со обирают мегааны?» и фрагм мента текста с ответом. AGENT должны имееть больший вес, но в окончателььных проггонах В отличие алгоритмоов, рассмоттренных в использоовался вес 1 для всех этих разд делах 4.2 и 4.4, 4 алгоритм м сразу начин нает работу типов рёбер. от известных и емму пар сопосттавленных веершин – от 4.1.2. Некоторы ые рёбра и вершшины словва-ответа в подтвержд дающем текксте и от разрешаеется «сокращ щать»: пропусскать вопрросительногоо слова в вопросе. Алгоритм при прод движении в глубину г в оддном сопооставления предикатоов же вынужден графе, нен продвигааясь в друугом. расссмотреть всее пары преедикатов (гл лаголов), а Напримеер: ACT, F-ACT, S-A ACT, алго оритм сопосттавления верш шин вообще перебирает MUA. все возможны ые пары вершин. Не Н стоит 4.2. Совпадение С веершин: расссматривать данное сввойство каак способ 4.22.1. Точное посимвольн ное совпад дение эконномии процессорного вреемени. Алгор ритмы 4.2 и слов – 1 балл 4.2 были заим мствованы и из другой прикладной п 4.22.2. Совпаден ние лемм – 0.5 балла. задаачи - маашинного пееревода – когда как 4.22.3. Лемма одной верш шины входи ит в преддложенный алгоритм с самого начала лемму другую д как подстрока – 0.5 осноовывается на сппецифике простых балла. факттографически их вопросов и ответов: паара вершин 5. Накоп пленная сумма баллов прибавляетсся к для старта алгорритмов сравн нения уже известна, и её баллу, простаавленному предыдущ щими не надо н искать. фильтррами. Зааметим, что никкакой нормаллизации балллов здесь не н используется, т.к. поо построению ю, шкала схож жести с задан нным вопроссом ограничеена размерам ми графа воп проса 5. Подмена П м модели для я некоторы ых и не заависит от фраагмента. алггоритмов Рассмотренны Р ые вышее алгориитмы в ориггинальных работах исполльзовались на н одной из модделей: синтаксичесской (гграмматика зави исимостей) или и семантичческой. В эттой работе преддлагается расссмотреть воозможность применения п алгооритма на другой модели: подменить семаантические отношени ия синтакксическими отноошениями, и наоборотт. В табл лице ниже приведено сооттветствие аллгоритмов и моделей, найдденное в литературе. Пусстые позиции и A, B, C, D, E яввляются облаастью интересса в данной работе. р Рис. 8 Семантически С ие графы для вопроса «ктоо использзовал стволоввые клетки?» и фрагмента с о ответом 207 Таблица 2 Соответствие алгоритмов и моделей стволовые клетки?», «Ученые использовали мезенхимные стволовые клетки, извлеченные из образцов костного мозга мужчин-добровольцев», Грамматические Семантические «Учёные», «да»>. Модуль анализа вопроса выделит зависимости фокус «кто» и семантический тэг PERSON. Логические Набор слов отношения A. Пересечение множеств грамматических формы зависимостей Каждая грамматическая зависимость будет Пересечение [16] A [16] представлена упорядоченной парой слов – главное и множеств зависимое. Тогда множество зависимостей вопроса: Сопоставление B [14] 1. использовал->кто предикатов 2. использовал->клетки Сопоставление [7] C 3. клетки->стволовые вершин Множество грамматических зависимостей Расстояние [9] D фрагмента: редактирования 1. использовали->учёные Совпадение в E [20] 2. использовали->клетки 3. клетки->стволовые глубину 4. клетки->мезенхимные Автоматическое [1] 5. клетки->извлечённые доказательство 6. извлечённые->из образцов теорем 7. образцов->мозга Вот некоторые общие для всех экспериментов 8. мозга->костного шаги: 9. мозга->мужчин 1. Подготовить коллекцию из нескольких десятков 10. мозга->добровольцев русскоязычных кортежей <вопрос, фрагмент, Зависимости «использовал->кто» и ответ, да/нет>. Вопросы взять из заданий «использовали->учёные» будут признаны РОМИП (вопросы что/где), фрагменты либо из совпадающими т.к. а) сравниваются леммы слов, б) результатов прогонов участников и из разрешено равенство фокуса ответу. поисковой выдачи Яндекса. Выбирать как Используя формулу из раздела 3.1 получаем: правильные, так и неправильные ответы. Ответы выделить вручную. E = Q ∩T Q = 3/3 =1 2. До проверки с помощью существующего Ответ будет признан верным, если E больше модуля анализа вопросов [21] в вопросе будет некоторого порогового значения Et (0