Аннотация Статья посвящена анализу сообщений в социальной сети Twitter. В ходе работы устанавливается, какие характеристики городов России влияют на тональность сообщений, посвященных тому или иному городу, другими словами, от каких характеристик зависит отношение людей к городу. Ключевые слова: тональность текста, FRiS, машинное обучение, кластеризация.
Постановка задачи В основе нашего исследования лежит предположение о том, что тональность сообщений об определенном городе и тональность сообщений, сделанных из этого города в различных социальных сетях, может зависеть от его социальных, экономических и географических характеристик. Предполагается исследовать влияние таких характеристик, как плотность населения, климат, средний уровень заработной платы, возрастной состав, половой состав, наличие крупных торговых центров, парков и зон отдыха.
Для решения поставленной задачи в первую очередь необходимо набрать базу сообщений, которые относятся к определенным городам России или были в них созданы. Для этого нужно, во-первых, найти источник информации и, во-вторых, отфильтровать нужные для исследования сообщения. Далее необходимо определить тональность собранных высказываний.
Следующим шагом необходимо набрать информацию о выбранных характеристиках городов России и привести ее к удобному для работы виду.
Наконец, планируется выделить те характеристики городов, которые оказывают наибольшее влияние на тональность сообщений. Опционально города планируется разбить на таксоны и определить, к какому типу городов люди относятся лучше всего. 3
Аналогичные работы
Идея использовать Twitter для анализа мнений людей по различным
вопросам возникла довольно давно [
Предполагаемое решение В качестве источника сообщений решено использовать Twitter, так как он имеет широкую и разнообразную аудиторию, и содержит огромное количество сообщений, которое растет с каждым днем. Кроме того данная сеть предоставляет API для работы с потоком новых сообщений и данные в качестве грантов3. Для отбора сообщений о городах используется, во-первых, словарь их полных и сокращенных названий в различных морфологических формах, во-вторых геолокация. Для фильтрации спама на обучающей 3 https://blog.twitter.com/2014/introducing-twitter-data-grants выборке тренируется наивный классификатор Байеса. Сообщения подвергаются предварительной обработке, которая включает нормализацию сообщений, осуществляемую при помощи Pymorphy4, и исключение стоп-слов. Стоп-слова планируется убрать автоматически, используя индекс TF-IDF на всей коллекции собранных сообщений из Twitter[6],а так же находящиеся в открытом доступе словари. Так же планируется заменить все эмотиконы на специальные слова, соответствующие их тональности.
Для оценки тональности полученных сообщений выбраны наивный классификатор Байеса из-за его простоты и эффективности, а так же метод опорных векторов из-за его точности [5]
Отдельный интерес представляет использование алгоритма классификации FRiS Stolp [7]. Интерес обусловлен желанием проверить пригодность данного алгоритма для решения задач анализа текстов.
Информацию о городах планируется собрать в полуавтоматическом режиме, используя интернет ресурсы, в частности, Wikipedia. Для кластеризации городов будет использован алгоритм FRiS Tax [7].
Для определения наиболее значимых признаков предлагается использовать способность алгоритма Random Forest определять важность используемых признаков [8]. Достаточно просто обучить алгоритм на таблице объектсвойство всех городов с целевым признаком тональности, который высчитывается как сумма тональностей всех сообщений, относящихся к данному городу. 5
Заключение В работе обозначена задача выявления характеристики городов, которые оказывают влияние на тональность сообщений в социальных сетях. Так же представлено предполагаемое решение этой задачи, основанное на анализе тональности сообщений социальной сети Twitter методами машинного обучения. Список литературы 4 https://pythonhosted.org/pymorphy/ 5. Клековкина, М. В., Котельников, Е. В. Автоматический анализ текстов на основе методов машинного обучения // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции ¾Диалог¿ (Бекасово, 30 мая – 3 июня 2012 г.). – Вып. 11 (18). – М. : Изд-во РГГУ, 2012. 6. Ramos, J. Using TF-IDF to Determine Word Relevance in Document Queries //
The First Instructional Conference on Machine Learnin, 2003. 7. Borisova, I. A., Dyubanov, V. V., Kutnenko, O. A., Zagoruiko, N. G. Use of the FRiS-Function for Taxonomy, Attribute Selection and Decision Rule Construction /в сб ¾Lecture Notes in Computer Science¿ С. 256–270. Berlin: Springer Berlin Heidelberg, 2011. 8. Breiman, L. Random Forests // Machine Learning, 2001. Т. 45. № 1. C. 5–32.
Alexander Zyryanov, Nikita Putintsev Abstract. The paper is devoted to analysis of messages in the Twitter social network. The present study is focused on which Russian cities’ features do affect the opinions’ sentiments expressed by people.