К моделям данных, появившимся в последнее время, относятся разнообразные NoSQL-модели: документные модели (системы SimpleDB, MongoDb, CouchDB), модели с колоночным хранением (системы HBase, HyperTable, Cassandra), модели «ключ-значение» (системы Voldemort, Riak, Redis, Scalaris).

Развиваются онтологические и семантические модели, такие, как семейства RDF и OWL; графовые модели (системы Neo4j, Dex, GraphDB, HyperGraphDB, Trinity, Pregel); модели, основанные на многомерных массивах -ММмодели (SciDB).

Методы создания унифицированного представления различных видов нетрадиционных моделей в канонической информационной модели (общем языке, унифицирующем языки разнообразных моделей данных) в последнее время активно исследовались в ИПИ РАН. Были рассмотрены подходы к унификации моделей данных различных классов: семантических (OWL [10], RDF [3]), графовых [5], ММ-моделей [4], NoSQL-моделей [2]. В качестве канонической модели рассматривался язык СИНТЕЗ [11] [1], реализованы адаптеры реляционной и объектно-реляционной моделей, адаптер веб-сервисов, XML-адаптер и другие. Формальной базой для построения адаптеров служат отображения моделей данных ресурсов в каноническую модель [6], разработанные в результате унификации моделей ресурсов.

Для материализованной интеграции ресурсов в комбинированной архитектуре необходима масштабируемая платформа манипулирования большими разноструктурированными данными (ПМБРД). В качестве такой платформы в данной работе выбрана связка системы Hadoop и системы организации реляционных хранилищ данных над Hadoop -WR-Hadoop (в качестве которой могут использоваться, например, системы Big SQL [22] или Hive [9]).

Платформа Потенциально, в качестве ПМБРД может быть выбрана и другая платформа: например, вместо Hadoop могут быть использованы такие системы, как Apache Spark [8,28], GraphLab [20,25], Disco [14]

Рассмотрим пример коллекции данных, представленной в модели данных графовой СУБД Neo4j [26]. Небольшой подграф базы данных о фильмах, включающий основные виды вершин, ребер и атрибутов, изображен на рис. 2.

Вершины графа соответствуют фильмам и людям, ребра графа соответствуют участию людей в создании фильма как актеров (CAST) или режиссера (DIRECTS). Люди характеризуются именем (name), фильмыназванием (title) и годом создания (year), роли актеровименем персонажа (character). Вершины и ребра графа обладают уникальными идентификаторами.

Графовая БД системы Neo4j может быть сериализована в формате JSON. Представление для вышеприведенного графа в JSON выглядит следующим образом:

[{ "id": 1, "type": "node", "labels": ["MOVIE"], "properties": {"title": "Lost in translation", "year": 2003} }, { "id": 2, "type": "node", "labels": ["PEOPLE"], "properties": {"name": "Bill Murray"} }, { "id": 3, "type": "node", "labels": ["PEOPLE"], "properties": {"name": "Sofia Coppola"} }, { "id": 4, "type": "relationship", "start_node": 1, "end_node": 2, "relationship_type": "CAST", "properties": {"character": "Bob Harris"} }, { "id": 5, "type": "relationship", "start_node": 3, "end_node": 1, "relationship_type": "DIRECTS" }] { "http://dbpedia.org/resource/Cambridge": { "http://dbpedia.org/property/officialName": [ { "type": "literal", "lang" : "en", "value" : "City of Cambridge" } ], "http://dbpedia.org/ontology/areaTotal": [ { "type": "literal", "value": 115650000, "datatype": "http://www.w3.org/XMLSchema#double"}], "http://dbpedia.org/ontology/isPartOf": [ { "type": "uri", "value": "http://dbpedia.org/resource/East_of_England" }, { "type": "uri", "value": "http://dbpedia.org/resource/Cambridgeshire" } ], "http://dbpedia.org/ontology/leaderName": [ { "type": "uri", "value": "http://dbpedia.org/resource/Andrew_Lansley"} ] } } { "http://dbpedia.org/resource/Andrew_Lansley": { "http://dbpedia.org/property/name": [ { "type" : "literal", "lang" : "en", "value" : "Andrew Lansley" } ], "http://dbpedia.org/ontology/birthDate": [ { "type": "literal", "value": "1956-12-10+02:00", "datatype": http://www.w3.org/XMLSchema#date } ], "http://dbpedia.org/ontology/party": [ { "type": "uri", "value": "http://dbpedia.org/resource/Conservative_ Party_(UK)" } ] , "http://dbpedia.org/ontology/electionMajority": [ { "type": "literal", "value": 7838, "datatype" : "http://www.w3.org/XMLSchema#integer"}] } }

Свойства Кембриджа как объекта включают, в частности, название (officialName), площадь (areaTotal), вышестоящие территориальные образования (isPartOf), лидера (leaderName). Свойства Эндрю Лэнсли, как объекта базы знаний , включают имя (name), дату рождения (birthDate), партию (party), количество голосов на выборах (electionMajority).

Реляционное представление объектов такого рода может выглядеть следующим образом. Схема реляционной БД состоит из двух отношений, одно из которых соответствует городам (Cities), другоеперсонам (Persons). Атрибутам отношений соответствуют свойства объектов. В RDFхранилищах подобные отношения, группирующие свойства однородных объектов, называются таблицами свойств (property tables [29]). { "user_id": "6835", "message_id": 254, "source": "ВКонтакте", "extracted_objects":{ "persons": [{ "name": "Василий", "surname": "Петров", "position": "губернатор"}], "territorial_entities": [ {"name": "Бобруйская", "type": "область"}, {"name": "Ухтомский", type: "район"}] }, "sentiment": "negative", "negative_keywords":

["барак", "отчаяние", "прогнивший"] }