Aprendiza je profundo para la extraccion de aspectos: tarea esencial en la creacion y uso de las ontolog as

Abstract

On the internet, a large amount of information is organized and related through the technologies and components that de ne the Semantic Web. Other data sources such as blogs, web pages and digital documents contain important information, but it is not well organized or structured. For many institutions and people, it is important to extract and organize this information automatically by using knowledge sources such as ontologies. The e cient use of these sources of knowledge is conditioned by an e ective process of information extraction. This process requires performing several natural language processing tasks. One of the most important tasks is the aspect extraction or the extraction of entity characteristics, events or objects in the processed information. An e cient aspect extraction allows an e ective use of ontologies. In recent years, researchers have applied models based on Deep Learning algorithms to extracting aspects with good results. This paper is focus on the study of the main results related to the application of Deep Learning techniques in the aspect extraction task. The analysis presented here will facilitate the selection of Deep Learning methods for aspect extraction, as well as the textual representation models to be used that allow obtaining good results, and thus contribute satisfactorily to the use of ontologies.

Keywords

• Aspect Extraction
• Deep Learning
• Ontology
• Semantic Web

-

Resumen. En internet gran cantidad de informacion es organizada y relacionada a traves de las tecnolog as y componentes que de nen a la Web Semantica. Otras fuentes de datos como los blogs, paginas web y documentos digitales contienen informacion importante, pero no organizada o estructurada. Para muchas instituciones y personas es importante extraer y organizar esta informacion de manera automatica empleando fuentes de conocimiento como las ontolog as. El uso e ciente de estas fuentes de conocimiento esta condicionado por un e caz proceso de extraccion de la informacion. Este proceso requiere realizar varias tareas del procesamiento del lenguaje natural. Una de las tareas mas importantes es la extraccion de aspectos o caracter sticas de entidades, eventos u objetos presentes en la informacion procesada. Una extraccion de aspectos e ciente permite un empleo efectivo de las ontolog as. En los ultimos an~os, los investigadores han aplicado los modelos basados en algoritmos del Aprendizaje Profundo a la extraccion de aspectos con buenos resultados. En este trabajo se realizo un estudio de las investigaciones relacionadas con estos algoritmos y la extraccion de aspectos. El analisis que aqu se presenta facilitara la seleccion de los metodos de Aprendizaje Profundo para la extraccion de aspectos, as como las formas de representacion textual a utilizar que permitan obtener buenos resultados, y as contribuir satisfactoriamente al uso de las ontolog as.

Palabras Claves: Extraccion de Aspectos, Aprendizaje Profundo, Ontolog as, Web Semantica 1

Introduccion

Las tecnicas y componentes de la Web Semantica han permitido la creacion de contenidos y recursos como Wikitology [ 14 ], DBpedia [ 6 ], YAGO [ 56 ], Freebase [ 10 ] y WordNet [ 34 ]. La extraccion de conocimiento e informacion con estos recursos permite la creacion de servicios y el analisis efectivo de los datos [ 45 ]. Otros datos son publicados en fuentes como blogs, paginas web y documentos digitales de forma no estructurada. Para el procesamiento y recuperacion de la informacion no estructurada se realizan varias tareas del procesamiento del lenguaje natural (PLN). Una de las tareas importantes es la extraccion de aspectos porque permite obtener mayor informacion de los documentos y oraciones de textos digitales. Esta tarea se encarga de extraer aspectos o caracter sticas de las entidades, eventos u objetos escritos en los documentos. Por ejemplo, en la oracion \La comida de ese restaurante es deliciosa y barata" se debe extraer el aspecto \comida" de la entidad \restaurante". En este ejemplo el aspecto aparece como una palabra simple, pero puede contener frases compuestas que hacen esta tarea aun mas compleja [ 30 ].

Desde inicios del 2000 han aumentado las investigaciones dirigidas a abordar la extraccion de aspectos. Varias propuestas [ 1,49 ] para la extraccion automatica de aspectos han empleado ontolog as como: WordNet [ 34 ], SentiWordNet [ 8 ], WordNet-A ect [ 54 ], o ConceptNet [ 53 ]. En el estado del arte realizado en [ 25 ] se reporta, desde el 2010 hasta la fecha, la existencia de varios trabajos que emplean ontolog as como estrategias de busquedas de informacion o combinan el empleo del analisis semantico con ontolog as. En varios trabajos se realiza la extraccion de aspectos como un paso previo al uso de las ontolog as [ 5,52 ]. Estas se usan luego para determinar el dominio o el signi cado correcto de los aspectos segun su contexto de ocurrencia. En otras publicaciones, se realiza la extraccion de aspectos a partir del uso directo de las ontolog as [ 26,38,55 ].

Con el objetivo de acelerar el proceso de desarrollo de las ontolog as los investigadores en ocasiones tratan de reusar los recursos no ontologicos, como son los esquemas de clasi cacion, tesauros, lexicones y folcsonom as que han alcanzado un grado de consenso en la comunidad cient ca [ 55 ]. Mediante la reutilizacion de recursos no ontologicos se puede reducir el tiempo y los costos asociados al desarrollo de ontolog as. Ademas, se pueden desarrollar ontolog as de mejor calidad mediante la reutilizacion de recursos estandarizados o consensuados por la comunidad de expertos en diversos dominios. Existen varias metodolog as que proponen gu as para el desarrollo de ontolog as: METHONDOLOGY, On-ToKnowledge, DILIGENT, NeOn, entre otras [ 42 ].

En NeOn [ 55 ] se propone una gu a para tener en cuenta recursos no-ontologicos durante la creacion de una ontolog a. La gu a plantea un escenario que muestra el caso donde los desarrolladores de ontolog as necesitan analizar un recurso no ontologico y decidir, segun los requerimientos de la ontolog a a crear, cuales recursos (i.e., tesauros, glosarios, bases de datos, etc.) deben ser seleccionados para crear la red ontologica. As , el proceso consta de tres pasos: (1) ingenier a inversa de los recursos no-ontologicos, (2) transformacion de los recursos no-ontologicos, e (3) ingenier a avanzada de la ontolog a.

El primer paso tiene como objetivo analizar un recurso no ontologico para identi car los componentes o informacion presente y crear la representacion de los datos en los diferentes niveles de abstraccion (de disen~o, requerimientos y conceptual). El segundo tiene como proposito generar un modelo conceptual a partir de estos recursos [ 55 ]. Por tanto, la aplicacion de tecnicas para el PLN y en especial la extraccion de aspectos constituyen herramientas de gran utilidad para llevar a cabo los pasos 1 y 2.

Siguiendo ideas muy similares a las planteadas por la metodolog a NeOn, varios trabajos proponen estrategias para la construccion de ontolog as desde conjuntos de documentos. En [ 60 ] se muestran los avances mas recientes para la construccion de taxonom as desde textos, se de nen subtareas relevantes, recursos para la evaluacion y retos para investigaciones futuras. En [ 26 ] se propone una estrategia semantica para extraer taxonom as de dominios desde textos que transita por cuatro etapas. La primera extrae terminos de un conjunto de documentos. En la segunda etapa, de estos terminos se toman los mas relevantes para un dominio espec co usando un ltro. En la tercera etapa se desambiguan los terminos y son generados los conceptos. En la ultima etapa se establecen relaciones entre conceptos usando una tecnica para asociarlos a una categor a, teniendo en cuenta su coocurrencia en el texto. Una vez generada la nueva taxonom a, esta puede convertirse automaticamente en una ontolog a. En [ 16 ] se usa una estrategia empleando la Arquitectura General para la Ingenier a de Texto (General Architecture for Text Engineering ; GATE 1) para poblar ontolog as desde documentos.

El proceso de extraccion de terminos o conceptos de las propuestas anteriores es un campo de accion para los metodos de extraccion de aspectos. En [ 26 ] se propone un algoritmo semi-supervisado difuso para minar una ontolog a de productos a partir de los conceptos que los de nen. En este art culo los conceptos estan asociados a los aspectos expl citos o impl citos en el texto para cada producto. Para la extraccion de aspectos se emplea el metodo Asignacion La1 https://gate.ac.uk/ tente de Dirichlet (Latent Dirichlet Allocation; LDA) [ 9 ]. Cada topico o aspecto seleccionado por el algoritmo representa un concepto. Para estimar el grado de inclusion entre conceptos se propone un modelo de lenguaje probabil stico. A partir del valor probabil stico de la pertenencia de un concepto con respecto a otro se de ne una funcion de relacion taxonomica difusa. Estos trabajos demuestran la utilidad de la extraccion de aspectos para la creacion de ontolog as a partir de recursos no ontologicos.

Una subtarea de gran relevancia para el analisis de sentimiento y el PLN es la extraccion de aspectos porque permite obtener mayor informacion de los documentos y oraciones de textos digitales. Esta tarea se encarga de extraer aspectos o caracter sticas de las entidades, eventos u objetos escritos en los documentos [ 30 ]. La extraccion de aspectos y las ontolog as tienen gran importancia para el analisis de sentimientos en opiniones sobre productos, por ejemplo, en el caso de productos electrodomesticos. Al procesar informacion sobre estos pudieramos encontrar la siguiente oracion: \La bater a es muy buena aun cuando se usa el ash y el LCD". En este ejemplo se pueden extraer como opiniones candidatas \bater a-buena", \ ash-buena" y \lcd-buena". Para una efectiva extraccion de las relaciones se pueden agrupar las caracter sticas de los productos con una ontolog a de productos como se muestra en la Fig. 1. Esto permite agrupar aspectos de productos con signi cados similares.

Un reto muy importante para la Web Semantica es relacionar la informacion no estructurada o que no ha sido creada con relaciones semanticas en su contenido. Las tecnicas que logran la extraccion de aspectos permiten a investigadores y desarrolladores tener herramientas para lograr relacionar el contenido. Esto se logra al poder enlazar las entidades con los aspectos o caracter sticas asociadas a ellos y que estan presentes en el texto digital. Seleccionar una estrategia correcta para la extraccion de aspectos es determinante para lograr sistemas que permitan construir recursos para la Web Semantica.

Por otro lado, el concepto de Aprendizaje Profundo agrupa a un conjunto de algoritmos que han tenido mucho exito al resolver problemas en varios dominios del conocimiento humano, entre ellos, el procesamiento de imagenes [ 50 ] y el procesamiento del lenguaje natural [ 7 ]. Estos algoritmos usan redes neuronales y permiten el aprendizaje automatico de las caracter sticas del problema. De nen varias capas de abstraccion y logran que los sistemas aprendan las mas complejas representaciones del conocimiento. Estos metodos adquieren la habilidad de aprender las caracter sticas que son importantes y usan grandes volumenes de informacion para el aprendizaje [ 13 ]. Las diferentes estrategias o algoritmos del Aprendizaje Profundo han sido aplicadas con exito en la tarea de extraccion de aspectos [ 17,29,36 ]. Por esta razon, en esta investigacion se hace un analisis de los trabajos que emplean estos algoritmos para la extraccion de aspectos con el objetivo de determinar las estrategias de mejor desempen~o, as como las formas de representacion del conocimiento efectivas. 2

Metodolog a empleada en la investigacion

Esta investigacion se basa en los criterios expuestos en [ 62 ] y se oriento a los art culos relacionados a la extraccion de aspectos empleando algoritmos del Aprendizaje Profundo. Los art culos analizados comprenden un per odo de tiempo entre enero 2011 hasta febrero 2018. Si los estudios han sido publicados en mas de una fuente o memorias de conferencias, se eligio el trabajo mas completo. Se tuvieron en cuenta las publicaciones de varias fuentes de busqueda de investigacion cient ca: ACM Digital Library, IEEE Explorer, ScienceDirect, Scopus, Springer Link y Google Scholar. No se tomaron en cuenta los trabajos que no tienen referencia de la revista, conferencia o memoria de evento, ni aquellos que son un resumen o publicacion parcial de otro art culo. Los terminos principales de busqueda fueron: extraccion de aspectos aprendizaje profundo (aspect extraction deep learning ), nivel de aspecto aprendizaje profundo (aspectlevel deep learning ), y nivel de caracter sticas aprendizaje profundo (feature level deep learning ). En el trabajo se analizaron las formas de representacion de la informacion, los algoritmos o metodos mas empleados y los resultados obtenidos. El analisis comprende 32 art culos de investigacion y 26 art culos de revision. 3

Analisis de los resultados y discusion

Para contribuir a la investigacion es util realizar una evaluacion, identi cacion e interpretacion de las investigaciones mas relevantes sobre el tema que se aborda hasta la fecha. Una busqueda sobre revisiones de la literatura o estados del arte revelo la existencia de varios trabajos de este tipo.

En [ 58 ] se hace un analisis de varias estrategias del Aprendizaje Profundo para el analisis de sentimiento y solo se hace alusion a tres art culos que abordan el objeto de investigacion de este trabajo. En [ 31 ] el objetivo fue estudiar los algoritmos que realizan la extraccion de aspectos pero solo se menciona una propuesta que emplea algoritmos del Aprendizaje Profundo. En [ 35 ] se hace un estudio del estado del arte de metodos que han dado una propuesta para la tarea de extraccion de aspectos pero no se menciona ninguna propuesta que emplee metodos del Aprendizaje Profundo. La revision realizada en [ 66 ] menciona solo dos propuestas que emplean algoritmos del Aprendizaje Profundo. En el trabajo publicado en [ 3 ] se presenta una revision sistematica de la literatura orientada a las propuestas existentes para el analisis de sentimiento y se reporta la existencia de tres propuestas que realizan la extraccion de aspectos empleando algoritmos del Aprendizaje Profundo. Ramya y un colectivo de autores [ 43 ] analizan varias propuestas que realizan la extraccion de aspectos o caracter sticas y solamente referencian una investigacion sobre el tema de esta investigacion. El estudio presentado en [ 44 ] es un estado del arte de las investigaciones que enfrentan la tarea de la extraccion de aspectos y no se menciona ninguna propuesta que use algoritmos del Aprendizaje Profundo. En [ 21 ] solo se menciona la investigacion publicada en [ 41 ] y se a rma que esta es la primera que realizo la extraccion de aspectos con algoritmos del Aprendizaje Profundo. El resto de los estados del arte analizados, por solo citar los mas recientes [ 2,4,15,25,32,46,48 ] no mencionan investigaciones sobre la extraccion de aspectos o el empleo de tecnicas del Aprendizaje Profundo para esta tarea.

Los 26 estados del arte o revisiones sistematicas de la literatura que se consultaron en esta investigacion tienen una escasa referencia a investigaciones que enfrentan la tarea de la extraccion de aspectos y usan algoritmos del Aprendizaje Profundo. Durante el per odo de enero de 2011 a febrero de 2018 se encontraron 36 art culos que muestran resultados al enfrentar la tarea de extraccion de aspectos empleando diferentes algoritmos del Aprendizaje Profundo. De la informacion obtenida se realiza un analisis orientado a estudiar, por su importancia, los algoritmos del Aprendizaje Profundo y sus resultados en la extraccion de aspectos, los modelos para la representacion de la informacion y otros datos de interes para los investigadores. Por otro lado, las ontolog as son un valioso recurso para la Web Semantica. Por tanto, esta investigacion contribuye a tener una vision general del empleo de tecnicas que pueden mejorar el uso de ontolog as en el PLN y su enriquecimiento a partir de la extraccion de aspectos. 3.1

Algoritmos del Aprendizaje Profundo empleados en la extraccion de aspectos

Los algoritmos del Aprendizaje Profundo se pueden usar en la solucion de problemas a traves de enfoques supervisados, no supervisados o pueden usar propuestas h bridas combinando la salida de un metodo no supervisado con otro supervisado [ 13 ]. Algunos ejemplos de algoritmos del Aprendizaje Profundo propuestos en [ 13 ] y [ 28 ] son: las Redes Neuronales Convolucionales (Convolutional Neural Networks ; CNN) [ 27 ], las Redes Neuronales Recurrentes (Recurrent Neural Network ; RNN) [ 61 ], la propuesta nombrada Memoria a Corto Plazo (Long Short Term Memory ; LSTM) [ 22 ], Autoencoders [ 11 ], Redes de Creencia Profunda (Deep Belief Network ; DBN), Maquinas de Boltzman Restringidas (Restricted Boltzmann Machines ; RBM) [ 51 ], Maquinas Profundas de Boltzman (Deep Boltzman Machine; DBM) [ 47 ].

En el analisis realizado en esta investigacion se encontraron mas trabajos con modelos supervisados que no supervisados o h bridos. De las propuestas que siguen un enfoque supervisado, 12 corresponden a variantes que usan CNN. En [ 18,41,19 ] se emplea una variante de CNN mediante el uso de una secuencia de redes convolucionales donde la salida de una red es la entrada de la otra. Este algoritmo es conocido como Redes Convolucionales Apiladas o en Cascada (Convolucional Stacked Network ; CSN). La seleccion de este tipo de algoritmo por parte de los investigadores se justi ca por la variedad de problemas del PLN resuelto aplicando las CNN y los buenos resultados obtenidos. Esta tecnica permite a partir de la representacion de las palabras aplicar una operacion de convolucion o de seleccion de caracter sticas importantes en cada capa de la red.

Otros enfoques del Aprendizaje Profundo muy empleados de forma supervisada son las LSTM y las RNN. De los trabajos analizados, 13 usan algoritmos de uno de estos dos tipos. El empleo de estos algoritmos por parte de los autores se justi ca porque estas tecnicas estan especializadas para procesar secuencias de valores. Estos metodos procesan una oracion desde el inicio hasta el nal, analizando una palabra a la vez. Ademas, estos metodos se auxilian de las relaciones de dependencias y los arboles sintacticos para extraer a nivel de palabras las relaciones semanticas y sintacticas. De esta forma, logran capturar las representaciones del conocimiento mas abstractas y de mas alto nivel en diferentes capas. Por otro lado, las RNN son capaces de modelar secuencias de taman~o arbitrario por la aplicacion de unidades recurrentes a lo largo de las secuencias de tokens. Las RNN tienen como desventajas el desvanecimiento o explosion del gradiente. Esto provoca que las RNN no sean su cientes para modelar dependencias de gran taman~o. Este problema ha motivado que varias propuestas usen las LSTM para la extraccion de aspectos [ 57,67 ].

El resto de los trabajos revisados emplean los algoritmos del Aprendizaje Profundo de forma no supervisada, como se muestra, por ejemplo, el uso de Autoencoders en la investigacion publicada en [ 17 ]. Esta tecnica implementa una red neuronal que copia los datos de la capa de entrada en la capa de salida. Internamente, tiene una capa oculta que a traves de dos funciones f y r se encargan de codi car y decodi car los datos de entrada. Por lo general, estas funciones se de nen de forma que la copia sea aproximada y de esta manera el modelo es forzado a priorizar aquellos aspectos que sean propiedades utiles de los datos.

En [ 60 ] se prueba un RBM para la extraccion de aspectos. Esta red neuronal es un modelo basado en energ a con una distribucion de probabilidad conjunta especi cada por una funcion de energ a. El RBM representa un grafo no dirigido probabil stico que contiene una capa de variables observables y una capa de variables latentes. Su representacion modela un grafo bipartito entre la capa de entrada y de variables latentes donde el calculo de algunas variables puede ser exhaustivo y costoso. En [ 60 ] las unidades de la capa oculta representan aspectos, sentimientos previamente seleccionados y palabras de rechazo, mientras que la capa de entrada esta asociada a las palabras de las oraciones de entrenamiento.

En [ 20,63 ] se usa una Red de Memoria Profunda (Deep Memory Network ; DMN) que es entrenada a partir de un conjunto de aspectos prede nidos. En varios trabajos [ 12,20,23,63 ] se reporta el empleo de un mecanismo conocido como Mecanismo de Atencion (Attention Mecanism) que promedia los pesos que pueden ser relevantes en otros puntos de una red neuronal. Este mecanismo permite incluir caracter sticas lingu sticas o sintacticas al proceso de aprendizaje de la red neuronal que implementa el algoritmo del Aprendizaje Profundo. Varias propuestas [ 24,41,65 ] agregan reglas lingu sticas al empleo de algoritmos del Aprendizaje Profundo. Debido a que la extraccion de aspectos es una tarea de gran importancia en el analisis de sentimientos basado en aspectos, aparecen muchas propuestas que realizan la extraccion de aspectos y la clasi cacion de la polaridad de los aspectos (positiva, negativa y neutra) de forma paralela [ 37,58,64 ], lo que di culta determinar cuales tecnicas fueron propiamente utilizadas para la extraccion.

De todos los trabajos analizados, el propuesto en [ 41 ], empleando un CNN con siete capas consecutivas o apiladas, obtuvo los mejores resultados alcanzando un 86 % para la Medida-F al evaluar su propuesta en un conjunto de datos de opiniones de restaurantes [ 40 ]. Es importante sen~alar que la calidad de la extraccion de los aspectos no solo depende de las tecnicas de Aprendizaje Profundo que se apliquen, en los resultados tambien repercute la forma de representacion textual. Por ello, que en la proxima seccion abordaremos sobre las principales formas de representacion de la informacion y su repercusion en la extraccion de aspectos. 3.2

Formas de representacion de la informacion

La forma de representacion de la informacion esta asociada a la posible organizacion de la informacion del texto no estructurado. Los textos generalmente se conforman por parrafos, oraciones y palabras. Una correcta organizacion de la informacion no estructurada es necesaria para lograr un efectivo entrenamiento de los algoritmos del Aprendizaje Profundo y consecuentemente una e caz extraccion de aspectos.

El Aprendizaje Profundo se basa esencialmente en el trabajo con redes neuronales. Uno de los retos mas importantes al utilizar redes neuronales es lograr una forma de representacion correcta para los datos de entrada a la red. Los conjuntos de entrenamiento de estas redes estan formados por documentos u oraciones que contienen palabras. El Word Embedding [ 33 ] se de nio para lograr un mejor entrenamiento de las redes neuronales que se utilizan en el procesamiento del lenguaje natural. Word Embedding es el nombre de un conjunto de lenguajes de modelado y tecnicas de aprendizaje donde las palabras o frases del vocabulario son vinculadas a vectores de numeros reales. Conceptualmente transforma un espacio con una dimension por cada palabra a un espacio vectorial continuo con menos dimensiones [ 27 ]. La herramienta word2vec 2 fue creada para la creacion de estos vectores a partir de un conjunto de palabras.

De las propuestas analizadas, 31 emplean como forma de representacion el Word Embedding. Este necesita de grandes volumenes de informacion para la creacion de los vectores asociados a las palabras. En [ 33 ] se propuso e hizo 2 https://code.google.com/archive/p/word2vec/ publico un conjunto de vectores pre-entrenados, a partir de un conjunto de datos de noticias procedentes del sitio Google News 3 (100 mil millones de palabras). El modelo contiene un vector de dimension 300 para 3 millones de palabras o frases. Este conjunto de vectores fue empleado por 13 de los 31 trabajos que emplean Word Embedding. El resto usa la herramienta word2vec para construir los vectores asociados al conjunto de palabras. En varios trabajos [ 12,59,19 ] se usan conjuntos de datos, como el propuesto en Yelp 4 o Amazon 5, para el entrenamiento del vector asociado a las palabras.

El concepto de vector de valores reales asociados a palabras puede ser extendido a oraciones o parrafos, a partir del conjunto de datos de entrenamiento. En [ 20 ] se realiza el entrenamiento del vector de valores reales en funcion de las oraciones presentes en el conjunto de datos y en el trabajo publicado en [ 39 ] se emplean los parrafos. Estas formas de representacion de la informacion repercutieron negativamente en la calidad de la extraccion de aspectos.

En [ 17 ] se emplea una bolsa de palabras (bag-of-words ) y se obtiene un vector binario que codi ca la presencia/ausencia de unigramas y bigramas. En [ 60 ] se tiene un vector de palabras y se calcula la frecuencia de los terminos (Term Frecuency ; TF) para los sustantivos en el conjunto de datos de entrenamiento y se calcula la frecuencia inversa del documento (Inverse Document Frecuency ; IDF) en un conjunto de datos de n-gramas de Google 6. Las propuestas que utilizan estas formas de representacion no necesitan grandes conjuntos de datos para su entrenamiento y no tiene una representacion vectorial de grandes dimensiones. Sin embargo, pierden la riqueza semantica que posee el Word Embedding y, por tanto, no superan los resultados de las propuestan que lo emplean. 4

Conclusiones y recomendaciones

Las ontolog as son usadas en el proceso de extraccion de la informacion no estructurada. En este proceso es necesario realizar varias tareas del PLN, especialmente la subtarea de extraccion de aspectos. Esta subtarea se usa en combinacion con ontolog as para obtener mayor informacion de la fuente de datos no estructurados. Se han desarrollado varias propuestas que intentan extraer aspectos, dentro de estas, las tecnicas del Aprendizaje Profundo han granado gran popularidad por los buenos resultados obtenidos. Sin embargo, los 26 estados del arte o revisiones sistematicas de la literatura que se consultaron en esta investigacion tienen una escasa referencia a investigaciones que enfrentan la tarea de la extraccion de aspectos y usan algoritmos del Aprendizaje Profundo. Es por ello que en esta investigacion se realizo un estudio de las principales publicaciones sobre el tema y se logro suplir as las carencias de los art culos de revision consultados. El analisis de los 36 art culos sobre el uso del Aprendizaje Profundo 3 https://news.google.com 4 https://www.yelp.com/datasetchallenge/ 5 http://www.cs.jhu.edu/ mdredze/datasets/sentiment/ 6 http://books.google.com/ngrams/datasets para la extraccion de aspectos publicados desde enero de 2011 hasta febrero de 2018 arrojo las siguientes conclusiones: { CNN es la tecnica del Aprendizaje Profundo mas empleada en la extraccion de aspectos. La seleccion de este tipo de algoritmo por parte de los investigadores se justi ca por la variedad de problemas del PLN resueltos aplicando las CNN y los buenos resultados obtenidos al usar este algoritmo. { Word Embedding con vectores asociados a palabras es la forma de representacion mas empleada para la extraccion de aspectos aplicando Aprendizaje Profundo. La forma mas empleada de entrenar estos vectores parte de un conjunto de datos de Google Noticias. No obstante, algunos investigadores emplean exitosamente otros conjuntos de datos para el entrenamiento inicial del Word Embedding. Esta forma de representacion es muy util para datos de entradas de las redes neuronales de los algoritmos del Aprendizaje Profundo, debido a que representan un vector de numeros reales. Los grandes conjuntos de datos con los que se crean los vectores permiten cubrir gran cantidad de ejemplos y representar la relacion semantica entre palabras, informacion util en el proceso de extraccion de aspectos.

La extraccion automatica de aspectos en datos no estructurados utilizando las CNN con la representacion Word Embedding es una solucion prometedora para un uso efectivo posterior de las ontolog as. El trabajo futuro debe estar orientado a la revision de los resultados de la extraccion de aspectos en multiples dominios y su impacto en los resultados al emplear ontolog as.

References

1. Agarwal , B. , Mittal , N. , Bansal , P. , Garg , S. : Sentiment analysis using commonsense and context informations . Computational Intelligence and Neuroscience 30 ( 2015 )

2. Ain , Q.T. , Ali , M. , Riaz , A. , Noureen , A. , Kamran , M. , Hayat , B. , Rehman , A. : Sentiment analysis using deep learning techniques: a review . International Journal of Advanced Computer Science and Applications (6) , 424 { 433 ( 2017 )

3. Al-Moslmi , T. , Omar , N. , Abdullah , S. , Albared , M. : Approaches to cross-domain sentiment analysis: a systematic literature review . IEEE Access pp. 16173 { 16192 ( 2017 )

4. Alasmari , S.F. , Dahab , M. : Sentiment detection, recognition and aspect identi cation . International Journal of Computer Applications pp. 31 { 37 ( 2017 )

5. Alfonso , M. , Sardinha , R.: Ontology based aspect level opinion mining . International Journal of Engineering Sciences and Research 5 , 797 { 804 ( 2016 )

6. Auer , S. , Bizer , C. , Kobilarov , G. , Lehmann , J. , Cyganiak , R. , Ives , Z. : Dbpedia: a nucleus for a web of open data . The Semantic Web. Lecture Notes in Computer Science 4825 , 722 { 735 ( 2007 )

7. Azzam , A. , Tazi , N. , Hossny , A. : Text-based question routing for question answering communities via deep learning . In: Symposium on Applied Computing , Marrakech, Marruecos. pp. 1674 { 1678 ( 2017 )

8. Baccianella , S. , Esuli , A. , Sebastiani , F. : SentiWordNet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining . In: Language Resources and Evaluation Conference (LREC) , Valleta, Malta. pp. 2200 { 2204 ( 2010 )

9. Blei , D.M. , Ng , A. , Jordan , M.I. : Latent dirichlet allocation . Journal of machine Learning research (1) , 993 { 1022 ( 2003 )

10. Bollacker , K. , Evans , C. , Paritosh , P. , Sturge , T. , Taylor , J.: Freebase: a collaboratively created graph database for structuring human knowledge . In: ACM SIGMOD international conference on Management of data , Vancouver, Canada. pp. 1247 { 1250 ( 2008 )

11. Bourlard , H. , Kamp , Y. : Auto-association by multilayer perceptrons and singular value decomposition . Biological Cybernetics pp. 291 { 294 ( 1988 )

12. Cheng, J., Zhao , S. , Zhang, J., King , I. , Zhang , X. , Wang , H. : Aspect-level sentiment classi cation with heat (hierarchical attention) network . In: ACM on Conference on Information and Knowledge Management , Singapore, Singapore. pp. 97 { 106 ( 2017 )

13. Deng , L. , Yu , D. : Deep learning in medical image analysis . Foundations and Trends in Signal Processing (3-4) , 197 { 387 ( 2014 )

14. Finin , T. , Syed , Z. : Creating and exploiting a web of semantic data . In: International Conference on Agents and Arti cial Intelligence , Valencia, Espan~a. pp. 7 { 18 ( 2010 )

15. Ganeshbhai , S.Y. , Shah , B.K. : Feature based opinion mining: a survey . In: IEEE International Advance Computing Conference (IACC) , Bangalore, India. pp. 919 { 923 ( 2015 )

16. Ganino , G. , Lembo , D. , Scafoglieri , F. : Ontology Population from Raw Text Corpus for Open-Source Intelligence . Current Trends in Web Engineering pp. 173 { 186 ( 2018 )

17. Glorot , X. , Bordes , A. , Bengio , Y. : Domain adaptation for large-scale sentiment classi cation: a deep learning approach . In: 28th international conference on machine learning (ICML-11) , Bellevue, Washington, USA. pp. 513 { 520 ( 2011 )

18. Gu , X. , Gu , Y. , Wu , H.: Cascaded convolutional neural networks for aspect-based opinion summary . Neural Processing Letters pp. 581 { 594 ( 2017 )

19. H. Ye , Z. Yan , Z.L.y.W.C. : Dependency-tree based convolutional neural networks for aspect term extraction . In: Paci c-Asia Conference on Knowledge Discovery and Data Mining , Jeju, South Korea. pp. 350 { 362 ( 2017 )

20. He , R. , Lee , W.S. , Ng , H.T. , Dahlmeier , D.: An unsupervised neural attention model for aspect extraction . In: 55th Annual Meeting of the Association for Computational Linguistics , Vancouver, Canada. pp. 388 { 397 ( 2017 )

21. Hemmatian , F. , Sohrabi , M.K. : A survey on classi cation techniques for opinion mining and sentiment analysis . Arti cial Intelligence Review pp. 1 { 51 ( 2017 )

22. Hochreiter , S. , Schmidhuber , J.: Long short-term memory . Neural Computation (8) , 1735 { 1780 ( 1997 )

23. Huang , M. , Wang , Y. , Zhu , X. , Zhao , L. : Attention-based lstm for aspect-level sentiment classi cation . In: Empirical Methods in Natural Language Processing , Austin, Texas, USA. pp. 606 { 615 ( 2016 )

24. Joty , S. , Liu, P. , Meng , H.M. : Fine-grained opinion mining with recurrent neural networks and word embeddings . In: Conference on Empirical Methods in Natural Language Processing , Lisboa, Portugal. pp. 1433 { 1443 ( 2015 )

25. Kumar , P.K. , Nandagopalan , S. : Insights to problems, research trend and progress in techniques of sentiment analysis . International Journal of Electrical and Computer Engineering (IJECE) 7 ( 5 ), 2818 { 2822 ( 2017 )

26. Lau , R.Y. , Li , C. , Liao , S.S.: Social analytics: learning fuzzy product ontologies for aspect-oriented sentiment analysis . Decision Support Systems 65 , 80 { 94 ( 2014 )

27. LeCun , Y.: Generalization and network design strategies . Connectionism in perspective pp. 143 { 155 ( 1989 )

28. LeCun , Y., Bengio , Y. , Hinton , G.: Deep learning . Nature (7553) , 436 { 444 ( 2015 )

29. Liao , J. , Wang , S. , Li , D. , Li , X. : FREERL: Fusion relation embedded representation learning framework for aspect extraction . Knowledge-Based Systems pp. 9 { 17 ( 2017 )

30. Liu , B. : Sentiment analysis: Mining opinions, sentiments, and emotions . Cambridge University Press ( 2015 )

31. Luo , C. , Sun , S. , Chen , J.: A review of natural language processing techniques for opinion mining systems . Information Fusion pp. 10 { 25 ( 2015 )

32. Madhoushi , Z. , Hamdan , A.R. , Zainudin , S. : Sentiment analysis techniques in recent works . In: Science and Information Conference (SAI) , 2015 , London , United Kingdom. pp. 288 { 291 . IEEE ( 2015 )

33. Mikolov , T. , Sutskever , I. , Chen , K. , Corrado , G.S. , Dean , J. : Distributed representations of words and phrases and their compositionality . Advances in Neural Information Processing Systems p. 3111 { 3119 ( 2013 )

34. Miller , G.A. : WordNet: a lexical database for english . Communications of the ACM 38 ( 11 ), 39 { 41 ( 1995 )

35. More , P. , Ghotkar , A. : A study of di erent approaches to aspect-based opinion mining . International Journal of Computer Applications (6)

36. Nguyen , T.H. , Shirai , K. : PhraseRNN: phrase recursive neural network for aspectbased sentiment analysis . In: Conference on Empirical Methods in Natural Language Processing , Lisboa, Portugal. pp. 2509 { 2514 ( 2015 )

37. Nguyen-Hoang , B.D. , Ha , Q.V. , Nghiem , M.Q. : Aspect-based sentiment analysis using word embedding restricted boltzmann machines . In: International Conference on Computational Social Networks . pp. 285 { 297 ( 2016 )

38. Pen ~alver-Mart nez , I., Garcia-Sanchez , F. , Valencia-Garcia , R. , Rodr guez-Garc a, Miguel A ., M.V. , Fraga , A. , Sanchez-Cervantes , J.L. : Feature-based opinion mining through ontologies . Expert Systems with Applications 41 ( 13 ), 5995 { 6008 ( 2014 )

39. Pham , D.H. , Le , A.C. : Learning multiple layers of knowledge representation for aspect based sentiment analysis . Data and Knowledge Engineering ( 2017 )

40. Pontiki , M. , Galanis , D. , Pavlopoulos , J. , Papageorgiou , H. , Androutsopoulos , I. , Manandhar , S. : Semeval-2014 task 4: Aspect based sentiment analysis . In: 8th international workshop on semantic evaluation (SemEval 2014 ). p. 27 { 35 ( 2014 )

41. Poria , S. , Cambria , E. , Gelbukh , A. : Aspect extraction for opinion mining with a deep convolutional neural network . Knowledge-Based Systems pp. 42 { 49 ( 2016 )

42. Poveda , M. : Metodolog a NeOn Aplicada a la representacion del contexto. Maestr a de investigacion en inteligencia arti cial , Universidad Politecnica de Madrid, Madrid, Espafn~ga ( 2010 )

43. Ramya , R.S. , Venugopal , K.R. , Iyengar , S.S. , Patnaik , L.M. : Feature extraction and duplicate detection for text Mining: a survey . Global Journal of Computer Science and Technology. (5) ( 2017 )

44. Rana , T.A. , Cheah , Y.N. : Aspect extraction in sentiment analysis: comparative analysis and survey . Arti cial Intelligence Review (4) ( 2016 )

45. Ristoski , P. , Paulheim , H.: Semantic web in data mining and knowledge discovery: a comprehensive survey . Web semantics: science, services and agents on the World Wide Web 36 ( 11 ), 1 { 22 ( 2016 )

46. Rojas-Barahona , L.M. : Deep learning for sentiment analysis . Language and Linguistics Compass (12) , 701 { 719 ( 2016 )

47. Salakhutdinov , R. , Hinton , G.: Deep boltzmann machines . Arti cial Intelligence and Statistics pp. 448 { 455 ( 2009 )

48. Schouten , K. , Frasincar , F. : Survey on aspect-level sentiment analysis . IEEE Transactions on Knowledge and Data Engineering (3) , 813 { 830 ( 2016 )

49. Shein , K.P.P. : Ontology based combined approach for sentiment classi cation . In: 3rd International Conference on Communications and information technology, Florencia, Italia . pp. 112 { 115 ( 2009 )

50. Shen , D. , Wu , G. , Suk , H.I. : Deep learning in medical image analysis . Annual Review of Biomedical Engineering pp. 221 { 248 ( 2017 )

51. Smolensky , P. : Information processing in dynamical systems: Foundations of harmony theory . Ph.D. thesis , Colorado University at Boulder, Department of Computer Science ( 1986 )

52. Somprasertsri , G. , Lalitrojwong , P. : Mining feature-opinion in online customer reviews for opinion summarization . Journal of Universal Computer Science 16 ( 6 ), 938 { 955 ( 2010 )

53. Speer , R. , Havasi , C. : ConceptNet 5: A large semantic network for relational knowledge . In: The People's Web Meets NLP . pp. 161 { 176 . Springer ( 2013 )

54. Strapparava , C. , Valitutti , A. : WordNet A ect: an a ective extension of wordnet . In: 4th International Conference on Language Resources . p. 1083 { 1086 ( 2004 )

55. Suarez-Figueroa , M.C. , Gomez-Perez , A. , Fernandez-Lopez , M.: The NeOn methodology for ontology engineering . Ontology engineering in a networked world pp. 9 { 34 ( 2012 )

56. Suchanek , F.M. , Kasneci , G. , Weikum , G.: Yago: a core of semantic knowledge . In: 16th International Conference on World Wide Web, Ban , Alberta, Canada. pp. 697 { 706 ( 2007 )

57. Sun , C. , Wang , X. , Liu , Y. , Wang , B. , Wang , X. : Predicting polarities of tweets by composing word embeddings with long short-term memory . In: Association for Computational Linguistics (ACL) ., Beijing, China. pp. 1343 { 1353 ( 2015 )

58. Tang , D. , Qin , B. , Liu , T. : Deep learning for sentiment analysis: successful approaches and future challenges . Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery (6) , 292 { 303 ( 2015 )

59. Toh , Z. , Jian , S.: NLANGP: Supervised Machine Learning System for Aspect Category Classi cation and Opinion Target Extraction . In: 9th International Workshop on Semantic Evaluation, Denver, Colorado, USA. pp. 496 { 501 ( 2015 )

60. Wang , C. , He , X. , Zhou , A. : A Short Survey on Taxonomy Learning from Text Corpora: Issues, Resources and Recent Advances . In: 2017 Conference on Empirical Methods in Natural Language Processing . pp. 1190 { 1203 . ACM ( 2017 )

61. Williams , D. , Hinton , G.: Learning representations by back-propagating errors . Nature (6088) , 533 { 538 ( 1986 )

62. Wohlin , C. , Prikladniki , R.: Systematic literature reviews in software engineering . Information and Software Technology (6) , 919 { 920 ( 2013 )

63. Xiong , S. , Zhang, Y. , Ji , D. , Lou , Y. : Distance metric learning for aspect phrase grouping . In: Conference on Computational Linguistics (Coling) , Osaka, Japon. p. 2492 { 2502 ( 2016 )

64. Xu , L. , Lin , J. , Wang , L. , Yin , C. , Wang , J. : Deep convolutional neural network based approach for aspect-based sentiment analysis . Arti cial Intelligence and Statistics pp. 199 { 204 ( 2017 )

65. Ying , D. , Yu , J. , Jiang , J.: Recurrent neural networks with auxiliary labels for cross-domain opinion target extraction . In: 31st AAAI Conference on Arti cial Intelligence: San Francisco, USA. pp. 3436 { 3442 ( 2017 )

66. Yousif , A. , Niu , Z. , Tarus , J.K. , Ahmad , A. : A survey on sentiment analysis of scienti c citations . Arti cial Intelligence Review pp. 1 { 34 ( 2017 )

67. Yuan , J. , Zhao , Y. , Qin , B. , Liu , T. : Local contexts are e ective for neural aspect extraction . In: IEEE International Advance Computing Conference (IACC) , Bangalore, India. pp. 244 { 255 ( 2017 )