=Paper=
{{Paper
|id=Vol-2231/LALA_2018_paper_18
|storemode=property
|title=Uso de métricas sociales para descubrir patrones de interacción que impactan el aprendizaje (Use of social metrics to discover interaction patterns that impact learning)
|pdfUrl=https://ceur-ws.org/Vol-2231/LALA_2018_paper_18.pdf
|volume=Vol-2231
|authors=Ofelia Cervantes,Regina Motz,Esteban Castillo,José-Luis Velázquez
}}
==Uso de métricas sociales para descubrir patrones de interacción que impactan el aprendizaje (Use of social metrics to discover interaction patterns that impact learning)==
https://ceur-ws.org/Vol-2231/LALA_2018_paper_18.pdf
Use of Social Metrics to Discover Interaction Patterns
that Impact Learning
Ofelia Cervantes1, Regina Motz2, Esteban Castillo1, José-Luis Velázquez1,3
1 Universidad de las Américas Puebla, México
2 Universidad de la República, Uruguay
3 Instituto Tecnológico Superior de San Martin Texmelucan, México
{ofelia.cervantes,esteban.castillojz}@udlap.mx,joseluisvzg@gmail.com,
rmotz@fing.edu.uy
Abstract. Social learning analytics is an emerging discipline that provides new
methods to explore data from social educational environments and a better under-
standing of the student behaviour. In this work we propose the discovery of inter-
action patterns that impact learning, as a result of the interpretation of social met-
rics calculated on the graph that models the interactions between students, be-
tween students and teachers, as well as between students and educational re-
sources that support their learning. The general architecture of DIIA is presented,
an environment oriented to support teachers who use formal and informal social
networks in their teaching activities. The environment has an interface that allows
the visualization and simple interpretation of the patterns detected. In particular,
social metrics implemented and their suggested interpretation applied to discover
patterns that impact learning in either a favourably or unfavourably way are pre-
sented.
Keywords: Social metrics, graph analysis, centrality measures, social learning
analytics, impact on learning.
1 Introducción
El aprendizaje a través de la participación y la construcción social del conocimiento y
su significado, junto con el conocimiento de cómo ser miembro de una comunidad, son
aspectos esenciales de lo que se ha denominado aprendizaje en red. El aprendizaje en
red es aquel que se produce en el marco de un entramado de vínculos sociales tecnoló-
gicamente mediados. Según [1] cuando dicho entramado se encuentra orientado a la
construcción colaborativa de conocimiento, se denomina “red de aprendizaje”. Las
redes de aprendizaje (Learning Networks) son redes sociales en línea mediante las cua-
les los participantes comparten información y colaboran para crear conocimiento. Se-
gún [2] quien acuñó el término conectivismo, el aprendizaje en la era digital ya no es
una actividad individualista. El conocimiento se distribuye a través de las redes. En
nuestra sociedad digital, las conexiones y las conectividades dentro de las redes condu-
cen al aprendizaje. [3] enfatiza la naturaleza interconectada del aprendizaje. Sin entrar
2
en la discusión si estas son nuevas teorías del aprendizaje, se observa que las redes de
aprendizaje, se construyen a través del flujo de las interacciones grupales. Como señala
[4] estas interacciones, a diferencia de otras variantes de interacción grupal, por su na-
turaleza digital se vuelven visibles a través de los rastros que las interacciones dejan a
lo largo del proceso. Es entonces que apoyándonos en este rastro podemos realizar aná-
lisis para detectar cuáles son las interacciones que impactan en el aprendizaje con el
objetivo de brindar al profesor alertas sobre el proceso de sus estudiantes.
Trabajos del análisis de redes sociales proporcionan los medios para abordar el aná-
lisis de la estructura de la red social, mientras que el análisis de contenido nos permite
centrarnos en la naturaleza del vínculo [5]. Una metodología de investigación facetada
como la realizada por [6] permite explorar cómo estas dos líneas de investigación se
cruzan y se complementan. Si bien [6] miran a través de estas facetas (que representan
diferentes tipos de interacciones como publicaciones abiertas, mensajes individuales,
etc.), el uso de los medios sociales en relación con las pedagogías empleadas y las prác-
ticas docentes, con el fin de evaluar e informar el diseño del aprendizaje a nivel macro
(es decir del grupo de estudiantes), nuestro enfoque en este trabajo es cómo estas mis-
mas facetas pueden ser útiles a nivel micro (es decir a nivel de cada estudiante). Cen-
trados en las necesidades del docente de conocer oportunamente las situaciones de
riesgo de sus estudiantes, es nuestro objetivo diseñar una herramienta que le ofrezca
oportunidades de fortalecimiento de su estrategia pedagógica basado en las interaccio-
nes en las redes sociales de sus estudiantes. Para lograr este objetivo, en el proyecto
DIIA [7] (Descubrimiento de Interacciones que impactan en el Aprendizaje) estamos
realizando trabajo interdisciplinario con docentes, psicólogos e informáticos.
El proyecto DIIA del cual se describen los elementos esenciales en este trabajo, se
orienta al desarrollo de una plataforma de software que permita a los profesores visua-
lizar patrones de interacción y relacionarlos con los niveles de aprendizaje de forma
centrada en el alumno independientemente de los espacios (Facebook, CREA, PAM)
donde se generan los datos. Los patrones de estas interacciones son información crítica
que ayuda a los docentes a tomar decisiones estratégicas para mejorar el rendimiento
académico de los estudiantes. Estos patrones son descubiertos al aplicar métricas so-
ciales sobre el grafo que modela las interacciones existentes entre estudiantes, entre
los estudiantes y los docentes, así como entre los estudiantes y los recursos educacio-
nales que apoyan su aprendizaje.
En la sección 2 se describe la arquitectura general de DIIA, resaltando los compo-
nentes que la integran. En particular, el modelado del grafo social, el cálculo de las
métricas sociales y el análisis de sentimientos, así como la interpretación de su impacto
en el aprendizaje son presentados en la sección 3. El componente de visualización es
presentado con detalle en [8] en el que se describe la manera en que se proporciona al
docente el acceso oportuno a la información relevante y se le apoya en el proceso de
aprendizaje de sus alumnos para ayudarlos a diseñar estrategias de educación inclusiva.
Finalmente, el estado actual y perspectivas del crecimiento de la plataforma se presen-
tan en la sección 4.
3
2 Arquitectura de la plataforma de DIIA
La plataforma DIIA, está orientada a apoyar al docente aportándole conocimiento (in-
formación estratégica) sobre el desempeño de sus estudiantes y el impacto des sus in-
teracciones en las redes sociales formales e informales. De esta manera puede tomar
decisiones oportunas que favorezcan su aprendizaje. La Fig. 1 muestra la arquitectura
general de la plataforma desarrollada, diseñada de tipo MVC (Model-View-Controller)
para mantener la claridad de las funciones de cada componente y así fomentar la faci-
lidad para mantener y escalar el sistema.
Fig. 1. Arquitectura general de la plataforma DIIA.
La plataforma DIIA puede alimentarse de los datos extraídos de diferentes platafor-
mas educativas formales (como CREA2, PAM y Moodle) y de redes sociales (como
Facebook), a partir de las cuales se construye el perfil del estudiante. Las plataformas
formales aportan información demográfica y académica, así como cierto tipo de inter-
acción social. Las redes sociales son el recurso adicional que los docentes pueden usar
para fomentar la interacción informal y espontánea con sus estudiantes. El compo-
nente de extracción de datos incluye módulos especializados para cada tipo de fuente
de datos y se ocupa de la extracción, limpieza y carga de los datos en la base de datos
de DIIA. Esta base de datos es de gran volumen pues incluye la interacción social
entre estudiantes, entre los estudiantes y los docentes, así como entre los estudiantes y
los recursos educativos que los docentes colocan para fomentar el interés de los estu-
diantes, con materiales innovadores que enriquecen su experiencia de aprendizaje. To-
dos los datos son acumulados en la misma base de datos, para un mismo ciclo escolar,
lo cual permite contar con un histórico sobre el cual se aplican las técnicas inteligentes
de descubrimiento de patrones que permiten detectar situaciones de riesgo académico
y/o oportunidades para estimular el interés de los estudiantes o bien influenciar positi-
vamente su aprendizaje. En la primera etapa del proyecto, los datos son administrados
en PostgreSQL, usando un conjunto de clases que definen el modelo de datos para la
persistencia. Para acelerar el desarrollo se empleó ORM EBean, que realiza un mapeo
objeto-relacional y administra las conexiones.
En el centro de la arquitectura se ubica el componente que implementa la lógica de la
aplicación, brindando los servicios que son usados por el componente de visualización
de la interfaz con el docente. Se trata de servicios REST que pueden ser fácilmente
4
invocados por cualquier ambiente de desarrollo de interfaces de aplicaciones web y que
serializa los datos usando el formato JSON como respuesta, logrando la compactación
de datos y facilitando la integración con el front-end. Los servicios de la plataforma
DIIA incluyen: descubrimiento de patrones de interacción usando métricas sociales,
análisis de sentimientos, consulta de datos y administración (altas, bajas, cambios de
las principales entidades del ambiente). En particular, el cálculo de las métricas sociales
se realiza invocando librerías especializadas de GraphStream. En la siguiente sección
se describen con mayor detalle los mecanismos usados para representar las interaccio-
nes en un grafo, calcular las métricas sociales e interpretarlas para descubrir los patro-
nes que pueden impactar el aprendizaje de los estudiantes.
Finalmente, el componente de visualización pone a disposición del docente y del di-
rector de la escuela un conjunto de funcionalidades diseñadas para permitir detectar de
manera innovadora, rápida y sencilla, los casos que requieren de atención especial como
aislamiento (posible depresión), dificultad de aprendizaje, intimidación (bullying),
agentes de comunicación estratégica (influencia positiva y/o negativa en la opinión),
etc., detectados a partir del análisis de la interacción de los estudiantes en medios so-
ciales. Los servicios de consulta y actualización están también disponibles a través de
la interfaz tanto para el usuario de tipo director y/o técnico administrativo.
3 Patrones que impactan el aprendizaje
En esta sección se presenta una descripción del grafo construido a partir de las interac-
ciones producidas en las redes formales e informales, así como las métricas aplicadas
para la búsqueda de patrones de interacción entre distintos actores y materiales educa-
tivos en el proceso de enseñanza. En específico, se muestra cómo se modelaron los
vértices y aristas del grafo de interacciones y se describen las técnicas propuestas para
minar dicho grafo tomando en cuenta su topología, el tipo de información almacenada
y una interpretación semántica.
3.1 Representación basada en grafos propuesta
La extracción de información valiosa o relevante a partir de las distintas interacciones
asociadas con un curso o de cualquier proceso de interacción social [9] son una tarea
difícil de abordar, debido a los distintos tipos de comunicaciones existentes entre los
participantes en un curso, así como a la cantidad de información generada. Para poder
detectar patrones a partir de las interacciones generadas en las redes sociales, se pro-
pone el uso de una representación basada en grafos [10, 11] para crear un multígrafo
dirigido donde se modelen los distintos tipos de interacciones posibles entre los actores
de un curso. Formalmente el multígrafo propuesto es representado por 𝐺 = (𝑉, 𝐸, 𝛼)
donde:
• 𝑉 = {𝑣𝑖 |i = 1, . . , n} es el conjunto finito de vértices de un grafo que consiste de
los siguientes tipos de entidades en un curso: estudiante, docente, recurso
educativo.
5
• 𝐸 ⊆ 𝑉 𝑥 𝑉 es el conjunto finito de aristas que representan una de las siguientes
interacciones: mensaje, publicación, reacción, comentario, visualización y
mención.
• 𝛼: 𝐸 → 𝐿 es una función que asigna una etiqueta 𝐿 a un par de vértices asociados
por medio de una arista.
Como ejemplo del grafo anteriormente descrito, en la Fig. 2 puede observarse un
ejemplo del modelado de un curso, tomando en cuenta los distintos tipos de vértices y
aristas propuestos. Considerando las propiedades del grafo propuesto, se pueden
apreciar las siguientes características distintivas:
─ Existen distintos tipos de vértices que representan a las instancias más comunes en
un curso. Dependiendo del valor de un vértice con respecto a una medida de
centralidad (sección de métricas de centralidad), el tamaño de éste cambiará (entre
mayor la centralidad, más grande el vértice).
─ Las aristas presentes en el grafo pueden identificar las distintas interacciones, como
un mensaje entre estudiantes o una reacción de un estudiante a un recurso educativo
(lectura, video, ejercicio, etc.) propuesto para el curso. El grosor de estas aristas
estará determinado por el número de interacciones del mismo tipo, existentes entre
los nodos.
─ La dirección de las aristas en el grafo representa el orden de la relación entre las
entidades, por ejemplo, la arista: estudiante → material representa el acceso de un
estuiante a un contenido del curso.
─ La etiqueta asociada a cada arista describe el tipo de dicha interacción entre dos
entidades en el grafo.
Fig. 2. Ejemplo del modelado de las interacciones usando un multigrafo.
3.2 Métricas de centralidad
Las métricas de centralidad de grafos [12, 13] se refieren a una familia de medidas
estructurales calculadas para encontrar la posición o importancia de un nodo o
6
vértice dentro de un grafo dado. Estas métricas han sido usadas de manera exitosa
para descubrir la relevancia de vértices en distintos tópicos como el Análisis de Redes
Sociales [14], los Sistemas de Recuperación de Información [15] o las herramientas de
Procesamiento del Lenguaje Natural [16] entre otros. En la plataforma de DIIA se
decidió utilizarlas para descubrir patrones de interacción a partir de la estructura
topológica del grafo. Es decir, analizar cómo se relacionan los vértices entre sí y cómo
éste análisis puede ayudar a encontrar elementos representativos de la
comunicación/interacción social entre los estudiantes, entre los estudiantes y el docente
y finalmente, entre los estudiantes y los recursos educativos aportados por el docente
para incrementar el interés de sus estudiantes. A continuación, se describen cada una
de las métricas de centralidad empleadas:
• Centralidad de grado (degree centrality): Es definida como el número de aristas
incidentes a un vértice dentro de un grafo dado. Existen dos subversiones de este
tipo de centralidad, la centralidad de grado de entrada (in-degree), la cual se refiere
al número de aristas que apuntan a un vértice dado, y la centralidad de grado de
salida (out-degree), en la cual se mide el numero de aristas que apuntan a otros
vértices en el grafo desde un vértice dado.
• Centralidad de cercanía (closeness centrality): Está definida como el promedio de
la suma de los caminos mas cortos desde un vértice dado a todos los demás en el
grafo. Esta centralidad se calcula de la siguiente manera:
|𝑉|−1
𝐶𝑙𝑜𝑠𝑒𝑛𝑒𝑠𝑠(𝑣) = ∑ (1)
𝑖,𝑣≠𝑣𝑖 𝛽(𝑣,𝑣𝑖 )
Donde |𝑉| es el número total de vértices en un grafo y 𝛽(𝑣, 𝑣𝑖 ) es el número de
caminos más cortos del vértice 𝑣 al vértice 𝑣𝑖 .
• Centralidad de intermediación (betweenness centrality): Es una medida del grado
en que un vértice está en el camino más corto entre otros dos vértices en el grafo.
Esta centralidad se calcula de la siguiente manera:
𝛽𝑣 (𝑣𝑖 ,𝑣𝑗 )
𝐵𝑒𝑡𝑤𝑒𝑒𝑛𝑛𝑒𝑠𝑠(𝑣) = ∑𝑣𝑖 ,𝑣𝑗≠𝑣 (2)
𝛽(𝑣𝑖 ,𝑣𝑗)
Donde 𝛽𝑣 (𝑣𝑖 , 𝑣𝑗 ) es el número de caminos más cortos del vértice 𝑣𝑖 al vértice 𝑣𝑗 que
pasan a través del vértice 𝑣 y 𝛽(𝑣𝑖 , 𝑣𝑗 ) es el número de caminos más cortos del
vértice 𝑣𝑖 al vértice 𝑣𝑗 .
• Centralidad de vector propio (eigenvector centrality): Esta es una medida de la
importancia o influencia de cada vértice en el grafo. La suposición de esta métrica
es que cada medida de centralidad sobre un vértice es la suma de las medidas de
centralidad de los vértices que están conectados a éste. Para calcular esta métrica se
debe obtener antes una matriz clásica de adyacencia al grafo 𝐺 llamada 𝐴 = (𝑎𝑥,𝑦 ).
Teniendo dicha matriz se puede calcular la centralidad de vector propio de la si-
guiente manera:
7
𝐸𝑖𝑔𝑒𝑛𝑣𝑒𝑐𝑡𝑜𝑟(𝑣) = 1⁄𝜆 ∑𝑖∈𝑁(𝐺) 𝑎𝑣,𝑖 𝐸𝑖𝑔𝑒𝑛𝑣𝑒𝑐𝑡𝑜𝑟(𝑖) (3)
Donde 𝑁(𝐺) es el conjunto de vecinos del vertice 𝑣 y 𝜆 es una constante que repre-
senta el más grande eigenvalor relacionado con la métrica de centralidad.
• Excentricidad (eccentricity): La excentricidad no es una medida de centralidad,
pero sirve para detectar la distancia máxima desde un vértice 𝑣 hacia cualquier otro
vértice en un grafo 𝐺 siguiendo los caminos más cortos presentes en la estructura.
3.3 Análisis de sentimientos del contenido
Además de estudiar los patrones topológicos presentes en las distintas interacciones
entre los principales actores de un curso, otra importante herramienta para entender el
comportamiento social de estudiantes y docentes es el análisis de sentimientos [17] ba-
sado en el contenido de los textos intercambiados, donde la idea es la de encontrar la
polaridad del sentimiento (positivo, negativo o neutro) de las publicaciones o comenta-
rios compartidos en los cursos para determinar el estado de ánimo de los distintos ac-
tores.
Para la plataforma DIIA se desarrolló un clasificador de textos supervisado [18] que
por medio de la extracción de características léxico-sintácticas como los trigramas de
palabras (ventana de 3 elementos contiguos en el texto) con alta frecuencia de aparición,
pueda diferenciar un sentimiento de otro. Este clasificador se basa en el entrenamiento
de un modelo que busca las características presentes en un conjunto de datos de entre-
namiento, para posteriormente buscar la existencia de los patrones en nuevos conteni-
dos asociados a un curso. La Fig. 3 ilustra un ejemplo de grafo construido para reflejar
el sentimiento acumulado en las interacciones con contenido textual. El grosor de la
arista muestra la cantidad de interacciones y el tono del color refleja el promedio de las
polaridades del sentimiento contenido en los textos analizados.
Fig. 3. Grafo que ilustra la polaridad del sentimiento expresado en los textos intercambiados en
las redes sociales asociadas a un curso.
8
3.4 Interpretación de patrones de interacción
El grafo de interacciones propuesto en la sección anterior permite explotar y detectar
patrones de interacción entre docentes, estudiantes y los distintos materiales educativos,
de una manera intuitiva y relativamente fácil de implementar utilizando las distintas
métricas de centralidad y el análisis de sentimientos. Para que los patrones descubiertos
sean fácilmente visualizados y usados como apoyo en la toma de decisiones, se propuso
dar una interpretación semántica de los resultados, la cual se muestra en la Tabla 1.
Estas interpretaciones son reflejadas de manera gráfica a través del tamaño de la entidad
y/o el grosor del arco que une a las entidades.
Tabla 1. Interpretación de las técnicas de minado del grafo y análisis de contenido.
Métrica Tipo de interacción
(alto valor) Interpretación
en el grafo
Estudiante es prestigioso o importante
Estudiantes → Estudiante
dentro del grupo de Estudiantes
El Docente interactúa frecuentemente con
Grado de Docente → Estudiantes
entrada los Estudiantes
El Estudiante interactúa frecuentemente
Estudiante → Docente
con el Docente
El Material tiene un gran impacto entre los
Estudiante → Material
Estudiantes
El Estudiante es altamente comunicativo
Estudiante → Estudiantes
con otros Estudiantes
El Docente es altamente comunicativo con
Grado de Docente → Estudiantes
los Estudiantes
salida
El Estudiante es altamente comunicativo
Estudiante → Docente
con su Docente
El Estudiante usa varios materiales del
Estudiante → Material
curso
El Estudiante tiene mayor alcance en la
Centralidad de Estudiante − Estudiantes difusión de mensajes hacia los demás Es-
cercanía tudiantes
Docente que tiene alta influencia hacia los
Docente − Estudiantes
Estudiantes
El Estudiante es influyente por la
Centralidad de Estudiante − Estudiantes intensidad de su interacción con otros
vector
Estudiantes
propio
El Docente es influyente por la intensidad
Docente − Estudiantes
de su interacción con otros Estudiantes
El Estudiante es estratégico para difundir
Centralidad de Estudiante − Estudiantes
información entre otros Estudiantes
intermediación
El Docente es estratégico para difundir in-
Docente − Estudiantes
formación entre sus Estudiantes
El Estudiante tiene baja interacción con los
Estudiante −Estudiantes
Excentricidad Estudiantes
El Docente tiene baja interacción con sus
Docente − Estudiantes
Estudiantes
9
4 Estado actual y perspectivas
En este artículo se presenta una forma novedosa de detectar patrones de interacción que
impactan el aprendizaje, aportando una interpretación semántica de las métricas socia-
les al aplicarlas sobre los grafos que modelan las interacciones estudiante-estudiante,
estudiante-docente y estudiante-recurso educativo. Los patrones detectados no son
visibles con técnicas tradicionales de análisis estadístico y su visualización a través de
grafos facilita al docente la detección de casos que requieren de su intervención para
mejorar las condiciones de aprendizaje de sus estudiantes. De esta manera, se propone
cómo las métricas sociales y el análisis de sentimiento aportan un enfoque novedoso a
la analítica del aprendizaje social. Un primer prototipo de la plataforma DIIA ya está
disponible y se inició su evaluación sobre datos preliminares de cursos impartidos en
el CERP de Colonia, Uruguay. Considerando los avances logrados, así como los retos
existentes, como trabajo futuro se propone:
• Probar la plataforma desarrollada sobre un conjunto más amplio de datos prove-
niente de diferentes plataformas para los mismos cursos y realizar una evaluación
cualitativa y cuantitativa de los resultados producidos.
• Ampliar las métricas o técnicas de minería de grafos [11] para detectar elementos
más sofisticados que impacten aún más en el mejoramiento de un curso.
• Implementar nuevas técnicas de aprendizaje supervisado para mejorar la calidad
del modelo de análisis de sentimientos.
• Proponer nuevas versiones de la representación basada en grafos para poder detec-
tar nuevos patrones que pueden ser usados para apoyar la toma de decisiones sobre
casos particulares de estudiantes.
• Implementar la evaluación de las métricas sociales en un ambiente distribuido y
escalable para aumentar la eficiencia general de la plataforma.
Agradecimientos
La investigación que da origen a los resultados presentados en la presente publicación
recibió fondos de la Agencia Nacional de Investigación e Innovación bajo el código
FSED_2_2016_1_130712.
Referencias
[1] P. Sloep and A. Berlanga, "Redes de aprendizaje, aprendizaje en red,"
Comunicar, vol. 19, no. 37, pp. 55-64, 2011.
[2] G. Siemens, "Connectivism: A learning theory for the digital age," in
International Journal of Instructional Technology and Distance Learning,
2005.
[3] S. Downes, "Connectivism and Connective Knowledge: essays on meaning
and learning networks," Essays on meaning and learning networks, vol. 1,
no. 1, pp. 1-613, 2012.
10
[4] G. P. Caldeiro, "El aprendizaje en red y el trabajo colaborativo en entornos
mediados por tecnología," Virtualidad, Educación y Ciencia, vol. 5, no. 9,
pp. 102-103, 2014.
[5] A. Gruzd and C. Haythornthwaite, "The analysis of online communities
using interactive content‐based social," Proceedings of the Association for
Information Science and Technology, vol. 45, no. 1, pp. 1-5, 2008.
[6] A. Gruzd, D. Paulin and C. Haythornthwaite, "Analyzing Social Media And
Learning Through Content And Social Network Analysis: A Faceted
Methodological Approach," Journal of Learning Analytics, vol. 3, no. 3, pp.
46-71, 2016.
[7] "ANII Uruguay. Proyecto no. FSED_2_2016_130712. DIIA:
Descubrimiento de Patrones que Impactan el Aprendizaje.".
[8] B. Techera, C. Rodríguez, T. Ferrero and R. Motz, "Learning Analytics for
Teachers," Anais dos Workshops do Congresso Brasileiro de Informática na
Educação, vol. 6, no. 1, pp. 1-10, 2017.
[9] M. Tsvetovat and A. Kouznetsov, Social Network Analysis for Startups,
Sebastopol, Beijing, Cambridge: O'Reilly Media, 2011.
[10] R. Mihalcea and . D. Radev, Graph-based Natural Language Processing and
Information Retrieval, New York, USA: Cambridge University Press , 2011.
[11] N. F. Samatova, W. Hendrix, J. Jenkins, K. Padmanabhan and A.
Chakraborty, Practical Graph Mining with R, Florida, USA:: Chapman &
Hall/CRC, 2013.
[12] L. C. Freeman, "Centrality in social networks conceptual clarification,"
Social Networks, vol. 1, no. 3, pp. 15-18, 1978.
[13] M. R. Bouadjenek, H. Hacid and M. Bouzeghoub, "Social networks and
information retrieval, how are they converging? A survey, a taxonomy and
an analysis of social information retrieval approaches and platforms,"
Information Systems, vol. 56, pp. 1-18, 2016.
[14] P. V. Marsden , "Network Centrality, Measures of," International
Encyclopedia of the Social & Behavioral Sciences, pp. 532 - 539, 2015.
[15] F. Riquelme and P. González-Cantergiani, "Measuring user influence on
Twitter: A survey," Information Processing & Management, vol. 52, no. 5,
pp. 949-975, 2016.
[16] G. Algaphari, A. Moharram and F. M. Ba-Alwi, “Text Summarization using
Centrality Concept,” International Journal of Computer Applications, vol.
79, no. 1, pp. 5 - 12, 2013.
[17] B. Pang and L. Lee, "Opinion mining and sentiment analysis," Foundations
and Trends in Information Retrieval, vol. 2, no. 1, pp. 1-135, 2008.
[18] P. Harrington, Machine Learning in Action, Greenwich, USA: Manning
Publications Co., 2012.