Avances en el modelado del Ciberbullying desde la perspectiva de las Tecnologı́as del Lenguaje Humano Progress in the modeling of Cyberbullying from the perspective of the human language technologies Beatriz Botella Gil Departamento de Lenguajes y Sistemas Informáticos Universidad de Alicante E-03080 Alicante Beatriz.botella@ua.es Resumen: Las Teorı́as de la información y la comunicación (TIC) tienen un papel muy importante en nuestra sociedad. Uno de los usos negativos que se les da, es el acoso entre menores en la red ”Ciberbullying”. Hay un gran número de meno- res con acceso a las redes y que poseen teléfonos móviles con edades cada vez más tempranas. Este acoso genera una alerta social importante por las consecuencias que está derivado y hace que sea necesario su estudio para frenar el problema. Esta investigación tiene el fin de encontrar caracterı́sticas presentes en los mensajes que puedan indicar junto a los sistemas computacionales actuales, la presencia de men- sajes violentos entre menores y aportar posibles soluciones a un caso tan alarmante. Palabras clave: Ciberbullying, acoso en Internet, violencia en la red, tecnologı́as de la información y de la comunicación, TLH, modelado del comportamiento. Abstract: Information and Communication Theories (ICT) play a very important role in our society. One of the negative uses given to them, is the harassment among minors in the network ”Ciberbullying”. There are a large number of minors with access to networks and who have mobile phones with younger and younger ages. This harassment generates an important social alert due to the consequences it has and makes it necessary to study it in order to stop the problem. The purpose of this research is to find characteristics present in the messages that can indicate, together with current computer systems, the presence of violent messages among minors and provide possible solutions to such an alarming case. Keywords: cyberbullying, Internet harassment,Violence in the network, Technology of the information and communication, HLT, behavioral modeling. 1 Motivación de la investigación de identidades, acceso a información privada, etc. Con la aparición de las tecnologı́as de la infor- mación y la comunicación, surge una nueva Es una realidad que cada vez los menores forma de relacionarnos en la sociedad. Mu- con edades más tempranas tienen acceso a in- chas son las ventajas de esta nueva forma ternet, ya sea mediante un ordenador en casa de conectarnos digitalmente, por ejemplo, ha o en los colegios, como también la pertenen- facilitado una mayor relación entre personas cia de un móvil privado para ellos. Según el desde cualquier lugar del mundo, la transfe- Instituto Nacional de Estadı́stica (INE), en el rencia de conocimiento entre paı́ses o el acer- caso de los jóvenes y menores cuya edad está camiento a la información de manera rápida. comprendida entre los 16 y los 24 años encon- Pero con el uso indebido de las mismas, se tramos que el 98,8 % tienen teléfono móvil. ha detectado un incremento de actos nega- Uno de los actos negativos con lo que lu- tivos utilizando las herramientas digitales de cha la sociedad es el llamado Ciberbullying comunicación, acoso en la red, suplantación o acoso en la red entre menores. Los casos Lloret, E.; Saquete, E.; Martı́nez-Barco, P.; Sepúlveda-Torres, R. (eds.) Proceedings of the Doctoral Symposium of the XXXV International Conference of the Spanish Society for Natural Language Processing (SEPLN 2019), p. 44–49 Bilbao, Spain, September 25th 2019. Copyright c 2019 his paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). cada año aumentan y muchos son los inves- A través de los medios de los que disponemos tigadores interesados en la materia debido a hoy en dı́a es muy fácil poder seguir acosando su gravedad. (Povedano et al., 2015; Sádaba y persiguiendo al acosado en cualquier parte Chalezquer, Charo and Bringué Sala, 2010; del mundo (Álvarez-Garcı́a et al., 2011; Cal- Álvarez-Garcı́a et al., 2011). vete et al., 2010). Como punto de partida, debemos definir El problema del Ciberbullying aumenta qué es el Ciberbullying de una manera veraz, cada año, y desde 2014 se ha incrementado (Sádaba Chalezquer, Charo and Bringué Sa- en un 240 %, según ha publicado la funda- la, 2010) Lo definen como el uso malévolo y ción ANAR en su II Estudio sobre el Ciber- cruel de las tecnologı́as por parte de un agre- bullying, dato muy elevado que debemos in- sor o agresores para humillar y vejar a una vestigar. vı́ctima, considerada como débil e indefensa, El Ciberbullying supone un nuevo reto pa- ante una audiencia amplia de espectadores. ra las escuelas por su peligrosa extensión (von Uno de los objetivos prioritarios a solu- Marées y Petermann, 2012). Y las formas cionar es la problemática del Ciberbullying o en que sucede y las terribles consecuencias acoso en la red. Este problema que crece cada que afectan al bienestar psicológico de todos año en todo el mundo, es una evolución del sus implicados, provocando desajustes psico- acoso escolar tradicional, aquel acoso que se sociales y psicopatológicos. vive en los centros educativos. Un acoso que siempre ha estado presente, pero que, por la 2 Antecedentes y trabajos aparición de los sistemas digitales, ha evolu- relacionados cionado a un problema mayor, esto es debido El interés por esta materia viene dado por a 3 factores:(Garaigordobil, 2011). el alarmante crecimiento de casos de Ciber- 1. Anonimato de los acosadores: Se puede bullying en la sociedad actual. En 2016 se ha acosar a una persona por internet, con incrementado este suceso en un 87,7 % con insultos o publicando informaciones fal- 1.207 casos registrados, además de estas ci- sas o dando información de la vida pri- fras, llama la atención que la edad de menores vada de una persona con un perfil falso que lo sufren a disminuido considerablemen- e incluso en algunas redes sociales desde te. el anonimato. Por lo tanto se tiene una El término Ciberbullying nace con la apa- imagen de impunidad ante estas circuns- rición de las TIC (Tecnologı́as de la infor- tancias.(Chóliz y Chóliz, 2009) mación y de la comunicación) en nuestra so- ciedad. El primer paso fue crear un área de 2. No existe la empatı́a: Para los menores investigación nueva y separarlo del llamado una forma de aprender las relaciones so- bullying o acoso escolar. ciales es ser capaz de empatizar con los Mientras que el bullying se ciñe exclusiva- demás. En este caso no hay un visión fı́si- mente al ámbito escolar, el Ciberbullying es ca del sufrimiento que estamos causando un problema de acoso entre menores a través a la vı́ctima. No existe una culpabilidad de las TIC. por ver de manera explı́cita el sufrimien- Cada año aumentan las cifras del acoso en to que está generando. la red, y es por ello que se ha incrementado 3. Disponibilidad 24/7: Este es un factor el número de artı́culos en referencia a este te- importante para entender la gravedad ma. Podemos encontrar trabajos indicadores del problema y porque crece el número de porcentajes de casos reales existentes, tra- de casos cada año. El acoso escolar ”tra- bajos donde abordan actividades y recursos dicionalçomo hemos comentado, sucede para implantar en los colegios y trabajos que sólo en el centro donde se encuentran los recogen la detección de mensajes a través de menores. Normalmente ocurrirá en el re- sistemas computacionales. creo o en la salida del colegio donde los Algunos trabajos utilizados en esta inves- adultos no estén presentes. En el caso de tigación y que se han relacionado con las in- Ciberbullying puede ser las 24 horas del vestigaciones de Ciberbullying son : dı́a, los 7 dı́as de la semana, desde cual- Trabajos Teorı́a quier lugar del mundo y sin vigilancia adulta. Lo que además dificulta el segui- - Libro Cyber Bullying , el acoso en la era miento de los acosadores. digital. Robin Kowalski, Susan Limber, 45 Patricia Agatston (Kowalski, Limber, y situaciones de intimidación. Además en- Agatston, 2008). señan a las vı́ctimas a hacer frente a este En este libro que trata de acoso ci- problema y los conecta entre sı́ en lo que bernético podemos encontrar desde la llaman “apoyo emocional”. definición del problema hasta posibles - Artı́culo Cyberbullying in adolescents: soluciones. También incluye la norma- Modalitites and aggressors’s profile (Cal- tiva legal y polı́ticas especı́ficas. Reco- vete et al., 2010). ge datos de entrevistas reales con los es- Realizan un cuestionario para evaluar tudiantes y con los padres. Se basan en la prevalencia de numerosas modalida- cuestiones y preguntas para recabar in- des de Ciberbullying (formas de violen- formación y reflejar los datos más rele- cia, exposición a la violencia, aceptación vantes. y rechazo por los compañeros). En este - III Estudio sobre acoso escolar y Ciber- cuestionario recogieron información de bullying según los afectados. Fundación la justificación del uso de la violencia, Anar (?). las medidas de agresión y la exposición a la violencia. Con este informe quieren dar a conocer la evolución del acoso escolar y del Ci- Trabajos Sistemas computacionales berbullying entre las vı́ctimas y los cam- - Automatic Detection of Cyberbullying on bios producidos en sus entornos detec- Social Networks based on Bullying Fea- tados en el último año. Se basa en casos tures (Zhao, Zhou, y Mao, 2016). reales que conocen gracias a las llamadas Proponen un programa para la detec- que se han producido a esta fundación, ción del acoso cibernético. Usan una lis- tanto de vı́ctimas como de sus familiares. ta con palabras e insultos para determi- Nos da información real de porcentajes y nar el nivel de intimidación existente en datos estadı́sticos de como se encuentra cada mensaje. Trabajan con la red so- en la actualidad el problema. cial Twitter cuya finalidad es la creación - Artı́culo Usos problemáticos y agresi- de un sistema automático de detección vos de las TIC por parte de ado- cibernética para categorizar la informa- lescentes implicados en Cyberbullying ción y detectar los casos de Ciberbull- (Giménez Gualdo, Maquilón Sánchez, y ying. Arnaiz Sánchez, 2015). - Artı́culo Cyberbullying detection and El siguiente estudio examina la exten- prevention: Data mining and psycholo- sión y caracterı́sticas del Ciberbullying gical perspective (Parime y Suri, 2014). en una muestra de escolares. Su objeti- En este trabajo se centran en la minerı́a vo es saber que situaciones ocurren en de datos y técnicas de aprendizaje au- el ámbito escolar ası́ como el uso pro- tomático para detectar y prevenir el Ci- blemático de Internet en menores y la berbullying. También se discute sobre los posible adicción que los menores (cibera- factores psicosociales relacionados con el cosadores y cibervı́ctimas) hacen de las acoso cibernético y como abordar este TIC. problema. Plantean algunas propuestas para los futuros algoritmos que puedan - Common Sense Reasoning for Detec- detectar y prevenir el Ciberbullying. tion, Prevention, and Mitigation of Cy- berbullying KARTHIK (Dinakar, Pi- - Methods for detection of Ciberbullying: card, y Lieberman, 2015). A survey (Sugandhi et al., 2016). Trabajan en la detección de intimidación Utilizan un corpus de 3 redes sociales con basado en el procesamiento del lengua- el objetivo de comprobar cual es el mejor je natural. Analizan la apariencia, inteli- método para detectar el Ciberbullying. gencia, insultos raciales y étnicos, acep- Primero hay un pre procesamiento de los tación social y rechazo; y una vez ana- datos y a continuación experimentan con lizado estos procesos crean una base de una máquina de soporte vectorial, algo- conocimiento de ”sentido común”que co- ritmo de machine learniung B.48 y el cla- difica conocimientos particulares sobre sificador ”Naı̈ve Bayes· 46 - Cyberbullying Detection Based on 6. Cuáles son las diferentes fases del proce- Semantic-Enhanced Marginalized De- so. noising Auto-Encoder (Zhao y Mao, 7. Cómo se relacionan las fases con su len- 2017) guaje violento o acción. Esta investigación aborda el problema del Ciberbullying desde un modelo de Una vez se finalizó el informe, se creó una aprendizaje distinto a los demás inves- guı́a de anotación inicial sobre el Ciberbull- tigadores trabajando con Auto-encoder, ying y la técnica de anotación mediante el donde han creado un sistema denomi- programa ”Gate”para anotar los mensajes nado Semantic-Enhanced Marginalized pertenecientes a mensajes reales entre meno- Denoising Auto-Encoder (smSDA) . Tra- res por la red. En este proceso se selecciona- bajan con dos corpus distintos de redes da si el mensaje era violento o no, su nivel sociales, Twitter y MySpace. Sus resul- de alerta, tipo de violencia encontrado (ame- tados han sido mejores que algunos de nazas, anuncio de agresión, ataques a sus afi- los otros estudios basados en el aprendi- ciones,contra su familia, contra su forma de zaje de textos. ser, contra su fı́sico, su situación familiar, su género, su raza y otros. Además añadimos la - Automatic detection of cyberbullying in etiqueta de elegir el rol, ejecutor, incitador, social media text (Van Hee et al., 2018). pasivo y vı́ctima. Y un apartado de notas por Este artı́culo se centra en la detección si los anotadores necesitaban explicar o apun- automática del acoso cibernético en el tar alguna corrección en algún texto. texto de los medios de comunicación so- Una vez obtenida la guı́a de anotación ciales mediante el modelado de mensajes necesitábamos un Corpus. La recolección de escritos por intimi dadores, vı́ctimas y Corpus de mensajes reales entre menores no espectadores del acoso cibernético. Des- ha sido posible debido a la dificultad legal criben la recopilación y la anotación de- de poder obtener estos mensajes. Es por eso tallada de un corpus de ciberacoso en que decidimos hacer una descarga de mensa- inglés y holandés con lo que realizan una jes en las redes sociales para poder avanzar serie de experimentos de clasificación bi- en nuestra investigación y formar un mode- naria para determinar la viabilidad de la lo de mensajes violentos genérico. Para ello, detección automática del ciberacoso. el Corpus existente, surgió de la descarga de 633 mensajes de la red social Twitter. Las semillas utilizadas tenı́an relación con el caso 3 Actualidad de ”la manada .el pequeño Gabriel”. 2 La investigación se inició con la búsqueda de El Corpus ha sido etiquetado según una artı́culos cientı́ficos y materiales relacionados nueva guı́a de anotación que se ha realizado. con el Ciberbullying para recoger toda la in- Y se encuentra en proceso de modificaciones formación posible y poder trabajar con una por algunos datos que se consideró debı́an es- base de conocimiento amplia. tar recogidos y en la primera guı́a no se en- Se creó un informe que recopilaba datos contraban y la modificación de los niveles de pertenecientes a los casos de Ciberbullying, alerta. donde se encuentra: Antes de proceder a trabajar con el cor- pus,estamos realizando investigación exhaus- 1. La edad y el género de la vı́ctima. tiva de cuales son los sistemas computaciona- les utilizados en relación a los casos de Ciber- 2. Su entorno y los lugares donde ocurre el bullying, para poder comparar sus resultados Ciberbullying. con los nuestros y utilizar técnicas nuevas o 3. Cuáles son los medios y el motivo de que implantar modificaciones que nos permitan ocurra este acoso. obtener unos buenos resultados. 4. Cuándo empieza y su duración y frecuen- 3.1 Objetivos cia. 1. Guı́a de Ciberbullying. 5. Qué lenguaje se utiliza en el acoso y si se 2. Ampliación de nuestro corpus violento siguen las mismas pautas en la mayorı́a 3. Creación de un corpus de mensajes de los casos. reales entre menores en la red. 47 4. Identificación de mensajes violentos, re- Agradecimientos lacionando palabras claves o comporta- Esta investigación ha sido financiada par- mientos que nos ayuden a etiquetarlo en cialmente por la Universidad de Alicante, la el Ciberbullying. Generalitat Valenciana, el Gobierno Español 5. Definir cuales son los elementos necesa- (Ministerio de Educación, Cultura y Depor- rios en un mensaje para etiquetarlo como te) y las Ayudas Fundación BBVA a equi- Ciberbullying. pos de investigación cientı́fica 2016 median- te los proyectos: TIN2015-65100-R, TIN2015- 6. Creación de un programa de detección 65136-C2-2-R, GRE16-01 y Análisis de Senti- automática del Ciberbullying. mientos Aplicado a la Prevención del Suicidio en las Redes Sociales (ASAP). 3.2 Hipótesis Especial agradecimiento a Patricio 1. El Ciberbullying es el acoso más frecuen- Martı́nez Barco y al Departamento de te entre los jóvenes. Lenguajes y Sistemas Informáticos de la 2. Cada año incrementa el número de ca- Universidad de Alicante (DLSI). sos de Ciberbullying en menores y con edades mas pequeñas. Bibliografı́a 3. Se pueden detectar un mensaje como Ci- Álvarez-Garcı́a, D., J. C. Núñez, L. Álvarez, berbullying siguiendo unas normas de es- A. Dobarro, C. Rodrı́guez, y P. González- te acoso especı́fico. Castro. 2011. Violencia a través de las tecnologı́as de la información y la co- 4. Posibilidad de que pueda crearse un pro- municación en estudiantes de secundaria. grama que detecte automáticamente la Anales de psicologı́a, 27(1):221–231. presencia de Ciberbullying. Calvete, E., I. Orue, A. Estevez, L. Vi- 3.3 Experimentos propuestos llard, y P. Padilla. 2010. Cyberbull1ying in adolescents: Modalities and aggressors’ Como experimentos para esta investigación profile. Computers in Human Behavior, se encuentran los siguientes: 26(5):1128–1135. - Fijar las reglas presentes en los mensajes Chóliz, M. y M. C. Chóliz. 2009. Ellas, ellos de Ciberbullying. y su movil: Uso, abuso(¿y dependencia?) - Ampliar nuestro Corpus y probarlo en del telefono movil en la adolescencia. Ori- sistemas computacionales. ginales, 34(1):74–88. - Determinar que sistema es el más ade- Dinakar, K., R. Picard, y H. Lieberman. cuado. 2015. Common sense reasoning for detec- tion, prevention, and mitigation of cyber- - Conseguir poner en marcha el programa bullying. En IJCAI International Joint y que éste sea capaz de detectar y señalar Conference on Artificial Intelligence, vo- la presencia de Ciberbullying en las redes lumen 2015-Janua, páginas 4168–4172. sociales. Garaigordobil, M. 2011. Prevalencia y con- 4 Cuestiones especı́ficas de secuencias del cyberbullying: una revisión. investigación Journal of Psychology and Psychological 1. Es posible la detección del Ciberbullying Therapy, 11(2):233–254. a través del Machine Learning para fre- Giménez Gualdo, A. M., J. J. Maquilón nar la problemática del Ciberbullying. Sánchez, y P. Arnaiz Sánchez. 2015. Usos 2. Se puede definir distintas fases que tie- problemáticos y agresivos de las TIC por ne el acoso entre menores en la red para parte de adolescentes implicados en cyber- saber cual es el nivel de gravedad que bullying. Revista de Investigación Educa- encontramos en el Ciberbullying. tiva, 33(2):335. 3. Se podrı́a crear una alerta automática Kowalski, R. M., S. P. Limber, y P. W. Agats- capaz de avisarnos de que se está gene- ton. 2008. Cyber Bullying: The New Mo- rando Ciberbullying a un menor. ral Frontier. 48 Parime, S. y V. Suri. 2014. Cyberbull- ying detection and prevention: Data mi- ning and psychological perspective. En 2014 International Conference on Cir- cuits, Power and Computing Technolo- gies, ICCPCT 2014, páginas 1541–1547. Povedano, A., M.-J. Cava, M.-C. Monreal, R. Varela, y G. Musitu. 2015. Internatio- nal Journal of Clinical and Health Psycho- logy Victimization, loneliness, overt and relational violence at the school from a gender perspective. International Journal of Clinical and Health Psychology, 15:44– 51. Sádaba Chalezquer, Charo and Bringué Sala, X. 2010. Niños y adolescentes españoles ante las pantallas: rasgos configuradores de una generación interactiva. CEE Par- ticipacion Educativa, 15(June 2009):86– 104. Sugandhi, R., A. Pande, S. Chawla, A. Agra- wal, y H. Bhagat. 2016. Methods for de- tection of cyberbullying: A survey. En In- ternational Conference on Intelligent Sys- tems Design and Applications, ISDA, vo- lumen 2016-June, páginas 173–177. Van Hee, C., G. Jacobs, C. Emmery, B. DeS- met, E. Lefever, B. Verhoeven, G. De Pauw, W. Daelemans, y V. Hoste. 2018. Automatic detection of cyberbullying in social media text. PLoS ONE, 13(10). von Marées, N. y F. Petermann. 2012. Cy- berbullying: An increasing challenge for schools. School Psychology International, 33(5):467–476, oct. Zhao, R. y K. Mao. 2017. Cyber- bullying Detection Based on Semantic- Enhanced Marginalized Denoising Auto- Encoder. IEEE Transactions on Affective Computing, 8(3):328–339. Zhao, R., A. Zhou, y K. Mao. 2016. Au- tomatic detection of cyberbullying on so- cial networks based on bullying features. En Proceedings of the 17th International Conference on Distributed Computing and Networking - ICDCN ’16, páginas 1–6. 49