This work shows an application designed to identify groups in the use of an online educational network associated with the socioeconomic characteristics of the neighborhoods of Montevideo where their users live. The network has a wide coverage throughout the national territory and o ers Internet access to all students (children and adolescents). The knowledge obtained from the study can be applied as support for decision making.
La gestion y analisis de los datos obtenidos en los ambientes educacionales habitualmente presentan di cultades para su conduccion. La aplicacion de tecnicas de clustering para obtener conocimiento util de ellos, posee di cultades adicionales tales como la de nicion del espacio por sus atributos, la medida de distancia a utilizar y las muestras con las cuales generar el modelo, entre otras.
La originalidad y di cultad de este trabajo radica en que se debe trabajar con
dos datasets de muy diferente origen: por un lado se dispone de datos de acceso a
los recursos provenientes de una red extendida en todo el territorio nacional, con
una amplia cobertura que posibilita el acceso a Internet desde todos los centros
educacionales (Primaria, Secundaria y UTU) [
Resulta interesante determinar si existe algun tipo de relacion entre el uso de los recursos educacionales en l nea y el lugar donde habita el estudiante. Los barrios de la ciudad poseen caracter sticas unicas que genera una idiosincrasia que, se conjetura, in uye en sus habitos de estudio. Un factor importante para analizar es el constituido por los aspectos relacionados con el nivel socio economico de cada uno de los barrios.
Existen abundantes estudios relativos a usos de tecnicas de clustering en
ambientes de educacion. Algunos de ellos consolidan los diferentes tipos de
algoritmos de agrupacion aplicados en el contexto de la miner a de datos
educativos, para abordar diferentes problemas que se presentan en EDM (educational
3 http://municipioe.montevideo.gub.uy/sites/municipioe/files/
censo 2011 - informe im.pdf
data mining) [
A los efectos de aplicar las tecnicas descriptivas se clasi can las localidades de la ciudad en cuatro categor as, fundamentados en los datos abiertos mencionados anteriormente (estas se describen en la Seccion 4, Analisis del Problema ). 2
Los datos son originados a traves de dos fuentes. Una de ellas la constituye la red educacional donde cada local de estudio tiene asignado un conjunto de direcciones IP, las cuales son jas, conocidas y estan asociadas a su ubicacion geogra ca y al tipo de local de estudio. Los registros de navegacion disponibles son almacenados en formato de texto plano y contienen ciertos atributos de las visitas a los sitios Web. De cada observacion generada, se utilizan los atributos: fecha, hora, IP y URL solicitada. La segunda fuente proporciona datos demogra cos provenientes de organismos o ciales y aportan importante informacion sobre los municipios que forman la capital del pa s y las caracter sticas socio-economicas de los barrios que lo integran. Estos datos pueden ser accedidos en la Web.
El trabajo intenta obtener relaciones entre las conductas de empleo de los recursos educacionales utilizables en la red y la situacion socio-economica del estudiante basado en su lugar de residencia. 3
El objetivo principal es aplicar tecnicas de anal tica sobre los datos obtenidos de los archivos que se generan diariamente por la navegacion de los usuarios de la red, asociando las ip de los centros de estudio con las caracter sticas de la localidad donde habita. Los resultados obtenidos seran destinados al soporte para la toma de decisiones de las autoridades del Plan, facilitandose su interpretacion por medio de una adecuada visualizacion de los resultados a traves de mapas \inteligentes". 4
El analisis del problema permite identi car los siguientes desaf os: { De los datos generados en la red, extraer aquellos relacionados con accesos a sitios de estudio. { A partir de los datos disponibles en la Web, construir un ranking de los barrios que represente en forma dedigna la situacion socio-economica de cada uno (En este tem se consideraran los datos demogra cos o ciales disponibles en la Web). { Asociar ambos grupos de datos. { Determinar los grupos de datos a los cuales aplicar las tecnicas de clustering. { Tecnicas de Agrupamiento a ser empleada.
Los cinco puntos antes nombrados son desarrollados a continuacion. Datos generados en la red La extraccion de los datos de tra co en Internet a sitios de estudio se efectuo a traves de rutinas desarrolladas en Python, aplicando expresiones regulares al atributo \URL solicitada". Luego de una adecuada sanitacion de los datos se extraen los registros que contienen dichas expresiones. Un ejemplo de las expresiones regulares empleadas para este caso es: '\setminus S+clients3\setminus S+', '\setminus S+windowsupdate\setminus S+', '\setminus S+mcafee\setminus S+', '\setminus S+216.239.32.20/generate_204\S+', '\setminus S+clients1\setminus S+', '\setminus S+connectivitycheck\setminus S+', '\setminus S+URLMOD\setminus S+', '\setminus S+msftncsi\setminus S+' Clasi cacion de los barrios Los datos disponibles en la Web sobre la situacion socio-economica de los barrios componentes de cada municipio se fundamentan en los registros obtenidos en el ultimo Censo Nacional. Esta informacion esta acompan~ada de valoraciones generales sobre los municipios que dividen a Montevideo. Se utilizo un procedimiento ad hoc para la construccion del ranking: se observaron las valoraciones de cada municipio y a cada caracter stica positiva detectada en la valoracion, se le asigno un coe ciente positivo y a las negativas uno negativo. Este procedimiento permitio clasi car a los municipios en cuatro categor as: Muy Favorable (MF ), Favorable (F ), Desfavorable (D) y Muy Desfavorable (MD). Luego se revisaron los barrios de cada municipio y puntualmente algunos fueron cambiados de categor a en base al conocimiento de su realidad particular (4 barrios en un total de 75).
Asociacion de los registros de tra co con los barrios Para logar la asociacion de los dos grupos de datos fue necesario efectuar un procesamiento apropiado de los atributos comunes entre ellos, que posibilitara un posterior relacionamiento. El atributo comun es el nombre del barrio y se debio realizar un relevamiento de cada uno de los registros de los centros de estudio (alrededor de 1200 en Montevideo) que utilizan el sistema.
Grupos de datos a los cuales aplicar las tecnicas de clustering A partir del analisis exploratorio de los datos (desarrollado en la Seccion 5) se puede de nir tres grandes grupos de usuarios: Primaria (Escuela Publica), Secundaria (Liceo Publico), UTU (Centros de estudio publicos donde se ensen~an mayormente o cios, de nivel ensen~anza media).
Tecnicas de Agrupamiento a ser empleada Se considera que dos locales de
estudio estan proximos, si la cantidad de conexiones en un per odo de tiempo son
parecidas con un umbral de tolerancia. El espacio as de nido no es eucl deo, lo
cual condiciona la eleccion del algoritmo de clustering a ser utilizado. Un espacio
es euclidiano si el promedio de cualquier conjunto de sus puntos pertenece al
espacio [
Para el analisis exploratorio de los datos, se empleo el lenguaje R (version 3.6.1)
conectado a la base de datos MongoDB (version 3.2.10 ). A los efectos de evaluar
si existe una tendencia al agrupamiento de los datos se utiliza el estad stico de
Hopkins [
Evaluacion de la existencia de agrupamientos Los estudios que se realizaron en esta etapa consistieron en la apreciacion de la existencia de agrupamientos y en la determinacion del taman~o de la muestra para cada estudio.
El Lenguaje R permite al menos dos formas de evaluar la tendencia a la
clusterizacion de los datos. Una de ellas es el estad stico de Hopkins que indica que
tan alejado esta una muestra aleatoria de presentar una distribucion uniforme
y, en consecuencia, de presentar agrupaciones (cuanto mas alejado de tal
distribucion mayor es la probabilidad de que los datos se agrupen). La otra opcion
es el uso de otra funcionalidad consistente en la evaluacion visual de la tendencia
al agrupamiento de los datos (VAT: Visual Assessment of cluster Tendency ). El
procedimiento se fundamenta en el calculo de la matriz de disimilaridad entre
los objetos de la muestra considerando que la distancia es eucl dea [
Debido a que la medida de distancia no es eucl dea, el metodo VAT es descartado, empleandose el estad stico de Hopkins para evaluar la existencia de clusteres.
Taman~o de la muestra A los efectos de determinar el taman~o de la muestra
mas apropiado, se empleo el concepto de saturacion (saturacion es denominada la
situacion en la cual, agregar nuevas observaciones, no mejora las perspectivas de
obtener nueva informacion) [
Procedimiento Luego de asociados los registros se exportaron a una base de datos relacional y se condujeron consultas para observar las tendencias.
A los efectos de normalizar los datos de entrada se dividio la cantidad de conexiones entre la poblacion de cada barrio, evitando que localidades con gran cantidad de habitantes distorsionen los resultados.
Algunos resultados de las consultas efectuadas se presentan en la Figura 1.
De este resultado se destaca que los unicos barrios cuyos centros educativos utilizaban en ese d a los recursos eran los considerados Muy Desfavorables (MD ).
En base a esta informacion, el estudio se oriento a investigar la existencia de clusteres de centros de estudio en determinados barrios que utilizaban con mayor intensidad la red educacional en funcion de su realidad socio-economica. 6
Debido a que el espacio no es eucl deo se empleo el paquete de datamining disponible en el lenguaje R: CLARA (Clustering Large Applications). Este algoritmo efectua la busqueda de clusteres en base a medoides (puntos ya existentes del cluster), prescindiendo de la busqueda de centroides.
A continuacion se presentan algunos de los resultados que evidencian el mayor uso de los recursos por parte de los sectores socio-economicos mas desamparados. Sumarizaciones Iniciales En la tabla de la Figura 2 se presentan la cantidad de habitantes de acuerdo al tipo socio-economico categorizado en este trabajo y la cantidad de barrios de acuerdo a los tipos. Ambos resultados fueron importantes en el transcurso del estudio tanto para efectuar los calculos como para la interpretacion de los resultados.
En la Imagen 1 de la Figura 3 se presentan los datos de una muestra correspondiente a la conectividad de acuerdo al tipo socio-economico y al tipo de local de ensen~anza correspondiente a 14 d as seleccionados en forma aleatoria. La ultima columna de la mencionada tabla consiste en los logaritmos naturales del porcentaje de la poblacion de cada barrio (ya que son numero muy pequen~os) y se presentan en la gra ca de barras de la Imagen 2 de la misma Figura. En ella, el opuesto del logaritmo indica el uso que cada estrato de la poblacion (una longitud de la barra pequen~a es indicativo que hay un uso intenso de los recursos). Por ejemplo, los alumnos de UTU del tipo MF ser an los que menos utilizan los recursos (para la muestra seleccionada) y los alumnos de Escuela Publica del tipo MD (contexto economico-social muy desfavorable) quienes mas los emplean.
Resultados obtenidos para los estudiantes de ensen~anza primaria (Escuela Publica) Para este sector se presentan 3 estudios realizados en marzo 2016, noviembre 2016 y mayo 2017.
Estudio 1 En la primer imagen de la Figura 4 se observan los datos empleados para la construccion del dendograma presentado en la segunda imagen.
Del analisis del dendograma se observan cuatro clusteres bien de nidos (sin ningun dato mal clasi cado de acuerdo al algoritmo). Se aprecian un agrupamiento de barrios Desfavorables, D (color anaranjado) y de Muy Desfavorables, MD (color rojo). Luego se aprecian dos clusteres de Faborables, F (color amarillo) y Muy Favorables, MF (color verde). Se concluye que para estos datos existe una mayor cantidad de barrios que utilizan los recursos pertenecientes a contextos Desfavorables. El siguiente agrupamiento con mayor cantidad de barrios corresponde a contextos Muy Desfavorables.
Las categor as F y MF, si bien se agrupan en dos clusteres diferentes, se puede comprobar que el uso que hacen de los recursos es m nimo. Por ultimo la hoja que no pertenece a ningun grupo presenta 608 conexiones, quedando fuera de los grupos y se trata de un barrio del tipo D.
Estudio 2 El segundo estudio corresponde a una muestra de noviembre de 2016 de Escuela Publica. El dendograma correspondiente se presenta en la primer imagen de la Figura 5. Se utiliza el mismo sistema de referencia de colores para las categor as de los barrios que en el Estudio 1. Se observan cuatro clusteres. El primero y el tercero (empezando por izquierda) corresponden a localidades D, el segundo presenta una prevalencia de barrios tambien D y el cuarto, no permite decidir ya que estan mezcladas varias categor as.
Estudio 3 El estudio correspondiente a mayo de 2017 de las escuelas publicas, se aprecia en la segunda imagen de la Figura 5. De los cinco agrupamientos identi cados, los tres primeros presentan individuos de todas las poblaciones no permitiendo desarrollar una conclusion y el cuarto y quinto presentan una mayor presencia de D y MD si se consideran conjuntamente.
Resultados obtenidos para los estudiantes de ensen~anza media (Liceo Publico) Del estudio para los liceos publicos, en marzo de 2016, se obtiene el dendograma de la Figura 6, donde se aprecian cuatro agrupamientos. Se observa una tendencia diferente a la presentada en las muestras correspondientes a la Escuela Publica. El primer cluster es mayoritariamenteF y MF, el segundo es MF y el tercero es mayormente D. El cuarto no presenta caracter sticas relevantes. Resultados obtenidos para los estudiantes de ensen~anza media (UTU ) Al igual que en los otros centros de estudio se observan los agrupamientos de acuerdo a los barrios (Figura 7). Empleando el mismo sistema de referencias de colores, se observan cuatro agrupamientos, tres de los cuales son mayoritariamente F y uno de ellos MD y D.
Bosquejo de un mapa de tra co En base a los datos disponibles se presenta una distribucion del uso de la red por barrio en Montevideo, la cual presenta una idea primaria de la visualizacion del empleo de los recursos en relacion a la distribucion geogra ca. El suministro de datos en tiempo real permitira la activacion de indicadores que podr an cruzarse con datos provenientes de diversas fuentes, como se establecio en la Seccion 3, Objetivo (Figura 8).
Los clusteres obtenidos en cada uno de los estudios indica la presencia de agrupamientos relacionados con la situacion socio-economica de cada barrio.
A nivel de primaria (escuelas publicas) se observan agrupamientos mas acentuados y de nidos que en los otros tipos de locales de estudio en los datos correspondientes a los primeros meses. En los sucesivos meses, se podr a considerar una tendencia a la uniformizacion en el uso.
De la observacion de los datos se puede a rmar que en el an~o 2016 los barrios mas desamparados eran los que mas utilizaban los recursos (casi en exclusividad). En abril 2017 aunque el uso era mayor por parte de todos, los barrios con mas pobreza son los que mas lo emplean.
En cambio, para Liceos Publicos y UTU se observa una tendencia a un mayor uso en las categor as favorables y muy favorables.
La presencia de estos agrupamientos permite formular algunas conjeturas que relacionan el nivel social y economico con el uso de la red educacional. En caso de que efectivamente sea esta la realidad, se podra llevar adelante pol ticas integradas (sociales y educativas) para aprovechar las caracter sticas relevadas en el estudio.
En lo que concierne a la visualizacion de los resultados, si las autoridades educativas entienden que es de interes, se suministrara a los mapas inteligentes datos obtenidos en tiempo real. Esto permitira, enmarcado en un adecuado y mas ambicioso proyecto de ciencia de datos, un analisis temporal complementado con otras fuentes de informacion con el objetivo de prevencion de inasistencias y mejoras educativas (relativas al uso de los recursos). Por ejemplo si se dispone de informacion proveniente del Ministerio del Interior de un incremento de actividades delictivas en determinados lugares, puede detectarse la incidencia en la asistencia a clases (efectuando el cruzamiento de datos provenientes del ministerio nombrado y los recibidos por el uso de la red educativa).
Una aplicacion interesante podr a consistir en el cruce de datos provenientes del Ministerio de Salud Publica relativos a enfermedades estacionales (gripes y resfr os, por ejemplo) e inasistencias a clase detectadas por el poco empleo de la red.
En relacion a las expresiones regulares utilizadas para identi car los sitios de estudio, es posible ampliar el corpus a los efectos de mejorar la calidad de los agrupamientos.