Actualmente en el Peru´ , las compan˜´ıas de telefon´ıa mo´ vil se han visto afectadas por el problema de la portabilidad nume´rica, puesto que, desde julio del 2014, los clientes pueden cambiar de operadora mo´ vil en so´ lo 24 horas. Las compan˜ ´ıas buscan soluciones analizando los datos hist o´ricos de sus clientes para generar modelos de prediccio´ n e identificar que´ clientes portara´n, sin embargo, la actual forma en la que se realiza esta prediccio´ n es demasiado lenta. En el presente trabajo, mostramos una arquitectura de Big Data que resuelve los problemas de las arquitecturas “cla´sicas” y aprovecha los datos de las redes sociales para predecir en tiempo real que´ clientes son propensos a portar a la competencia segu´ n sus opiniones. El procesamiento de los datos es realizado por Hadoop el cual implementa MapReduce y permite procesar grandes cantidades de datos en forma paralela. La arquitectura tambie´n utiliza otras herramientas de Hadoop como Mahout para generar nuestro modelo de prediccio´ n, y Hive para gestionar los datos con una sintaxis similar a SQL. Al realizar las pruebas y observar los resultados, logramos obtener un alto porcentaje de precisio´ n (90.03% de aciertos), y procesar 10'000 comentarios en 14 segundos.
ofertas comerciales y guerra de precios. OSIPTEL (2015) menciona que desde el ingreso de las operadoras mo´ viles Bitel y Entel, la competencia se ha incrementado, siendo Entel la operadora que ma´s clientes ha obtenido de Claro Peru´ y de Movistar.
Como vemos en la Figura 1, de acuerdo a las u´ ltimas cifras de OSIPTEL (2015), se muestra que en marzo, la portabilidad mo´ vil crecio´ en 46%, alcanzando un re´cord de 65,142 portaciones, el ma´s alto desde julio del an˜ o pasado, fecha en la que se relanzo´ el mecanismo para realizar una portabilidad nume´rica y cambiar de operadora mo´ vil en solo 24 horas manteniendo el mismo nu´ mero de tele´fono.
Figura 1: Portabilidad mo´ vil a marzo del 2015
Como
nume´rica: La fuga de clientes La pe´rdida de clientes es un riesgo costoso que si no se maneja con cuidado podr´ıa llevar a la compan˜ ´ıa mo´ vil de rodillas.
Segu´ n define
Los factores que contribuyen al comportamiento de fuga en los servicios de telecomunicaciones son diversos.
Anticiparse a esta problema´tica y lograr
identificar que´ lleva a un cliente a terminar su contrato,
entrega diversos beneficios a la compan˜ ´ıa como
por ejemplo, la menor inversi o´n en retener a un
cliente (gracias a la recomendacio´ n de la red de
contactos).
web Hoy en d´ıa, los avances tecnolo´ gicos como el internet y las redes sociales permiten que el cliente tenga mayor acceso a la informacio´ n y pueda comparar fa´cilmente la compan˜ ´ıa que ma´s le convenga.
Bajo el contexto de la competitividad que
actualmente se vive en el mercado de
telecomunicaciones, y suma´ndose a ello, el mayor acceso a la
informacio´ n,
Como menciona
Actualmente las empresas de telefon´ıa mo´ vil
llegan a desarrollar modelos predictivos para
identificar a los clientes que pueden llegar a portar hacia
la competencia. La construccio´ n de estos
modelos puede variar, pero en general, se siguen los
pasos mostrados en la Figura 2, como nos explica
Primero se deben identificar las fuentes de datos con las que se construira´ el modelo de prediccio´ n, la cuales corresponden a los datos internos de la empresa referentes al perfil del cliente y el tra´fico de llamadas.
El perfil del cliente describe el grupo demogra´fico de los clientes y las caracter´ısticas que tienen en comu´ n respecto al segmento, el plan contratado, el tipo de pago, el riesgo crediticio, el a´rea demogra´fica y las penalidades por no pagar las cuentas. El tra´fico de llamadas describe el tra´fico generado y recibido por un cliente, el cual es caracterizado por las llamadas realizadas y recibidas desde l´ıneas fijas o mo´ viles, locales o internacionales, desde que´ operador se realizo´ , la cantidad de SMS enviados y recibidos, y el tra´fico de red en internet generado.
Figura 2: Pasos en el desarrollo de modelos de prediccio´ n
Luego de identificar las fuentes de datos con las que se trabajara´, debe realizarse una extraccio´ n y limpieza de ellos. La limpieza de datos consiste en encontrar errores en los datos, duplicidad, incoherencias o valores incompletos e inconsistentes. Esta informacio´ n es corregida reemplazando valores generados, o eliminada en el peor de los casos. Todos estos datos son almacenados en un Datawarehouse.
Una vez que los datos han sido limpiados y esta´n listos para ser usados, se utilizan diferentes algoritmos de miner´ıa de datos existentes como Naive Bayes, a´rboles de decisio´ n o redes bayesianas, para construir modelos de prediccio´ n. Cuando los modelos son generados, se realizan pruebas sobre ellos para encontrar aquel que tenga el mejor ratio de prediccio´ n, el cual sera´ el modelo a usar para predecir la portabilidad.
Por supuesto, este no es el paso final, ya que el comportamiento de los clientes puede cambiar a lo largo del tiempo, por lo que es necesario actualizar el modelo volviendo a repetir todos los pasos.
Ahora que entendemos co´ mo se generan actualmente los modelos de prediccio´ n, veamos cua´les son los problemas que poseen. 2.4
Dado el entorno actual en el cual las empresas de telefon´ıa mo´ vil se desenvuelven, la solucio´ n que actualmente utilizan para predecir la fuga de clientes presenta cuatro problemas:
Como menciona OSIPTEL (2015), la nueva ley de portabilidad hace que los clientes puedan realizar una portabilidad hac´ıa la competencia en 24 horas, as´ı que se necesita predecir esta portabilidad de manera ra´pida para evitarlo. La solucio´ n cla´sica requiere mantener un Datawarehouse con datos limpios y filtrados, lo cual consume demasiado tiempo.
P2. Confidencialidad de datos: La solucio´ n
cla´sica trabaja principalmente con los datos
internos de la empresa puesto que esta´n estructurados
y disponibles, sin embargo, debido a la
confidencialidad y privacidad del negocio de las
telecomunicaciones, es muy dif´ıcil para las operadoras
encontrar fuentes de datos pu´ blicas que sean
fidedignas y puedan usarse como un input adicional en la
prediccio´ n de la portabilidad de sus clientes, como
menciona
Estandarizar las caracter´ısticas de las diversas
fuentes de datos usadas para realizar un ana´lisis
es un reto ya que consume demasiado tiempo y
esfuerzo. Es necesario implementar y mantener
un Datawarehouse para realizar ana´lisis de datos,
lo cual incluye eliminar informacio´ n irrelevante,
duplicada o con valores nulos como menciona
opinio´ n cambiante que tienen los clientes respecto
a un servicio, lo cual es un factor determinante
en sus decisiones como menciona
Estos cuatro problemas ocasionan que la identificacio´ n de clientes portadores sea lenta e inexacta, pues se requiere realizar una limpieza de los datos o un ana´lisis y ordenamiento de sus fuentes, lo cual demuestra que la implementacio´ n de una arquitectura tradicional para predecir la portabilidad nume´rica tiene carencias que deben resolverse con un enfoque diferente. 3
La necesidad de procesar grandes volu´ menes de
datos en tiempo real es crucial para las
empresas de hoy en d´ıa, por ejemplo, el procesamiento
de volu´ menes masivos de datos donde se esconde
informacio´ n valiosa respecto al comportamiento
de compra de productos o servicios de clientes, y
poder generar nuevos productos analizando dichos
comportamientos. Esto u´ ltimo es particularmente
cierto en el mercado de los negocios de las
telecomunicaciones, donde el nu´ mero de clientes
normalmente llega a varios millones como menciona
En estos escenarios es donde entra Big Data,
el cual es un campo emergente de tratamiento de
datos que permite analizar grandes cantidades de
datos y maximizar el valor del negocio dando un
soporte en tiempo real a la informacio´ n necesaria
para la toma de decisiones, segu´ n define
Para tener un mayor conocimiento sobre Big Data, en esta seccio´ n se vera´ el concepto de las 5 V de Big Data, el aprovechamiento de las nuevas fuentes de datos, el procesamiento paralelo masivo que ofrece MapReduce y la implementacio´ n ma´s popular que tiene llamada Hadoop. 3.1
Las 5 V
Big Data se caracteriza tradicionalmente por el
concepto de las 3 V: volumen, variedad y
velocidad como menciona
El volumen, segu´ n
La velocidad, segu´ n
La variedad, segu´ n
La veracidad, segu´ n
Por u´ ltimo, la variabilidad, segu´ n
Tambie´n hay que considerar lo que recomienda
Los datos en forma de texto dentro de
internet esta´n creciendo cada vez ma´s y es imposible
analizar estos datos de forma manual debido a su
ingente cantidad. Es aqu´ı donde la necesidad de
la automatizacio´ n se hace evidente.
Como indica
Es un framework de programacio´ n creado por Google para computacio´ n distribuida que utiliza el me´todo de “Divide y Vencera´s” para analizar grandes conjuntos de datos complejos y que garantiza la escalabilidad lineal. Utiliza dos funciones para procesar los datos: la funcio´ n Map y la funcio´ n Reduce. El funcionamiento de estas dos funciones puede verse en la Figura 3.
Como explica (G. Bramhaiah et al., 2015), la funcio´ n Map divide los datos de entrada en subpartes ma´s pequen˜ as. Estas partes son distribuidas a lo largo de los servidores para que sean procesadas por separado. Luego la funcio´ n Reduce recolecta las respuestas de todas las subpartes y las combina en una u´ nica salida. MapReduce divide el procesamiento de un algoritmo en etapas paralelizables que se ejecutan en muchos nodos,
Figura 3: Procesamiento paralelo de datos con
MapReduce
as´ı como en etapas de agregacio´ n donde los datos
obtenidos en la fase previa son procesados en un
u´ nico nodo. De esta manera se facilita el
almacenamiento y procesamiento del llamado Big Data.
La herramienta ma´s extendida segu´ n
Segu´ n
(Kankana et al., 2014) explica que el HDFS es ba´sicamente una estructura maestro/esclavo. Al maestro se le conoce como “Name Node”, y a los esclavos como “Data Nodes”. El trabajo principal del “Name Node” es almacenar metadatos de los datos, esto incluye la localizacio´ n de los archivos que los contienen y tambie´n los diferentes atributos de los documentos. Los “Data nodes” se encargan de almacenar los datos en bloques en los diferentes nodos del clu´ ster.
MapReduce, segu´ n
Hive, segu´ n
Mahout, segu´ n (Seyyed et al., 2014) ha sido
disen˜ ado para propo´ sitos de miner´ıa de datos
dentro de Hadoop, pues implementa los algoritmos
de clustering y regresio´ n ma´s comunes por medio
de MapReduce. Adema´s
nume´rica desde la perspectiva de Big
Despue´s de haber explicado el problema de la portabilidad nume´rica y el enfoque de Big Data frente a las soluciones tradicionales, veremos co´ mo Big Data ofrece una solucio´ n para cada uno de los problemas encontrados en la portabilidad nume´rica. Analizaremos co´ mo cada problema esta´ relacionado con una V de Big Data.
La Figura 5 muestra el cuadro en el que se relacionan a las 5 V de Big Data con cada uno de los problemas encontrados en la subseccio´ n 2.4. La explicacio´ n del por que´ hacemos esta relaci o´n entre los problemas y las V es dada a continuacio´ n: Figura 5: Relacio´ n entre los problemas de la solucio´ n actual y las 5 V
El primer problema referido a la rapidez con la que un cliente puede fugar hoy en d´ıa a la competencia esta´ relacionado a la V de “velocidad”, puesto que se necesita identificar a estos clientes de inmediato para evitar que vayan a la competencia, y como soluci o´n, Big Data procesa y entrega la prediccio´ n en tiempo real.
El segundo problema referido a la confidencialidad de los datos esta´ relacionado a las V de “variedad” y “veracidad” puesto que las soluciones cla´sicas trabajan principalmente con los datos internos de la empresa, ignorando las fuentes pu´ blicas como los sitios web que contienen datos no estructurados pero muy valiosos. Por supuesto que si la empresa decide utilizar datos pu´ blicos para realizar sus predicciones, debe tener la certeza de que e´stos son fidedignos. Como solucio´ n, Big Data permite trabajar con nuevas fuentes de datos como las opiniones dejadas por los clientes en las redes sociales de la compan˜ ´ıa mo´ vil acerca del servicio, y poder predecir quienes tienen intencio´ n de portar.
El tercer problema referido a los datos no estandarizados e incoherentes, esta´ relacionado a las V de “volumen” y “variedad”. Los datos usados deben estar limpios y estandarizados antes de comenzar un proceso de ana´lisis; no puede trabajarse con los datos transaccionales directamente, sino que deben formatearse primero. Como solucio´ n, el enfoque de Big Data procesa los datos sin necesidad de realizar un proceso de limpieza.
Por u´ ltimo, el cuarto problema referido a la opinio´ n cambiante de los clientes acerca del servicio vendr´ıa a estar relacionado con la V de “variabilidad”, pues el enfoque de Big Data detecta los cambios que hay a lo largo del tiempo en los datos.
Como vemos, estos cuatro problemas son solucionados desde el enfoque de Big Data visto en la seccio´ n 3, por lo tanto, es posible construir una arquitectura de Big Data que implemente una solucio´ n para prevenir la portabilidad nume´rica. Tambie´n, como se menciono´ en la subseccio´ n 3.1, es importante reconocer cua´l de estas 5 V tiene mayor importancia en la arquitectura. Se espera que la arquitectura de Big Data prediga lo ma´s ra´pido posible que´ clientes pretenden portar, por lo tanto la arquitectura debe ser disen˜ ada tomando como premisa principal la velocidad. 5
solucionar el problema de la portabilidad nume´rica Luego de haber visto la relaci o´n que existe entre los problemas de la solucio´ n cla´sica y co´ mo Big Data y las 5 V ofrecen una solucio´ n a cada problema, pasamos a explicar los detalles de la arquitectura que se plantea en el presente trabajo. 5.1
La solucio´ n propuesta en el presente trabajo aprovechara´ las nuevas fuentes de informacio´ n con las que Big Data trabaja, espec´ıficamente las de redes sociales, explicadas en la subsecci o´n 3.2. El objetivo de la solucio´ n propuesta es obtener en tiempo real los comentarios dejados en las fanpages oficiales de Facebook de las operadoras mo´ viles, y analizar el sentimiento expresado para poder predecir si un cliente tiene intencio´ n de realizar una portabilidad hacia la competencia. 5.2
En la Figura 6 mostramos la arquitectura disen˜ ada en el presente trabajo para poder predecir la portabilidad nume´rica de clientes. Fue disen˜ ada tomando como referencia la subseccio´ n subseccio´ n 3.4.
Figura 6: Arquitectura de Big Data para la prediccio´ n de la portabilidad nume´rica
Esta arquitectura esta´ conformada por seis componentes:
gado de revisar la pa´gina oficial de Facebook de la operadora mo´ vil y descargar las publicaciones y/o comentarios que en ella se realicen. El m o´dulo esta´ encargado de extraer los datos cada hora y almacenarlos en la “base de datos de publicaciones”. El m o´dulo extractor de datos tambie´n es ejecutado para generar la “base de datos de entrenamiento” y entrenar al modelo. Esta´ implementado en Java y utiliza el API de OpenGraph para conectarse a Facebook.
almacena las publicaciones y/o comentarios de Facebook, guarda los datos de manera distribuida por el HDFS de Hadoop y utiliza Hive para gestionarlos, permitiendo trabajar con una sintaxis similar a SQL.
componente que almacena las publicaciones que servira´n para entrenar al modelo de prediccio´ n. Cada publicacio´ n y/o comentario almacenado aqu´ı debe indicarse si es “negativo”, en el caso de opiniones que muestren intenciones de portar, o “positivo”, en caso contrario. Esta base de datos esta´ implementada como una base de datos relacional Oracle.
encargado de generar y actualizar el modelo de prediccio´ n usando como entrada la base de datos de entrenamiento. Esta´ implementado en Mahout para aprovechar el procesamiento paralelo de MapReduce en Hadoop.
El mo´ dulo “predictor” tiene implementado el modelo de prediccio´ n y se encarga de predecir si el comentario de un cliente indica una portabilidad o no. Tambie´n esta´ implementado en Mahout para aprovechar el procesamiento paralelo de MapReduce en Hadoop.
Finalmente, se encuentra la base de datos de predicciones que almacena los resultados obtenidos por el mo´ dulo predictor, implementada en Oracle. 5.3
El algoritmo de prediccio´ n usado en la
arquitectura de Big Data es el de “Naive Bayes”. Seg u´n
Figura 7: Probabilidad de que una palabra sea positiva o negativa
Primero, con las fo´ rmulas mostradas en la Figura 7, evaluamos el conjunto de publicaciones de entrenamiento y obtenemos la probabilidad de que cada palabra sea positiva o negativa.
Luego, con las fo´ rmulas mostradas en la Figura 8, evaluamos todo el conjunto de publicaciones de entrenamiento y calculamos la probabilidad de que el dataset sea positivo o negativo.
Figura 8: Probabilidad de que el dataset sea positivo o negativo
Posteriormente, para calcular la probabilidad de que una publicacio´ n sea positiva o negativa, dadas las palabras que contienen, usaremos las fo´ rmulas de la Figura 9.
Figura 9: Probabilidad de que una publicacio´ n sea positiva o negativa
Como “P(palabras en publicacio´ n)” es “1”, puesto que cada palabra siempre esta´ presente en la publicacio´ n, al aplicar Naive Bayes, tenemos las fo´ rmulas mostradas en la Figura 10.
Figura 10: Naive Bayes aplicado en las probabilidadesa
Finalmente, para elegir si una publicacio´ n es positiva o negativa, se verifica cua´l de las dos probabilidades es mayor por medio de la fo´ rmula mostrada en la Figura 11.
Para mejorar au´ n ma´s la calidad del clasificador
Naive Bayes, se uso´ el ana´lisis de frecuencias de
TF-IDF
El algoritmo clasificador de Naive Bayes fue implementado en Java por medio de la librer´ıa Mahout. 5.4
El flujo de prediccio´ n que definimos para nuestra arquitectura es el mostrado en la Figura 12.
Primero, los comentarios son extra´ıdos desde la pa´gina oficial de Facebook de la operadora mo´ vil y almacenados en la base de datos de publicaciones. Esta extraccio´ n se realiza cada hora buscando aquellos comentarios que tengan una fecha Figura 12: Flujo seguido en la arquitectura para realizar la prediccio´ n posterior a la u´ ltima extraccio´ n realizada. Luego, el mo´ dulo predictor analiza todos aquellos comentarios obtenidos con la u´ ltima extraccio´ n y para cada uno predice si es una portabilidad o no. Si la prediccio´ n indicara una portabilidad, el comentario es almacenado en la base de datos de predicciones, adema´s, si es la primera vez que un usuario realiza una publicacio´ n con intencio´ n de portar, los datos del usuario son almacenados. 6
Para analizar el comportamiento de nuestra arquitectura de Big Data, se realizaron dos tipos de pruebas. La primera de ellas mide el porcentaje de aciertos que tiene el modelo para predecir la portabilidad y la segunda mide la velocidad de respuesta del clu´ ster.
Para la primera prueba se genero´ el modelo de prediccio´ n con Mahout usando unos 10’000 comentarios publicados en las pa´ginas de Facebook de Claro Peru´ . Cada uno de estos comentarios fue etiquetado como “negativo” en caso de que la opinio´ n indique intencio´ n de realizar una portabilidad, y “positivo” en caso contrario. Para etiquetar a un comentario como negativo e´ste deb´ıa cumplir con al menos alguna de las siguientes condiciones: manifestar que algu´ n producto o servicio de la competencia era mejor, manifestar alguna queja sobre un servicio o producto de Claro Peru´ , manifestar directamente que realizar´ıa una portabilidad, o sugerir una portabilidad a otros clientes. La forma en co´ mo deb´ıa etiquetarse cada comentario como positivo o negativo fue sugerido por analistas de negocio de Claro Per u´.
Al ser la pa´gina de Facebook de Claro Peru´
una pa´gina orientada al pu´ blico peruano, el
idioma de los comentarios escritos es el espan˜ ol,
la lengua ma´s extendida del Peru´ , sin embargo,
segu´ n
Con el modelo de prediccio´ n generado, se cargaron otros 10’000 comentarios para su validacio´ n y se construyo´ una matriz de confusio´ n para medir su efectividad. En total, para generar el modelo y validarlo se trabaj o´ con 127MB de informacio´ n.
Para las pruebas de velocidad del clu´ ster, se analizo´ la mejora en tiempos de respuesta que se obten´ıa al incrementar el nu´ mero de nodos en el clu´ ster. Se midieron los tiempos de respuesta del clu´ ster al procesar las 10’000 publicaciones con uno, dos, tres y cuatro nodos.
Todos los nodos usados para las pruebas ten´ıan la misma configuracio´ n de software y hardware. Cada uno contaba con un procesador Intel Core i5, 4 GB de RAM, un disco duro r´ıgido de 500 GB y Ubuntu 14.02 con Hadoop 1.2.1. 7
Los resultados obtenidos al medir el porcentaje de aciertos de publicaciones positivas y negativas fueron calculados a partir de la matriz de confusio´ n generada al realizar las pruebas, la cual es mostrada en la Figura 13.
Por el lado de las predicciones realizadas para los comentarios positivos, se obtuvo un total de 5’839 aciertos y un total de 722 errores, por lo que el porcentaje de aciertos para la prediccio´ n de comentarios positivos fue de 88.99%.
Por el lado de las predicciones realizadas para los comentarios negativos, se obtuvo un total de 3’164 aciertos y un total de 275 errores, por lo que el porcentaje de aciertos para la prediccio´ n de comentarios negativos es de 92.00%.
En conjunto, para los comentarios positivos y negativos, la arquitectura de Big Data propuesta ha obtenido un porcentaje de acierto de un 90.03%.
Los resultados obtenidos en las pruebas del clu´ ster Hadoop, al medir la mejora en tiempos de respuesta agrega´ndole ma´s nodos, son mostrados en la Figura 14.
Inicialmente, el tiempo de respuesta con un solo nodo era de 158 segundos. Al agregarle otro nodo, el tiempo de respuesta mejora pues disminuye en 58 segundos, al agregarle dos nodos se produce una mejora de 95 segundos menos, y al agregarle tres nodos, el tiempo de respuesta disminuye en 144 segundos.
En la Figura 15, puede verse que al aumentar el nu´ mero de servidores, los tiempos de respuesta disminuyen de manera lineal.
En el presente art´ıculo se implemento´ una arquitectura basada en Big Data la cual permite predecir la portabilidad nume´rica de clientes en empresas de telefon´ıa mo´ vil. Para ello, se utiliz o´ como fuente de datos los comentarios realizados en la pa´gina pu´ blica de Facebook de Claro Peru´ y con ellos se creo´ un modelo de prediccio´ n de ana´lisis de sentimientos en Naive Bayes, el cual obtuvo un alto porcentaje de aciertos (90.03%) y permitio´ procesar 10’000 comentarios en 14 segundos. La arquitectura permite que la empresa de telefon´ıa mo´ vil pueda identificar en tiempo real que´ clientes tienen intencio´ n de irse a la competencia, tomando como fuente los datos dejados en redes sociales.
Se comprobo´ que las 5 V de Big Data se encuentren relacionadas con los problemas planteados en la seccio´ n nu´ mero cuatro del art´ıculo y fueron resueltos, pues las predicciones se realizaron de manera ra´pida, se trabajo´ con datos pu´ blicos de Facebook y se realiz o´ un proceso en el cual el cliente desconoc´ıa el ana´lisis realizado sobre sus comentarios, el proceso fue realizado en tiempo real y sin necesidad de estandarizar los datos, y fue posible hacer seguimiento a la preferencia cambiante del cliente respecto a los servicios que las empresas de telefon´ıa ofrecen.
Por otro lado,
Para la implementacio´ n de la arquitectura, se
usaron las tecnolog´ıas Hadoop, Mahout y Hive,
pero
Por u´ ltimo, es importante destacar que la prediccio´ n de la portabilidad nume´rica juega un rol importante en la industria de la telefon´ıa mo´ vil, pues con el fin de reducir los diversos costos asociados a la pe´rdida de clientes, es imperativo que las empresas de telefon´ıa mo´ vil desplieguen modelos predictivos que permitan identificar que´ clientes portara´n a la competencia. Con estos modelos las empresas podra´n formular estrategias de retenci o´n de clientes con el objetivo de aumentar sus utilidades y la rentabilidad del negocio.