У роботі показана можливість застосування інформаційних технологій для аналізу бази даних абонентів телекомунікаційної компанії з метою передбачення їх подальшої поведінки. Задача є актуальною не лише з точки зору прогнозування факту зміни абонентом телекомунікаційної компанії і відмовою від використання послуг, а й моменту, коли абонент лише почав над цим замислюватись. У статті вирішують дві задачі: задача класифікації (задача прогнозування можливого відтоку абонентів) та задача передбачення моменту часу, в який ця подія може відбутися. Для задачі класифікації можуть використовуватись різноманітні методи інтелектуального аналізу даних. У статті була побудована узагальнена лінійна модель, яка показала прийнятні предикативні властивості на основі індексу GINI, проте нижчі порівняно з логістичною регресією, нейронними мережами, градієнтним бустингом. Автором було запропоновано розглядати задачу з точки зору виживання популяції - абонентів телекомунікаційної компанії. У роботі наведено основні теоретичні відомості з аналізу виживання та виконано їх формалізацію для вирішення задачі прогнозування відтоку клієнтів, зокрема з урахуванням їх типу (корпоративний чи приватний клієнт), а також часу настання події. Автором запропоновано розв'язувати задачу прогнозування поведінки клієнтів у часовому просторі для завчасного передбачення фінансових ризиків телекомунікаційної компанії, пов'язаних з недоотриманням прибутку через відтік клієнтів або зайвими витратами на додаткове обладнання, в якому немає потреби. Для цього пропонується прогнозувати період та обсяг можливих втрат і будувати функцію виживання та функцію можливих втрат для моделі пропорційних ризиків Кокса. Вони дозволяють визначати момент часу, в який відбувається перехід від критичного та катастрофічного фінансового ризику. Знання періоду настання ризику буде корисним для телекомунікаційної компанії з точки зору запобігання відтоку абонентів шляхом розробки персональних пропозицій та проведенням додаткових заохочень для існуючих клієнтів. Ключові слова: інформаційні технології, фінансові ризики, моделі виживання, телекомунікаційна компанія, пропорційні ризики Кокса.
Для аналізу даних використовується вибірка (популяція), яка характеризується певними ознаками: по кожному об’єкту відомий результат події (загибель чи виживання). Для цього здійснюється один з видів цензурування (відсікання). Спостереження називаються цензурованими, якщо спостережувана залежна h(t) lim
0 log h(t) .
P(t T t | T t) , h(t) dS (t ) dt S (t) . Найпростіша функція, яка визначає, що ризик є константою в часі: h(t) , або що еквівалентно t 0 Оскільки
S (t ) exp[ h(u)du ] , то після підстановки та інтегрування отримуємо:
S (t) e t , а f (t) et . Це функція щільності ймовірності з відомим експоненційним розподілом з
параметром . Таким чином, сталий ризик передбачає експоненційний розподіл для часу, поки не
наступить подія (або час між подіями) [
Модель виживання може будуватись з горизонтом часу і ймовірність відтоку клієнта в наступний
період PO (probability of outlet) може бути обчислена таким чином [
PO(t | x) P(t T < t b | T t, X x ) P(T < t b | X x) - P(T t | X x)
P(T t | X x)
,
F (t b | x) F (t | x) 1 F (t | x) 1
S (t b | x)
S(t | x) (1) де t – час спостереження обслуговування клієнту, а x - значення коваріаційного вектору X для цього клієнта, тобто параметри самого клієнта, його тарифного плану та його поведінки.
Для розподілу часу життя можна прийняти узагальнену лінійну модель [7]:
P(T t | X x) F (t | x) g (0 1t x), де (2 , 3 ,, p 1 )
p-вимірний вектор, g - відома функція зв’язку, така як логістична чи пробітфункція. Таким чином, ця модель характеризує умовний розподіл часу обслуговування абоненту телекомунікаційною компанією T в термінах невідомих параметрів. Як тільки ці параметри будуть оцінені, отримаємо оцінку функції умовного розподілу, Fˆ і, нарешті, оцінка відтоку клієнта (PO) може бути обчислена шляхом включення цієї оцінки у рівняння (1), тобто POˆ GLM (t | x)
Fˆ (t b | x) Fˆ (t | x) 1 Fˆ (t | x) 1
Sˆ (t b | x)
S ˆ (t | x)
F (t | x) g ( 0 1t 2 x), зі щільністю f (t | x) 1g '( 0 1t 2 x). Оскільки зазвичай задана випадкова цензурована справа вибірка, то умовна функція правдоподібності представляє собою добуток членів, що включають умовну щільність, для нецензурованих даних та умовної функції виживання для цензурованих даних:
n
L(Y , X , ) f (Yi | X i )i (1 F (Yi | X i ))1 i ,
де Yi – строк обслуговування і-го клієнту в телекомунікаційній компанії і і є індикатором відтоку для і-го
клієнту.
Таким чином, логарифмічна функція правдоподібності визначається [
n l() ln( L(Y , X , )) [i ln( f (Yi | X i )) (1 i ) ln(1 F (Yi | X i ))]
n [i ln(i g (0 1Yi 2 X i )) (1 i ) ln(1 g(0 1Yi 2 X i ))]
n n i [ln(1 ) ln( g (0 1Yi 2 X i ))] (1 i ) ln(1 g(0 1Yi 2 X i )) І, нарешті, оцінка знаходиться як максимізація функції логарифмічної правдоподібності: i1
ˆGML arg maxl( ) .
4 Моделі пропорційних ризиків Кокса
Відома модель Кокса, запропонована в 1972 році, інтенсивно використовується в самих різних
областях, особливо в медицині і страхування, для оцінки умовного ризику захворювання при заданих
значеннях вихідних ознак [
hi (t) h0 (t ) ( X i1 ,..., X ik ) , де h0 (t) – базова функція інтенсивності, що включає фактор часу, але не включає коваріанти, а ( X i1 ,... X ik ) − лінійна функція досліджуваних ознак, яка не включає фактор часу.
Досить часто модель записують у наступному вигляді : hi (t) ho (t) e{1 X i1 ... k X ik } , ln hi (t ) ln ho (t) 1 X i1 ... k X ik , де 1 ,... k − невідомі параметри.
5 Аналіз поведінки клієнтів за допомогою SAS-технологій Для поставленої задачі моделювання використовували реальні статистичні дані клієнтської бази телекомунікаційної компанії за 2014-2016 роки [6]. Вхідна вибірка складалась з 150 тисячі абонентів та відповідно інформації про їх активність в мережі протягом 15 місяців (увесь 2014 рік та початок 2015 року). Кожний місяць активності абонента описується наступними 10 показниками: кількість хвилин вхідних дзвінків (INCOMING); кількість хвилин вихідних дзвінків на стаціонарні номери (PSTN) ; кількість хвилин вихідних дзвінків на мобільні номери інших операторів (ALIEN); кількість хвилин вихідних дзвінків на мобільні номери цього ж оператора в одному регіоні (REGION); кількість хвилин вихідних дзвінків на мобільні номери цього ж оператора в інший регіон (AREA); кількість хвилин вихідних дзвінків на мобільні номери інших мобільних операторів (OMO_MINS); кількість хвилин вихідних дзвінків на мобільні номери всередині мережі (ONNET_MINS); кількість хвилин вихідних дзвінків на міжнародні номери (INTERN_MINS); кількість мегабайт спожитого інтернет трафіку (GPRS_USG_MB); кількість надісланих СМС (SMS);
Також відома інформація щодо дати активації абонента (Oblast_Activated), його статі (SEX), віку (AGE) та індикатору, чи є він корпоративним клієнтом (COMPANY), і моделі пристрою зв’язку (мобільний телефон, планшет тощо).
Були використані можливості інформаційних технологій SAS Enterprise Miner для побудови і оцінювання параметрів та якості узагальненої лінійної моделі, написані власні коди на SAS Base для побудови моделей виживання з відповідними розподілами (моделі пропорційних ризиків Кокса та напівпараметричної моделі). Отримані коефіцієнти узагальненої лінійної моделі наведені у таблиці 1. Після цього модель була оцінена на основі ROC-кривої та індексу GINI (рис.1). За площею під ROC-кривою (AUC=0,8246) обраховуємо значення індексу GINI: GINI 2 AUC 1 0,6492 . Це говорить про прийнятні предикативні якості моделі, тобто дозволяє спрогнозувати саму подію відтоку клієнту (чи буде відтік, чи ні). Рис. 1. ROC-крива для узагальненої лінійної моделі Далі було здійснено моделювання та прогнозування самого факту відтоку за допомогою градієнтного бустингу, випадкового лісу, нейронних мереж та логістичної регресії. Результати для індексу GINI були на рівні 0,65 - 0,684, що вище, порівняно з узагальненою моделлю. Однак ці моделі не можуть бути використані для прогнозування самого періоду можливого відтоку.
Для прогнозування часу можливої зміни абонентом оператора зв’язку були побудовані моделі виживання та фукція втрат (збитковості) для моделі Кокса (рис. 2 та рис. 3) [6,7]. Групи абонентів розділялись на корпоративних та індивідуальних клієнтів (враховувалась також стать клієнтів). Моделювалась поведінка клієнтів кожної групи окремо для прогнозування можливого відтоку клієнтів та періоду, в який це може відбутись. Рис. 2 Графіки функцій виживання для згрупованих даних Визначення рівня небезпеки і ключових моментів часу, які характеризують допустимий, критичний та катастрофічний рівень ризику є задачею системного аналізу, яку необхідно вирішувати в рамках кожного виду ризику незалежно від типу ризику та галузі, в якій він спостерігається. Автором пропонується підхід, що базується на визначенні втрат компанії як допустимих (t1 | x) c1 , критичних (t2 | x) c2 та катастрофічних (t3 | x) c3 , де c1 , c2 , c3 - певні константи, які визначаються компанією в залежності від її фінансових оборотів, потужностей, тощо (наприклад, обсяг власного капіталу).
Рис. 3 Графік функції втрат для моделі Кокса Далі, постає питання визначення допустимого, критичного та катастрофічного часу t1, t2 , t3 . Якщо рівні втрат компанії задані на рівні 20%, 40% та 50% відповідно, то побудувавши графік функції втрат для моделі Кокса, ми отримуємо, що t1 2 місяці,t2 7 місяців, t3 9 місяців. Таким чином, при встановлених припущеннях за нашою моделлю клієнти телекомунікаційної компанії переходять з критичного до катастрофічного рівня ризику з 7 по 9 місяць. Тому, в саме цей період телекомунікаційній компанії доцільно здійснювати додаткові дії для утримання абонентів шляхом розробки персональних пропозицій та проведенням додаткових заохочень для існуючих клієнтів.
Отже, за розглянутими моделями ми можемо визначити прийнятний ступінь ризику та час, в який момент ризик переходить в катастрофічний, а також рівень втрат, які в цей момент буде нести телекомунікаційна компанія з точки зору недоотримання доходу через відтік клієнтів (абонентів). .
6 Висновки Проведене моделювання підтвердило доцільність використання методів з теорії виживання, оскільки враховуються навіть спостереження з невідомим результатом, тобто ті, по яких не встановлений факт відтоку і вони досі обслуговуються оператором, що значно розширює і наближає вибірку до реальних статистичних даних. Окрім цього, побудовані моделі дозволяють включати прогнози описаних факторів, динаміку поведінки, що дозволяє будувати динамічні моделі, які є більш точними та функціональними. І, нарешті, побудовані моделі дозволяють здійснювати прогнозування фактору ризику та можливих втрат з урахуванням часу, тобто на певний період вперед.
Література
Information Technologies for Clients’ Database Analysis and Behaviour Forecasting
© Nataliia V. Kuznietsova Institute for Applied System Analysis of the National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute",
Kyiv, Ukraine natalia-kpi@ukr.net
In the paper the possibility of applying the information technologies for analyzing the customer database of telecommunication company subscribers with the purpose of predicting their further behaviour is shown. The task is relevant not only in terms of forecasting the fact of the change of the subscriber of the telecommunications company and the refusal of using the services, but also the moment when the subscriber only began to think about it. In the article two problems: the task of classification (the task of forecasting the possible outflow of subscribers) and the task of predicting the time at which this event may occur are solved. Different methods of data mining could be used for the classification problem. In the article a generalized linear model was built and showed acceptable predicative properties based on the GINI index, but lower compared to logistic regression, neural networks and gradient boosting.
The author proposed to consider the problem in terms of survival of the population - subscribers of the telecommunication company. The paper presents the main theoretical information of the survival analysis and formalizes them for solving the problem of forecasting outflow of clients, in particular, taking into account their type (corporate or private client), as well as the time of occurrence of the event. The author proposes to solve the problem of clients’ behaviour forecasting in time space for the early prediction of financial risks of a telecommunication company. The financial risks are caused with a lack of profit through the outflow of customers or excess costs for additional equipment, which is not needed. In the paper it is proposed to predict the period and amount of possible losses and build survival probability function and cumulative hazard function for the Cox proportional risks model. These functions allow us to determine the time at which the transition from critical to catastrophic financial risk occurs. Knowledge of the risk period will be useful for the telecommunication company in terms of preventing the outflow of subscribers by developing personalized offers and providing additional incentives for existing customers.
Keywords: information technology, financial risks, survival models, Telecommunication Company, Cox proportional risks.