-This paper presents the configuration and the infrastructure for the development of a high availability network with critical communications used in Smart Grids (SM). The local area network (LAN) has been designed by 3 layer switches with Virtual Switching Systems (VSS) and Gateway Load Balancing Protocol (GLBP) configuration, the border routers are configured with Hot Standby Router Protocol (HSRP). The Wide Area Network (WAN) has been designed over a Multiprotocol Label Switching (MPLS) network and Dynamic Multipoint Virtual Private Network (DMVPN) has been configured with encrypted communications.
I. INTRODUCCI O´N
Los sistemas ele´ctricos presentan las redes de mayor
despliegue a nivel mundial, la conciencia ecolo´gica ha permitido
evolucionar a las redes ele´ctricas inteligentes agrupando a
numerosos sistemas y subsistemas interconectados con la
finalidad de brindar seguridad, confiabilidad, vida u´til,
interoperabilidad, rentabilidad, consumo m´ınimo de energ´ıa,
bajos costos de instalacio´n y mantenimiento para suministrar
energ´ıa ele´ctrica respondiendo al crecimiento de la demanda.
La integracio´n de energ´ıas renovables a gran escala plantean
nuevos requerimientos de comunicaciones de alta
disponibilidad permitiendo que la informacio´n sea procesada por los
sistemas de co´mputo, monitoreo y centros de control dando
respuesta al problema de la generacio´n de energ´ıa en tiempo
real, para lo cual es indispensable comunicaciones
bidireccionales entre los abonados del sector ele´ctrico y las centrales
de generacio´n a cientos he incluso miles de kilo´metros.
La operacio´n y confiabilidad de las redes ele´ctricas inteligentes
involucran comunicaciones por medios ala´mbricos como la
fibra o´ptica y por medios inala´mbricos utilizando enlaces de
radio o comunicaciones satelitales para los equipos cr´ıticos de
protecciones desplegados en las redes[
Wide Area Network (WAN), esta´ comprendida por la red de backbone, Metropolitan Area Network (MAN) y la red de backhaul. La red de backbone proporciona altas velocidades de comunicacio´n y baja latencia comunicando a las subestaciones generalmente utilizando fibra o´ptica. La red MAN conecta las redes de backhaul en grandes ciudades o regiones metropolitanas. La red de backhaul es el enlace entre WAN y Neighborhood Area Network (NAN), proporciona conectividad de banda ancha a la red NAN. El principal servicio que presta la red WAN es el transporte de datos fiables, manteniendo la privacidad y seguridad de la informacio´n por toda la red ele´ctrica inteligente permitiendo la operacio´n de todos los sistemas. La privacidad, fiabilidad y seguridad de la informacio´n son los principales aspectos que se evalu´an en la red WAN.
El art´ıculo esta´ organizado de la siguiente manera. En la seccio´n II, se describen los para´metros de disen˜o. En la seccio´n III, se disen˜a la red. En la seccio´n IV, se presentan los resultados de la simulacio´n. Finalmente en la seccio´n V se presentan las conclusiones.
II. PAR A´METROS DE DISE N˜O
Para trabajar con conexiones entre las diferentes Local Area Network (LAN) que componga la infraestructura tecnolo´gica de una organizacio´n o de una red de condiciones y caracter´ısticas globales es necesario el uso de tecnolog´ıas de comunicaciones de a´rea extendida WAN brindando respuesta a los requerimientos de comunicacio´n sin afectar el rendimiento, seguridad o confiabilidad. Las alternativas de comunicacio´n WAN se pueden clasificar en privadas (uso de recursos mediante un proveedor de servicios, ejemplo enlaces de datos arrendados dedicados) y pu´blicas (uso de Internet a trave´s de recursos de banda ancha, ejemplo Virtual Private Networks (VPN)).
En el protocolo OSPF cuando la cantidad de equipos enrutadores aumenta en la red de datos, las buenas pra´cticas de disen˜o recomienda la reduccio´n del nu´mero de enrutadores por a´rea para reducir el intercambio de los mensajes Link State Advertisement (LSA). Para reducir el intercambio de LSA en la red, se implementa OSPF en su modalidad de mu´ltiple a´rea que reduce el consumo de recursos de infraestructura tecnolo´gica y de ancho de banda.
AREA0 AREA1
AREA2 La implementacio´n de OSPF mu´ltiple a´rea o multia´rea se puede resumir en cuatro procesos: Recopilacio´n de requisitos de red: Esta fase depende del resultado del establecimiento de la l´ınea base de la red que permite conocer los requisitos y taman˜o de la infraestructura. Definicio´n de para´metros de OSPF: Del resultado obtenido en el primer proceso se decide si la implementacio´n de OSPF sera´ la convencional de o la de multia´rea (direccionamiento IP, nu´mero de a´reas, topolog´ıa, etc.).
Configuracio´n de OSPF: Configuracio´n de OSPF multia´rea segu´n para´metros y las necesidades de la red.
Verificacio´n de la configuracio´n de OSFP: Validacio´n de la configuracio´n segu´n las necesidades y para´metros de la red. La operacio´n de OSPF multia´rea hace que la operacio´n de OSPF se segmente dentro de cada a´rea que se ha creado y si existe la necesidad de enviar tra´fico entre las a´reas esta pasa en condiciones resumidas con procesos de sumarizacio´n para ahorrar el consumo de ancho de banda al transitar por el a´rea de backbone que es el a´rea 0. Cada equipo cumple un rol en cada a´rea y tienen una propia nomenclatura.
El diferenciador para la eleccio´n de implementacio´n de los protocolos EIGRP y OSPF es ba´sicamente la marca de los equipos enrutadores que compondra´n la red en la implementacio´n de los disen˜os. Las mejores pra´cticas proponen disen˜os de inclusio´n de mu´ltiples fabricantes y la ejecucio´n de esta´ndares que sean soportados por todos los dispositivos. La tecnolog´ıa DMVPN es una solucio´n de Cisco para la creacio´n dina´mica de VPN. DMVPN utiliza una arquitectura centralizada para simplificar la gestio´n y reducir significativamente la complejidad para su implementacio´n permitiendo que las sucursales se comuniquen directamente entre s´ı a trave´s de la WAN privada o pu´blica mejorando el rendimiento de la red al reducir la latencia, optimizando el uso del ancho de banda.
HUB
HUBANDSPOKETUNNEL SPOKETOSPOKETUNNEL
Fig. 2. Esquema de implementacio´n de DMVPN
Los componentes ba´sicos de DMVPN son: Multipoint Generic Routing Encapsulation (mGRE) Tunnels: Es la configuracio´n que permite a una interfaz tu´nel GRE admita mu´ltiples tu´neles ayudando a reducir la complejidad y la cantidad de configuraciones en la implementacio´n. Next Hop Resolution Protocol (NHRP): Es un protocolo de capa de enlace de datos utilizado para mapear dina´micamente una direccio´n IP a la interfaz de los otros sistemas que forman parte de la red, permitiendo que estos sistemas se comuniquen directamente. Enrutamiento dina´mico: Los protocolos de enrutamiento dina´mico soportados por DMVPN son Routing Information Protocol (RIP), Enhanced Interior Gateway Routing Protocol (EIGRP), Open Shortest Path First (OSPF), Border Gateway Protocol (BGP).
IPSec: Es el protocolo que asegura la comunicacio´n, la implementacio´n no es obligatorio y es compatible con el tu´nel IPsec IKE.
Cisco Express Forwarding (CEF): Con soporte de enrutamiento virtual y Virtual Routing and Forwarding (VRF) en los concentradores para segregar el tra´fico de clientes. La figura 3 muestra el esquema de red WAN utilizando DMVPN.
TUNNEL0 10.0.0.2 RouterSpoke
TUNNEL0 10.0.0.3 RouterSpoke IPPUBLICA 40.40.40.1 IPPUBLICA 30.30.30.1
TUNNEL0 10.0.0.4 RouterSpoke MDMSCENTRAL NHRPSERVER TUNNEL0 10.0.0.1 Router Hub IPPUBLICA 20.20.20.1 MPLS DMVPN 10.0.0.0/24 IPPUBLICA 50.50.50.1 IPPUBLICA 60.60.60.1
TUNNEL0 10.0.0.5 RouterSpoke IPPUBLICA 90.90.90.1 IPPUBLICA 80.80.80.1 IPPUBLICA 70.70.70.1
MDMSDISTRIBUIDO NHRPCLIENT TUNNEL0 10.0.0.6 RouterSpoke
TUNNEL0 10.0.0.8 RouterSpoke
TUNNEL0 10.0.0.7 RouterSpoke Fig. 3. Red WAN con DMVPN
La arquitectura DMVPN se basa en la implementacio´n
de Hub y Spoke. El Hub representa el nodo central de la
red y spoke es una ubicacio´n remota. La principal ventaja
de la solucio´n DMVPN consiste en la creacio´n de enlaces
privados entre spokes bajo demanda sin enrutar todo el tra´fico
a trave´s del Hub. DMVPN representa una tecnolog´ıa de tu´neles
dina´micos y escalables punto multipunto permitiendo la
comunicacio´n directa entre sucursales sin requerir una conexio´n
VPN permanente[
III. DISE N˜O DE RED
Con la finalidad de garantizar alta disponibilidad, confiabilidad y seguridad de las comunicaciones entre las empresas ele´ctricas y el centro de control de energ´ıa. La red de comunicaciones WAN ha sido disen˜ada bajo una arquitectura centralizada fa´cil de implementar y gestionar conocida como DMVPN, esta solucio´n crea redes privadas virtuales seguras y escalables.
Es necesario disen˜ar la arquitectura de comunicaciones de
forma distribuida y escalable, permitiendo que la
infraestructura de medicio´n avanzada se integre a las redes ele´ctricas
inteligentes mediante el uso de redes celulares como tecnolog´ıa
de comunicacio´n entre los medidores y las empresas ele´ctricas.
Fibra o´ptica como medio de comunicacio´n entre las empresas
ele´ctricas y el centro de control de energ´ıa[
La figura 4 muestra el modelo del Meter Data Management System (MDMS) totalmente distribuido que representa una red de comunicaciones a nivel nacional. Cada provincia o estado cuenta con un sistema MDMS distribuido que reciben los datos de sus abonados y son enviados a un MDMS central.
SM SM SM SM SM SM SM SM
RADIOBASE RADIOBASE RADIOBASE
CIS OMS GIS
CIS OMS GIS CENTRODEOPERACIÓN
MDMSCENTRAL MDMSDISTRIBUIDO
MDMSDISTRIBUIDO
CIS OMS GIS DMS MDMSDISTRIBUIDO
MDMSDISTRIBUIDO
RADIOBASE RADIOBASE RADIOBASE RADIOBASE
SM SM SM SM SM SM SM SM RADIOBASE CIS OMS GIS
En la arquitectura de comunicacio´n totalmente distribuida en redes inteligentes, existen mu´ltiples MDMS desplegados a nivel nacional, cada MDMS se encarga del procesamiento y almacenamiento de informacio´n proporcionada por los medidores inteligentes de cada regio´n. Al implementar arquitecturas distribuidas se optimiza el ancho de banda en las comunicaciones ya que se reduce la cantidad de datos a transmitir a una arquitectura centralizada. La informacio´n efectiva por cada provincia son los datos depurados que han sido procesados por cada uno de los MDMS, ya que so´lo una pequen˜a parte de los datos es necesaria para los servicios de operacio´n y gestio´n. Con la finalidad de brindar confiabilidad en la red interna es necesario dos equipos de core conectados mediante VSS gestionando la conmutacio´n de paquetes entre los equipos permitiendo alta disponibilidad y fiabilidad de las comunicaciones entre los servidores internos.
Los dispositivos de acceso deben permitir la creacio´n de redes lo´gicas o VLANs con la finalidad de seccionar los dominios de difusio´n y garantizar permisos de acceso a servidores en WAN FRONTERA REDINTERNA
Router2
Distribución Servicios1 la red interna dependiendo de permisos con la creacio´n de ACLs.
La figura 5 muestra el disen˜o de la red de comunicaciones para aplicaciones cr´ıticas.
CARRIER1
CARRIER1 CARRIER2
CARRIER2 FRONTERA REDINTERNA
Router2
Distribución Servicios1 FRONTERA REDINTERNA
Router2
Distribución
Servicios1
Aceso2 VLAN10 VLAN20 VLAN30 CIS OMS GIS DMS Distribución
Distribución
Distribución Aceso2
Aceso2 VLAN10 VLAN20 VLAN30 CIS OMS GIS DMS
VLAN10 VLAN20 VLAN30 CIS OMS GIS DMS Se evidencia las caracter´ısticas propuestas de escalabilidad de la red y las condiciones que la hace tolerante a fallos a trave´s de la disminucio´n de los puntos de falla simple y la inclusio´n de la tecnolog´ıa para la creacio´n de VPN dina´micas DMVPN.
IV. SIMULACI O´N
A continuacio´n se presenta los resultados del disen˜o de red de frontera y de la red local de las empresas ele´ctricas. Por la criticidad de los datos se ha disen˜ado una arquitectura de red de alta disponibilidad, para lo cual es necesario de dos proveedores de servicios de telecomunicaciones, dos routers de frontera configurados con HSRP y dos dispositivos de core configurados con VSS y GLBP con la finalidad de balacear el tra´fico.
La figura 6 muestra la topolog´ıa f´ısica de la red al igual que la distribucio´n del direccionamiento ip.
Fig. 6. Red WAN con DMVPN DMVPN proporciona una malla completa entre todos los nodos actores de la red permitiendo reconfiguraciones de las rutas dina´micamente en caso de que una ruta no se encuentre activa. DMVPN reemplaza las rutas esta´ticas por el protocolo de enrutamiento dina´mico EIGRP. DMVPN consta de un equipo central denominado HUB que se encarga de levantar VPNs de forma dina´mica y posee la informacio´n de enrutamiento de los dema´s equipos de la red denominados SPOKES.
Si el equipo central conocido como HUB pierde comunicacio´n con sus SPOKES las redes privadas virtuales dejan de comunicarse. Para preservar las comunicaciones activas es necesario un segundo proveedor de servicios, el mismo que brindara´ redundancia en una segunda infraestructura de comunicaciones basada en DMVPN.
OSPF es el protocolo de enrutamiento configurado entre los proveedores de servicios y como red de acceso se ha configurado MPLS simulando una red real que es utilizada en la actualidad por los ISPs.
EIGRP es el protocolo de enrutamiento utilizado entre los routers de frontera de cada empresa.
A continuacio´n se presentan los datos de los comandos de verificacio´n propios de DMVPN. La respuesta al comando show ip nhrp, muestra las entradas de cache´ de IP Next Hop Resolution Protocol. Se puede identificar las rutas establecidad, los tiempos de expiracio´n de los tuneles y si los mismos son esta´ticos o dina´micos.
ROUTER # : show ip nhrp 10.1.1.2/32 via 10.1.1.2 . Tunne1100 created 2w6d, expire 01:43:45 . Type: dynamic, Flags: unique registered used nhop NBMA . address: 10.0.0.46 10.1.1.3/32 via 10.1.1.3 . Tunne1100 created 2w6d, expire 01:33:02 . Type: dynamic, Flags: unique registered used nhop NBMA . address: 10.0.0.2 10.1.1.4/32 via 10.1.1.4 . Tunne1100 created 2w6d, expire 01:41:05 . Type: dynamic, Flags: unique registered used nhop NBMA . address: 192.168.29.254 10.1.1.5/32 via 10.1.1.5 . Tunne1100 created 2w6d, expire 01:49:56 . Type: dynamic, Flags: unique registered used nhop NBMA . address: 172.16.1.5 10.1.1.6/32 via 10.1.1.6 . Tunne1100 created 2w6d, expire 00:09:01 . Type: dynamic, Flags: unique registered used nhop NBMA . address: 172.18.95.5 10.2.2.1/32 via 10.2.2.1 . Tunnel200 created 2w6d, never expire . Type: static, Flags: used NBMA address: 172.16.1.1
A continuacio´n se presenta la respuesta al comando show ip nhrp traffic, se muestra la informacio´n estad´ıstica del tra´fico de nhrp que cursan por las interfaces tu´neles creadas por DMVPN
Tunne1100: Max-send limit:100Pkts/10Sec, Usage:0% . Sent: Total 12010 . 15 Resolution Request 0 Resolution Reply . 0 Registration Request 11961 Registration Reply . 14 Purge Request 14 Purge Reply 6 Error . 0 Traffic Indication 0 Redirect Suppress . Rcvd: Total 12010 . 21 Resolution Request 0 Resolution Reply . 11961 Registration Request 0 Registration Reply . 14 Purge Request 14 Purge Reply 0 Error . 0 Traffic Indication 0 Redirect Suppress Tunne1200: Max-send limit:100Pkts/10Sec, Usage:0% . Sent: Total 5475 . 3667 Resolution Request 1052 Resolution Reply . 756 Registration Request 0 Registration Reply . 0 Purge Request 0 Purge Reply 0 Error . 0 Traffic Indication 0 Redirect Suppress . Rcvd: Total 5228 . 1052 Resolution Request 3428 Resolution Reply . 0 Registration Request 748 Registration Reply . 0 Purge Request 0 Purge Reply 0 Error . 0 Traffic Indication 0 Redirect Suppress
A continuacio´n se presenta la respuesta al comando show ip nhrp nhs detail, se muestra en detalle el tiempo de espera del protocolo NHRP de DMVPN.
ROUTER # : show ip nhrp nhs detail Tunnel200: . 10.2.2.1 RE priority = 0 cluster = 0 req-sent 756 req-failed . 0 repl-recv 748 (00:38:31 ago)
Finalmente se muestra la salida de las interfaces creadas dina´micamente por el protocolo DMVPN a trave´s de la ejecucio´n del comando show dmvpn detail.
Interface Tunne1100 is up/up, Addr. is 10.1.1.1, VRF . Tunnel Src./Dest. addr: 10.0.0.22/MGRE, Tunnel VRF . Protocol/Transport: ”multi-GRE/IP”, Protect ”PROFILE” . Interface State Control: Disabled . nhrp event-publisher : Disabled . Type.Hub, Total NBMA Peers (v4/v6): 5 Peer NBMA Peer Tunnel State UpDn . 10.0.0.46 10.1.1.2 UP 2w6d . 10.0.0.2 10.1.1.3 UP 2w6d . 172.16.1.5 10.1.1.5 UP 2w6d . 172.18.95.5 10.1.1.6 UP 2w6d .192.168.29.254 10.1.1.4 UP 2w6d Target Network 10.1.1.2/32 10.1.1.3/32 10.1.1.5/32 10.1.1.6/32 10.1.1.4/32
V. CONCLUSIONES
El tra´fico encriptado con IPSec puede ocacionar retardos en la red debido a que en primera instancia el Hub debe desencriptar la informacio´n, verificar el destino y crear el tunel DMVPN.
El ana´lisis de rendimiento realizado, nos permite determinar cua´l de los protocolos de enrutamiento utilizados para la conexio´n DMVPN asegura el menor valor de retardo. Se recomienda el uso de protocolos EIGRP. En este u´ltimo caso, no hay l´ımites en el nu´mero de tra´nsitos, como cuando se utiliza el protocolo RIP. La universalidad del protocolo EIGRP radica en su funcionalidad en las redes con otros protocolos de enrutamiento, ya que la informacio´n de todos los protocolos de enrutamiento se puede unir por medio de EIGRP. Sin embargo, al igual que con todas las redes EIGRP, el nu´mero de vecinos debe limitarse para garantizar que el enrutador concentrador pueda restablecer las comunicaciones despue´s de una interrupcio´n importante.
DMVPN con el uso de los diferentes protocolos de IGP, y con las caracter´ısticas propias de su tecnolog´ıa hace posible el soporte de escalabilidad de la red a un escenario diverso de condiciones, variables de taman˜os y topolog´ıas de implementacio´n, debido a la gran simplificacio´n de complejidad y de ahorro de configuraciones.
Los protocolos Interior Gateway Protocol (IGP) analizados en el documento EIGRP y OSPF brindan la posibilidad de ejecutar procesos de afinamiento que facilita el soporte de condiciones de escalamiento en redes de gran taman˜o. Estos procesos van desde la posibilidad de modificacio´n de los temporizadores que gestionan los tiempos en los que se intercambian informacio´n de estado y actividad, soporte de pilas de protocolo en la capa IP en versiones de IPv6 hasta modificaciones en su comportamiento para soporte de redes de una gran cantidad de enrutadores.
La red DMVPN permite optimizar el rendimiento y reducir la latencia de las comunicaciones entre sitios. DMVPN es una tecnolog´ıa que integra diferentes conceptos como Generic Routing Encapsulation (GRE), encripcio´n IPsec, Next-Hop Resolution Protocol (NHRP) y Routing para proporcionar una solucio´n sofisticada que permite a los usuarios finales comunicarse de manera efectiva a trave´s de placas esta´ticas y los tu´neles IPsec creados dina´micamente. Por lo tanto, la seleccio´n del mejor protocolo de enrutamiento al considerar diferentes criterios de seleccio´n se vuelve importante durante la fase de planificacio´n de la red.