Applications of the OCATA optical layer digital twin

Abstract

(English) Optical transport networks (OTNs) are a core infrastructure and key-enabler of today’s hyper-connected society as most of the Internet data traffic is transferred over optical fibers. Traffic demand is experiencing rest-less growth as Internet-services are reaching increasing audience and capacity-hungry applications are arising (e.g., industry 4.0). In view of this, constant innovation is required in OTNs to accommodate the requested capacity while minimizing the cost. In this scenario, digital twins (DTs) – intended as a combination of models self-adjusting with their physical counterpart and of algorithms acting on the network for specific applications – are being proposed as a solution for: 1) maximizing the transport capacity by reducing the network margins; 2) pave the way towards optical network automation. The main objective of this PhD Thesis is to improve network operation based on the use of DTs algorithms and models for failure management, lightpath provisioning and optical amplifier control. To achieve this goal, different machine learning (ML) algorithms were investigated and the capabilities of the OCATA DT were extended. This main goal is achieved by the following three specific goals: 1. Applications of Optical Layer DT During Network Operation. The OCATA capabilities are extended for quality of transmission (QoT) estimation and failure management. Tailor-made features are extracted from IQ constellation samples, which show correlations with QoT metrics and with failures-induced signal degradations. Next, specific ML-based models and algorithms for QoT estimation, soft-failure detection, identification and severity estimation are proposed. Results from both simulation and experiments show noticeable accuracy on the estimation of QoT and on the prediction of failures affecting the transmitter, optical filters and amplifiers. Furthermore, this approach was confirmed also for detecting and identifying spectrum anomalies. 2. Applications of Optical Layer DT for Lightpath Provisioning. OCATA capabilities are extended for modulation formats besides 16-quadrature amplitude modulation (QAM) and for digital subcarrier multiplexing signals (DSCM). Firstly, an algorithm for lightpath provisioning is proposed and evaluated based on simulations. Secondly, I experimentally evaluate its accuracy to predict the impact of optical filtering penalties. The simulations show an overall high accuracy for different signal formats and demonstrate their viability for lightpath provisioning. Moreover, the models showed the most advantageous trade-off between accuracy and execution time when compared with other existing methods. Finally, the experimental results demonstrate the feasibility of implementing such models to perform quality of transmission estimation for DSCM signals. 3. Application of Optical Layer DT for Amplifier Control. DT models were designed to assist a network controller in performing informed decisions when re-configuring dynamically optical amplifiers under varying channel loadings. Experimental characterization processes were performed on pluggable EDFAs. Then, ML models based on deep learning (DL) and ensemble methods were compared in terms of accuracy and computation speed. After time-consuming hyper parameter optimization (HPO) procedures, DL models showed to achieve both the best performance on the training data set and the best generalizability on unknown dataset. Furthermore, it was shown that substantial generalization error reduction can be achieved employing transfer learning (TL) techniques.

(Català) Les xarxes òptiques dels operadors són una infraestructura central i un element clau de la societat hiperconnectada actual, ja que la major part del trànsit de dades d'Internet es transfereix a través de xarxes de fibra òptica. El volum de trànsit de dades està experimentant un creixement incessant a mesura que els serveis d'Internet aconsegueixen una demanda cada vegada major i sorgeixen aplicacions que requereixen molta capacitat (per exemple, les aplicacions d'indústria 4.0). En vista d'això, es requereix una innovació constant en les xarxes òptiques per a acomodar la capacitat sol·licitada i minimitzar els costos. En aquest escenari, els bessons digitals (DT, de l'anglès Digital Twin) – pensats com una combinació de models que s'ajusten automàticament amb el seu corresponent sistema físic i actuen sobre aquest per a aplicacions específiques – s'estan proposant com una solució per a: 1) maximitzar la capacitat de transport en reduir els marges de la xarxa; 2) aplanar el camí cap a l'automatització de la xarxa òptica. L'objectiu principal d'aquesta tesi doctoral és millorar l'operació de la xarxa basant-se en l'ús d'algorismes i models de DT per a la gestió de fallades, l'establiment de connexions òptiques i el control d'amplificadors òptics. Per a aconseguir aquest objectiu, es van investigar diferents algorismes d'aprenentatge automàtic (ML) i es van ampliar les capacitats del DT de capa òptica anomenat OCATA. Aquest objectiu principal s'aconsegueix mitjançant els següents tres objectius específics: 1. Aplicacions de DT de capa òptica durant l'operació de la xarxa: les capacitats d'OCATA es van estendre per a estimar la qualitat de transmissió (QoT) i per a la gestió eficient de fallades. Es proposen característiques específiques dels símbols de constel·lacions òptiques, que mostren correlacions amb mètriques de QoT i amb degradacions de senyal induïdes per fallades. A continuació, es proposen models i algorismes específics basats en ML per a l'estimació de la QoT, la detecció de fallades, la identificació i l'estimació de la seva severitat. Els resultats tant de la simulació com dels experiments mostren una precisió notable en l'estimació de la QoT i en la predicció de fallades que afecten el transmissor, els filtres òptics i els amplificadors. A més, aquest enfocament també es va validar per a detectar i identificar anomalies de l'espectre òptic. 2. Aplicacions de DT de capa òptica per a l'establiment de connexions òptiques. Les capacitats d'OCATA s'amplien per a formats de modulació a més de la modulació 16QAM i per a senyals de multiplexació de subportadora digital (DSCM). En primer lloc, es proposa i avalua un algorisme per a l'establiment de connexions òptiques basat en simulacions que demostren la viabilitat d'aquest enfocament. A més, els models van mostrar l'equilibri més avantatjós entre precisió i temps d'execució en comparació amb altres mètodes existents. En segon lloc, s'avalua experimentalment la seva precisió per a estimar l'impacte de les penalitzacions induïdes pel filtrat òptic en senyals DSCM. 3. Aplicació de DT de capa òptica per al control d'amplificadors: nous models del DT es van dissenyar per a ajudar un controlador de xarxa a prendre decisions sobre la reconfiguració d'amplificadors òptics de manera dinàmica sota càrregues de canals variables. Es van realitzar processos de caracterització experimental en mòduls EDFA. Es van comparar models basats en dades, basats en mètodes d'aprenentatge profund (DL) i mètodes composts, en termes de precisió i velocitat de càlcul per a modelar aquests amplificadors. Després d'exhaustives optimitzacions dels hiper-paràmetres, els models de DL aconseguir tant el millor rendiment en les dades d'entrenament com la millor generalització en dades desconegudes. A més, es va demostrar que es pot aconseguir una reducció substancial de l'error de generalització emprant tècniques d'aprenentatge per transferència.

(Español) Las redes ópticas de los operadores son una infraestructura central y un elemento clave de la sociedad hiperconectada actual, ya que la mayor parte del tráfico de datos de Internet se transfiere a través de redes de fibra óptica. El volumen de tráfico de datos está experimentando un crecimiento incesante a medida que los servicios de Internet alcanzan una demanda cada vez mayor y surgen aplicaciones que requieren mucha capacidad (por ejemplo, las aplicaciones de industria 4.0). En vista de ello, se requiere una innovación constante en las redes ópticas para acomodar la capacidad solicitada y minimizar los costes. En este escenario, los gemelos digitales (DT, del inglés Digital Twin) – pensados como una combinación de modelos que se ajustan automáticamente con su correspondiente sistema físico y actúan sobre éste para aplicaciones específicas – se están proponiendo como una solución para: 1) maximizar la capacidad de transporte al reducir los márgenes de la red; 2) allanar el camino hacia la automatización de la red óptica. El objetivo principal de esta tesis doctoral es mejorar la operación de la red basándose en el uso de algoritmos y modelos de DT para la gestión de fallos, el establecimiento de conexiones ópticas y el control de amplificadores ópticos. Para lograr este objetivo, se investigaron diferentes algoritmos de aprendizaje automático (ML) y se ampliaron las capacidades del DT de capa óptica llamado OCATA. Este objetivo principal se logra mediante los siguientes tres objetivos específicos: 1. Aplicaciones de DT de capa óptica durante la operación de la red: las capacidades de OCATA se extendieron para estimar la calidad de transmisión (QoT) y para la gestión eficiente de fallos. Se proponen características específicas de los símbolos de constelaciones ópticas, que muestran correlaciones con métricas de QoT y con degradaciones de señal inducidas por fallos. A continuación, se proponen modelos y algoritmos específicos basados en ML para la estimación de la QoT, la detección de fallos, la identificación y la estimación de su severidad. Los resultados tanto de la simulación como de los experimentos muestran una precisión notable en la estimación de la QoT y en la predicción de fallos que afectan al transmisor, los filtros ópticos y los amplificadores. Además, este enfoque también se validó para detectar e identificar anomalías del espectro óptico. 2. Aplicaciones de DT de capa óptica para el establecimiento de conexiones ópticas. Las capacidades de OCATA se amplían para formatos de modulación además de la modulación 16QAM y para señales de multiplexación de subportadora digital (DSCM). En primer lugar, se propone y evalúa un algoritmo para el establecimiento de conexiones ópticas basado en simulaciones que demuestran la viabilidad de este enfoque. Además, los modelos mostraron el equilibrio más ventajoso entre precisión y tiempo de ejecución en comparación con otros métodos existentes. En segundo lugar, se evalúa experimentalmente su precisión para estimar el impacto de las penalizaciones inducidas por el filtrado óptico en señales DSCM. 3. Aplicación de DT de capa óptica para el control de amplificadores: nuevos modelos del DT se diseñaron para ayudar a un controlador de red a tomar decisiones acerca de la reconfiguración de amplificadores ópticos de forma dinámica bajo cargas de canales variables. Se realizaron procesos de caracterización experimental en módulos EDFA. Se compararon modelos basados en datos, basados en métodos de aprendizaje profundo (DL) y métodos compuestos, en términos de precisión y velocidad de cálculo para modelar estos amplificadores. Tras exhaustivas optimizaciones de los hiper-parámetros, los modelos de DL lograr tanto el mejor rendimiento en los datos de entrenamiento como la mejor generalización en datos desconocidos. Además, se demostró que se puede lograr una reducción sustancial del error de generalización empleando técnicas de aprendizaje por transferencia.