Модернизация сервиса визуализации направлений обмена данными пользователей НИКС

Специалистами НИКС произведена модернизация программного обеспечения, применяемого для проведения мониторинга, анализа и визуализации статистики по уровню использования телекоммуникационной инфраструктуры сети пользователями для целей обмена научными данными. Динамическая визуализация интенсивности обмена данными и основных направлений сетевой связности пользователей НИКС производится на странице: https://www.niks.su/science-traffic/.

Сервис базируется на систематическом проведении анализа данных о сетевом трафике NetFlow, собираемых с граничных маршрутизаторов и хранимых на выделенном высокопроизводительном сервере с дисковым массивом большой емкости. На сервере производится предварительная фильтрация данных, в ходе которой из общего объема данных NetFlow отбираются и учитываются в дальнейшем только те записи о сетевых потоках, которые содержат в качестве отправителя и получателя данных потока номера автономных систем (AS) и/или IP-адреса пользователей НИКС, зарубежных национальных научно-образовательных сетей (National Research and Education Network, NREN) и сетевых консорциумов, ведущих научных центров мира. Сетевой трафик организаций, имеющих собственные AS (за исключением нескольких крупных исследовательских центров, таких как CERN, DESY, NASA, LBNL, KEK), включается в интегральные показатели NREN страны их расположения.

В качестве базового прикладного программного средства визуализации использована программная библиотека Cytoscape.js, в которой реализованы методы и алгоритмы теории графов. Графы отражают основные актуальные направления обмена данными пользователей НИКС и учитывают географическое положение организаций; узлы графа представляют собой объекты сетевого взаимодействия, в качестве которых выступают научные организации и организации высшего образования России (являющиеся пользователями НИКС или эксплуатирующие ее инфраструктуру), ряд ведущих научных центров мира, NREN и сетевые консорциумы.

В процессе модернизации сервиса была разработана архитектура и осуществлено наполнение центральной базы данных (СУБД PostgreSQL), включая единую таблицу организаций сферы науки и высшего образования России, дополненную отдельными ведущими научными центрами мира и NREN, таблицу связи идентификаторов организаций с номерами AS и IP-сетей, ряд справочных и служебных таблиц, переписаны основные SQL-запросы для выбора и агрегации данных. Кроме того, осуществлен переход на используемый в других проектах НИКС веб-фреймворк с открытым исходным кодом Laravel, предназначенный для разработки на языке PHP, с переписыванием программных модулей сервиса.

На странице визуализации в наглядном и удобном для анализа виде представлены поквартально обсчитанные данные об основных направлениях сетевой связности пользователей НИКС и интенсивности обмена научными данными (объемах переданных и принятых данных).