Реєстраційний номер
0218U001378,
0117U003387
, Науково-дослідна робота
Назва роботи
Розвиток і підримка в ННЦ ХФТІ базових грід-сервісів для обслуговування української національної грід-інфраструктури у 2017р.
Назва етапу роботи
Керівник роботи
Горбенко Євген Степанович,
Дата реєстрації
07-02-2018
Організація виконавець
Національний науковий центр "Харківський фізико-технічний інститут" НАН України
Опис етапу
Підтримано і розвинуто далі систему збору і публікації інформації о завданнях, які виконуються в грід-системі, та відповідному використанні обчислювальних ресурсів національної грід-мережі України. Система працює в складі спеціалізованого обчислювального комплексу ННЦ ХФТІ для обробки даних з Великого адронного колайдера. На кінець 2017 р. портал обліку використання грід-ресурсів містить актуальні дані про роботу практично усіх зареєстрованих в EGI грід-сайтів національної грід-інфраструктури України, NGI_UA. Основним джерелом інформації при цьому є портал обліку використання обчислювальних ресурсів EGI 'EGI Accounting Portal' (EGIAP). Достоїнствами такого підходу є повна незалежність від впливу можливих оновлень пакету APEL, що входить до ГПЗ EMI/UMD, а також максимальна спрощеність підключення до моніторингу нових сайтів. У зв'язку з перебудовою порталу EGIAP, яку було здійснено на початку 2017 р., впроваджено нові скрипти-запити, які одержують необхідну інформацію з порталу EGIAP шляхом обробки відповідних JSON-файлів (замість витягання і обробки XML-документів, як це було раніше). Виконано оптимізацію MySQL-бази даних порталу NGI_UA з приведенням її у відповідність до нової версії порталу обліку використання обчислювальних ресурсів EGI. Таким чином, процес збору даних про роботу сайтів NGI_UA зараз зводиться до виконання таких послідовних операцій: формування запиту до EGIAP і отримання JSON-файлу, витягання з нього необхідних даних і запис отриманих значень в MySQL-базу даних на портал NGI_UA. Розвинуто далі засоби візуалізації за допомогою структури 'Dashing'. Для візуалізації результатів також використано бібліотеку 'Highcharts', яка дозволяє працювати з даними в різних форматах. У 2017 році забезпечено високу стабільність надання на портал необхідної інформації про використання обчислювальних ресурсів та надійність її обробки. Значну увагу приділено питанням безпеки роботи порталу. Виконаний перехід на новий центр сертифікації з використанням протоколу аутентифікації класу 'challenge-response' під назвою 'Automated Certificate Management Environment' (ACME) проекту 'Let's Encrypt'. Портал характеризується належним рівнем наочності і забезпечує легкість доступу до статистичних даних, що характеризують роботу обчислювальних комплексів, з наданням візуальних звітів у вигляді динамічних графіків і діаграм. Міститься широкий спектр інструментів представлення статистичних даних з можливістю компонування, сортування, вибірки і порівняння за довільний період часу і по різних віртуальних організаціях, а також параметрах, що характеризують продуктивність кластерів NGI_UA. В рамках виконання проекту також забезпечено подальшу підтримку системи управління завантаженням (WMS) на базі EMI для спрощення взаємодії між ресурсами EGI/WLCG і користувачами NGI_UA.
Опис продукції
Підтримано і розвинуто далі систему збору і публікації інформації о завданнях, які виконуються в грід-системі, та відповідному використанні обчислювальних ресурсів національної грід-мережі України. Система працює в складі спеціалізованого обчислювального комплексу ННЦ ХФТІ для обробки даних з Великого адронного колайдера. На кінець 2017 р. портал обліку використання грід-ресурсів містить актуальні дані про роботу практично усіх зареєстрованих в EGI грід-сайтів національної грід-інфраструктури України, NGI_UA. У зв'язку з перебудовою порталу EGIAP, яку було здійснено на початку 2017 р., впроваджено нові скрипти-запити, які одержують необхідну інформацію з порталу EGIAP шляхом обробки відповідних JSON-файлів (замість витягання і обробки XML-документів, як це було раніше). Виконано оптимізацію MySQL-бази даних порталу NGI_UA з приведенням її у відповідність до нової версії порталу обліку використання обчислювальних ресурсів EGI. Таким чином, процес збору даних про роботу сайтів NGI_UA зараз зводиться до вик
Автори роботи
Горбенко Євген Степанович
Кліменко Кім Олександрович
Ковальова Людмила Семенівна
Куров Олексій Олександрович
Левчук Леонід Геннадійович
Лук'яненко Сергій Тимофійович
Попов Віктор Пилипович
Приставка Олександр Сергійович
Сорока Дмитро В'ячеславович
Додано/оновлено в НРАТ
2020-04-02
