Реєстраційний номер
0218U001385,
0117U003386
, Науково-дослідна робота
Назва роботи
Обробка даних з Великого адронного колайдера в Т2-центрі ННЦ ХФТІ грід-інфраструктури експерименту CMS (ЦЕРН) у 2017 р.
Назва етапу роботи
Керівник роботи
Левчук Леонід Геннадійович, Кандидат фізико-математичних наук
Дата реєстрації
07-02-2018
Організація виконавець
Національний науковий центр "Харківський фізико-технічний інститут" НАН України
Опис етапу
Одним з активних центрів грід-інфраструктури експерименту CMS (одного з найбільших багатоцільових експериментів на Великому адронному колайдері (ВАК) в ЦЕРН) є спеціалізований обчислювальний комплекс (ОК) ННЦ ХФТІ - центр T2_UA_KIPT, який працює на її другому (Т2) "ярусі". 2017 рік виявився непростим для підтримки комплексу T2_UA_KIPT у зв'язку з фізичним зносом вузлів і відсутністю впродовж декількох попередніх років необхідних коштів на придбання нового і заміну застарілого або зношеного устаткування. На кошти, що виділено в рамках цього проекту, вперше за кілька років придбане обладнання, яке збільшило продуктивність обчислювальної системи і ємність масової дискової пам'яті комплексу T2_UA_KIPT. Придбано і в найкоротший термін інтегровано в систему дисковий сервер разом з додатковим набором 4 ТБ дисків, а також обчислювальний вузол (по 10 високопродуктивних ядер на кожному з 2-х CPU). В результаті місткість розподіленого сховища даних сягнула 723 ТБ (було 520 ТБ), а обчислювальна продуктивність - 7.4 kHEPspec06 (було 7.1 kHEPspec06). Також придбано дрібне мережеве устаткування (SFP+- модулі та ін.), що дозволило виконати модернізацію мережевої інфраструктури комплексу. Детально проаналізовано мережеву інфраструктуру з метою виявлення "вузьких" місць і можливих джерел втрат при передачі інформації. Для забезпечення ефективного обміну даними між основними системами комплексу повністю перебудовано схему підключення комутаторів. Збільшено і оптимізовано ширину основних мережевих магістралей, що з'єднують між собою всі комутатори комплексу. При цьому здійснено агрегування Ethernet-каналів на основі протоколу LACP ('Link Aggregation Control Protocol'), а також використано оптичні модулі та мережеві кабелі 'Direct Attach'. Виконано модернізацію каналу зовнішнього зв'язку комплексу. Два оптичних 1 Гбіт/сек медіаконвертера замінено на 2?10 Гбіт/сек мережевих оптичних модулі (придбано на виділені за проектом кошти) для роботи в парі на шлюзі T2_UA_KIPT і на комутаторі UARnet. Тим самим апаратне обмеження на ширину зовнішнього каналу розширене з 2 до 10 Гбіт/сек, і суттєво підвищено якість зв'язку (зникла проблема втрати пакетів). Моніторинг показує, що після здійсненої модернізації швидкість передачі інформації на комплекс T2_UA_KIPT визначається даними CMS і сягає 4 - 6 Гбіт/сек, а також те, що міра використання зовнішнього каналу достатньо велика. Незважаючи на виконану апаратну модернізацію, на кінець року комплекс T2_UA_KIPT, як і раніше, суттєво (у ~3 - 3.5 рази) поступається за ресурсними параметрами "номінальному" Т2-центру грід-інфраструктури CMS. Однак, незважаючи на це, вдалося забезпечити високу стабільність і надійність роботи комплексу протягом року. Впродовж 2017 р. тривав інтенсивний поступ даних з ВАК на комплекс для обробки. За останній рік на комплекс T2_UA_KIPT передано для обробки понад 1.8 Петабайт даних - більше, ніж за увесь попередній час участі T2_UA_KIPT в грід-інфраструктурі CMS і в ~3.5 раз більше місткості розподіленого сховища даних комплексу на початок 2017 р. (Всього за весь час на ОК ННЦ ХФТІ передано більше 3.5 Петабайт даних CMS.) За 2017 р. на комплексі T2_UA_KIPT згенеровано методом Монте-Карло і передано в інші центри грід-інфраструктури CMS понад 310 Терабайт даних. Це також більше, ніж за увесь попередній час роботи ОК ННЦ ХФТІ в грід-інфраструктурі CMS (Всього за весь час в центрі T2_UA_KIPT згенеровано і передано в інші центри експерименту ~520 Терабайт даних.) При цьому використання обчислювальних ресурсів комплексу за 11 місяців 2017 р. склало 33 тис. kHEPspec06-год., що більше, ніж за увесь попередній 2016 рік. Це складає 90.4% від використання ресурсів української національної грід-інфраструктури (NGI_UA) усіма віртуальними організаціями, які пов'язані з ВАК. Цей показник відповідає безперервному використанню 100% обчислювальної продуктивності комплексу впродовж понад 0.53 року. Забезпечено високий якісний рівень роботи центру T2_UA_KIPT впродовж усього 2017 року. Для центру T2_UA_KIPT рівень якості, що визначається мірою готовності до розподіленої обробки даних CMS, за рік склав ~97% часу, що є одним з найкращих показників серед Т2-центрів CMS. Таким чином, основні завдання по підтримці центру 2-го ярусу грід-інфраструктури експерименту CMS T2_UA_KIPT в 2017 р. успішно виконанні. Продовжено роботи з фізичного аналізу здобутих в експерименті CMS даних. Виконано пошук SUSY-частинок на основі аналізу вибірки даних експерименту CMS, що здобуто за попередній 2016 рік. Обсяг цей вибірки відповідає інтегральній світимості 35.4 фбн-1. Як і раніше, відбиралися події із зареєстрованою парою лептонів протилежного знаку з досить великими поперечними імпульсами і великим дисбалансом поперечного імпульсу. В межах досягнутої експериментальної точності відповідний SUSY-сигнал не виявлений. За 2017 р. завданнями з аналізу даних експерименту CMS використано ресурсів грід-інфраструктури WLCG: 401 CPU-добу (майже в 4 рази більше, ніж у попередньому 2016 році) і 708 діб астрономічного часу. Всього за рік в структури WLCG запущено 8165 завдань по аналізу даних CMS, з яких 73% успішно завершено; завдання розподілялися для обчислення практично по усій грід-інфраструктурі WLCG/CMS Крім того, для аналізу даних CMS було використано ~1000 CPU-годин (~40 CPU-діб) локальних ресурсів спеціалізованого ОК ННЦ ХФТІ.
Опис продукції
Одним з активних центрів грід-інфраструктури експерименту CMS (одного з найбільших багатоцільових експериментів на Великому адронному колайдері (ВАК) в ЦЕРН) є спеціалізований обчислювальний комплекс (ОК) ННЦ ХФТІ - центр T2_UA_KIPT, який працює на її другому (Т2) "ярусі". На кошти, що виділено в рамках цього проекту, вперше за кілька років придбане обладнання, яке збільшило продуктивність обчислювальної системи і ємність масової дискової пам'яті комплексу T2_UA_KIPT. Також придбано дрібне мережеве устаткування (SFP+- модулі та ін.), що дозволило виконати модернізацію мережевої інфраструктури комплексу. Апаратне обмеження на ширину зовнішнього каналу розширене з 2 до 10 Гбіт/сек, і суттєво підвищено якість зв'язку (зникла проблема втрати пакетів). За останній рік на комплекс T2_UA_KIPT передано для обробки понад 1.8 Петабайт даних - більше, ніж за увесь попередній час участі T2_UA_KIPT в грід-інфраструктурі CMS і в ~3.5 раз більше місткості розподіленого сховища даних комплексу на початок 2017 р. (Всього
Автори роботи
Горбенко Євген Степанович
Кліменко Кім Олександрович
Ковальова Людмила Семенівна
Куров Олексій Олександрович
Левчук Леонід Геннадійович
Лук'яненко Сергій Тимофійович
Попов Віктор Пилипович
Приставка Олександр Сергійович
Сорока Дмитро В'ячеславович
Додано/оновлено в НРАТ
2020-04-02
