Registration Number
0824U003335, PhD dissertation
Status
Доктор філософії
Date
04-12-2024
popup.evolution
o
Title
Optimization of Functional Programming Languages Based on Artificial Intelligence Methods
Author
Oleksandr Deineha,
popup.head Grygoriy Zholtkevych
popup.opponent Nataliia Sharonova
popup.opponent Nataliya Shakhovska
popup.review Dmytro Uzlov
popup.review Meniailov Yevhen S.
popup.rada
V.N. Karazin Kharkiv National University
Description
Дисертація присвячена оптимізації функціональних мов програмування, на основі методів штучного інтелекту, що є складною та важливою задачею з багатьма проблемами та викликами. В дисертації розглянуто лямбда-числення як приклад відносно простої репрезентації функціональних мов програмування, що дозволяє показати процеси компіляції та інтерпретації функціональних мов програмування шляхом редукції лямбда-термів.
У першому розділі описано теоретичну частину дослідження. Описано переваги функціональних програм, такі як простота тестування та надійність коду, а також їх недоліки, основним з яких є низька продуктивність. Пояснюється можливість переходу від роботи з функціональними мовами програмування до лямбда-числення. Далі представлені підходи для оптимізації лямбда-числення, основним із яких є удосконалення стратегій редукції лямбда-термів.
Далі текст заглиблюється в зв’язок між лямбда-численням і верифікацією програм в контексті паралельного програмування. Описано важливість формальної перевірки для паралельних програм, особливо з огляду на потенційні складності та проблеми, пов’язані з одночасним виконанням.
У другому розділі представлений підхід до оптимізації стратегій редукції, що базується на змішуванні стратегій та використанні рандомізованих стратегій. Описані результати, що показують ефективність даного підходу, та можливість заміни чистих стратегій змішаними, що дозволяють зберегти існуючу продуктивність, проте підвищити загальну вірогідність успішного редукування термів.
Далі у розділі була розглянута концепція обчислювальної нерівнозначності редексів лямбда-термів, що є ключовими точками у виборі стратегії редукції. Нерівнозначність була оцінена з використанням методів машинного навчання для вирішення задачі регресії. Ціллю регресії була оцінка часу виконання операції редукції для даного редексу по параметрам терму, що відображають його деревну структуру. В результаті було отримано відхилення від очікуваного логарифму часу в 0.28 для регресійної моделі на базі штучної нейронної мережі та в 0.28 для лінійної регресії.
У третьому розділі була перевірена можливість оцінки кількості кроків редукції лямбда-термів за заданою стратегією із застосуванням методів глибинного навчання. Аналіз проводився з використанням методів глибинного навчання для аналізу послідовностей. Показано, що точних результатів оцінки можливо досягти при визначенні 0-2 кроків редукції проте із збільшенням очікуваних кроків редукції зростала помилка в оцінці.
Далі було досліджено можливість використання вбудовувань для репрезентації різниці в редукції лямбда термів різними стратегіями. Для цього було розглянуто чотири моделі LLM для генерації вбудовувань з текстових представлень лямбда-термів.
Згенеровані вбудовування були використані для створення восьми наборів даних для кожної розглянутої моделі LLM та для стратегій редукції термів LO та RI. Для оцінки якості репрезентації інформації у вбудовуваннях були використані моделі ШНМ, що вирішували проблему класифікації відносно кроків редукції від 0 до 30.
Далі навчені моделі ШНМ були оцінені з показниками для оцінки точності регресії MAE, RMSE. Результати вказують на те, що код і загальні LLM можуть допомогти отримати інформацію з лямбда-термів і використовувати цю інформацію для вибору оптимальної стратегії редукції.
У четвертому розділі лямбда-терми були перетворені в усереднені вектори вбудовувань розміром 768, що були отримані в результаті застосування попередньонавченої моделі ШНМ для задач пов’язаних із аналізом програмного коду Microsoft CodeBERT та подальшої обробки виходів середніх рівнів цієї моделі за принципом об’єднання слів у значущі вектори Word2Vec.
Далі було досліджене формування кластерів даних із застосуванням методу DBSCAN, що використовує як евклідову, так і косинусну метрику, окрім методу агломеративної кластеризації з використанням евклідової, косинусної, L1 і L2 метрики. Ці зусилля з кластеризації підкреслили ефективність моделі CodeBERT у вилученні значущих характеристик із лямбда-термів.
Також було продовжено ідею трансформації лямбда-термів у вектори вбудовувань з використанням моделей OpenAI з розміром векторів 1536, та 3072. Дані вектори були так само проаналізовані з застосуванням методів PCA та t-SNE для візуалізації цих векторів.
В наступній частині четвертого розділу представлено підхід для використання LLM безпосередньо для проведення процесу редукції лямбда-термів. Результати показали, що використання LLM для вирішення цієї задачі не є достатньо ефективним.
Далі представлено можливий варіант імплементації описаних методів для використання у компіляторах для підвищення їх продуктивності.
Сукупність результатів, викладених у дисертації, разом із підтвердженою науковою та практичною актуальністю демонструють досягнення поставленої мети щодо оптимізації функціональних мов програмування на базі методів штучного інтелекту.
Registration Date
2024-11-06
popup.nrat_date
2024-12-23 / 2026-07-01
