Search academic texts

Information × Registration Number 2125U002844, Article popup.category Бакалаврська робота Title Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення (AI translated) popup.author Пензовський Дмитро СергійовичPenzovskyi Dmytro Serhiiovych popup.publication 01-01-2025 popup.source_user Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» popup.source https://ela.kpi.ua/handle/123456789/75782 popup.publisher Київ Description Дипломна робота: 83 с., 7 рис., 7 табл., 9 посилань, 2 додатки. Об’єкт дослідження – прояви надмірного узагальнення у текстах згенерованих GPT-2. Предмет дослідження – спектральні характеристики векторних представлень текстів та їхній зв’язок із надмірним узагальненням. Мета роботи – виявити та кількісно охарактеризувати патерни надмірного узагальнення у відповідях LLM на основі спектрального аналізу їхніх векторних представлень. У роботі оглянуто сучасні великі мовні моделі, досліджено проблему явища надмірного узагальнення. Проаналізовано роль прихованих векторних представлень у розумінні внутрішніх механізмів LLM. Сформовано спеціальний набір промптів і оцінено їхній рівень надмірного узагальнення. Запропоновано підхід, що базується на аналізі спектральних характеристик векторів текстових відповідей. Встановлено, що рівень надмірного узагальнення корелює зі зниженням спектральної ентропії, швидкістю спадання спектрів та кількістю значущих компонент векторних представлень. Master's thesis: 83 p., 7 figures, 7 tables, 9 references, 2 appendixes. Object of study is manifestations of overgeneralization in texts generated by GPT-2. The subject of the study is the spectral characteristics of vector representations of texts and their connection with overgeneralization. The purpose of the study is to identify and quantitatively characterize patterns of overgeneralization in LLM answers based on the spectral analysis of their vector representations. The study reviews modern large language models and investigates the problem of overgeneralization. The role of hidden vector representations is analyzed for understanding the internal mechanisms of LLM.. A special set of prompts is formulated and their level of overgeneralization is estimated. An approach based on the analysis of the spectral characteristics of text response vectors is proposed. It has been found that the level of overgeneralization correlates with a decrease in spectral entropy, the speed of spectral decay, and the number of significant components of vector representations. popup.nrat_date 2025-11-05 Close