Пошук академічних текстів

Інформація × Реєстраційний номер 2125U002844, Матеріали видань та локальних репозитаріїв Категорія Бакалаврська робота Назва роботи Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення Автор Пензовський Дмитро СергійовичPenzovskyi Dmytro Serhiiovych Дата публікації 01-01-2025 Постачальник інформації Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» Першоджерело https://ela.kpi.ua/handle/123456789/75782 Видання Київ Опис Дипломна робота: 83 с., 7 рис., 7 табл., 9 посилань, 2 додатки. Об’єкт дослідження – прояви надмірного узагальнення у текстах згенерованих GPT-2. Предмет дослідження – спектральні характеристики векторних представлень текстів та їхній зв’язок із надмірним узагальненням. Мета роботи – виявити та кількісно охарактеризувати патерни надмірного узагальнення у відповідях LLM на основі спектрального аналізу їхніх векторних представлень. У роботі оглянуто сучасні великі мовні моделі, досліджено проблему явища надмірного узагальнення. Проаналізовано роль прихованих векторних представлень у розумінні внутрішніх механізмів LLM. Сформовано спеціальний набір промптів і оцінено їхній рівень надмірного узагальнення. Запропоновано підхід, що базується на аналізі спектральних характеристик векторів текстових відповідей. Встановлено, що рівень надмірного узагальнення корелює зі зниженням спектральної ентропії, швидкістю спадання спектрів та кількістю значущих компонент векторних представлень. Master's thesis: 83 p., 7 figures, 7 tables, 9 references, 2 appendixes. Object of study is manifestations of overgeneralization in texts generated by GPT-2. The subject of the study is the spectral characteristics of vector representations of texts and their connection with overgeneralization. The purpose of the study is to identify and quantitatively characterize patterns of overgeneralization in LLM answers based on the spectral analysis of their vector representations. The study reviews modern large language models and investigates the problem of overgeneralization. The role of hidden vector representations is analyzed for understanding the internal mechanisms of LLM.. A special set of prompts is formulated and their level of overgeneralization is estimated. An approach based on the analysis of the spectral characteristics of text response vectors is proposed. It has been found that the level of overgeneralization correlates with a decrease in spectral entropy, the speed of spectral decay, and the number of significant components of vector representations. Додано в НРАТ 2025-11-05 Закрити