Пошук академічних текстів

Інформація × Реєстраційний номер 2119U006591, Матеріали видань та локальних репозитаріїв Категорія Бакалаврська робота Назва роботи Автоматизована система розпізнавання жестової мови Автор Пеня Олександр РомановичPenya Oleksandr Romanovych Дата публікації 01-01-2019 Постачальник інформації Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» Першоджерело https://ela.kpi.ua/handle/123456789/29289 Видання Київ Опис Даний дипломний проект присвячено розробленню програмної системи автоматичного розпізнавання жестів. У ході роботи було проаналізовано методи розпізнавання зображень, розглянуто принципи функціонування, навчання нейронних мереж, сучасні архітектури глибоких високоточних мереж та їх характеристики, побудовано та навчено згорткову нейронну мережу для розпізнавання української дактильної абетки та розроблено програмний застосунок для її застосування. Робота над проектом здійснювалась відповідно до життєвого циклу програмного забезпечення. Таким чином, було сплановано процес розроблення, виявлено та проаналізовано вимоги до розробленого програмного застосунку, спроектовано архітектуру, визначено найбільш підходящі засоби розроблення, розроблено виділені компоненти, протестовано їх поведінку, проведено інтеграційне тестування, проаналізовано точність, швидкодію та інші атрибути якості системи, створено технічну документацію. Розроблена система є програмним застосунком, який дозволяє в режимі реального часу обробляти відео-потік, який надходить із локального відео- файлу або з веб-камери, проводить обробку кадрів відео за допомогою нейронної мережі, виявляє елементи жестової мови та виводить їх значення. Програма має віконний графічний інтерфейс, який забезпечує взаємодію з користувачем, засоби захоплення відео-потоку, глибоку згорткову нейронну мережу за допомогою якої відбувається класифікація зображень, локальну вбудовану базу даних значень жестів. Результати роботи можуть бути використані для розробки ефективних систем розпізнавання та класифікації, наприклад, для розроблення застосунку для перекладу жестової мови або комунікації в нестандартних умовах. This project is devoted to the development of automatic gesture recognition software. In this work image recognition methods, principles of neural network functioning and training, modern precise networks and their properties were analyzed, a convolutional neural network was built and trained to recognize the Ukrainian sign alphabet and a software application was developed for its usage. The development was carried out according to the software lifecycle. Thus, the development process was planned, the requirements for the developed software application were identified and analyzed, the architecture was designed, the most appropriate development tools were chosen, defined components were created, their behavior was tested, integration testing was carried out, the system’s accuracy, speed and other attributes were analyzed and a technical documentation was created. The developed system is a software application that allows real-time video stream processing from a local video file or a webcam, processes frames using a neural network, detects elements of the sign language and displays their meanings. The program has a windowed graphical interface that provides user interaction, means of capturing a video stream, a deep convolutional neural network for image classification and a local built-in database of gesture meanings. The results of the project can be used to develop effective recognition and classification systems, for example, to create an application for translating sign language or communication in non-standard conditions. Додано в НРАТ 2025-11-05 Закрити