Технічна діагностика та неруйнівний контроль, 2025, №03

2025 №03 (02)

DOI of Article 10.37434/tdnk2025.03.03

2025 №03 (04)

---

Технічна діагностика і неруйнівний контроль, 2025, №3, стор. 24-31

Аналіз ефективності алгоритмів reinforcement learning для підвищення автономності мобільних роботів

Д.В. Петренко, А.Г. Протасов

Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського». 03056, м. Київ, Берестейський проспект, 37. E-mail: petrenkod555@gmail.com, a.g.protasov@gmail.com

Стаття присвячена проблемі підвищення автономності мобільних роботів, які сьогодні мають широке застосування в різних сферах діяльності людини. Удосконалення засобів керування рухом роботів у реальних умовах за рахунок впровадження інтелектуальних систем керування дозволить їм адаптуватись до зміни середовища, адекватно реагувати на непередбачувані ситуації та ефективніше взаємодіяти з іншими учасниками технологічного процесу. Інтелектуальна система керування рухом мобільного робота поєднує як апаратні, так і програмні складові. До програмних компонентів належать методи машинного навчання, які засновані на методах побудови алгоритмів, здатних навчатися. У статті розглядаються найпопулярніші алгоритми машинного навчання з підкріпленням (Reinforcement Learning, RL), які використовуються в інтелектуальних системах керування. У цьому методі головними компонентами є агент і середовище. Середовище являє собою динамічний світ, у якому діє агент, і з яким він постійно взаємодіє. Алгоритми машинного навчання RL умовно поділяються на дві групи – алгоритми, які використовують модель, і алгоритми без моделі. Із результатів проведеного аналізу очевидно, що для підвищення автономності руху мобільного робота у складних динамічних умовах необхідно застосовувати гібридні підходи, що поєднують навчання без моделі, як у алгоритмів PPO, SAC чи TD3, із модельними компонентами, як у алгоритмів PlaNet або MuZero. Також ефективною стратегією може бути автоматична адаптація гіперпараметрів під час навчання, наприклад коефіцієнта ентропії в алгоритмі SAC або коефіцієнта обмеження політики в алгоритмі PPO, що дає підвищену стійкість до змін у середовищі та стану спостереження, зниження потреби у великій кількості взаємодій із середовищем, гнучкість адаптації до нових задач або зміни цільової поведінки. Бібліогр. 8, табл. 1, рис. 2.
Ключові слова: машинне навчання, алгоритми навчання, мобільні роботи, системи керування, автономність роботів

Отримано 23.05.25
Отримано у переглянутому вигляді 19.06.25
Прийнято 01.09.25

Список літератури

1. Петренко Д.В., Протасов А.Г. (2024) Огляд сучасних технологій підвищення автономності мобільних колісних роботів. Вчені записки ТНУ імені В.І. Вернадського. Серія: Технічні науки. 35(74), 2, 122–128. DOI: https://doi.org/10.32782/2663-5941/2024.2/17
2. Akalin N., Loutfi A. (2021) Reinforcement Learning Approaches in Social Robotics. Sensors, 21(4), 1292. DOI: https://doi.org/10.3390/s21041292
3. Liu, Y. et al. (2023) Mobile robot path planning based on kinematically constrained a-star algorithm and DWA fusion. Algorithm Mathematics, 11(21), 4552. DOI: https://doi.org/10.3390/math11214552
4. Faseeh, M. et al. (2024) Deep Learning assisted real-time object recognition and depth estimation for enhancing emergency response in adaptive environment. Results in Engineering, 24, 103482. DOI: https://doi.org/10.1016/j.rineng.2024.103482
5. Zhang, T., Mo, H. (2021) Reinforcement learning for robot research: A comprehensive review and open issues. International J. of Advanced Robotic Systems, 18(3). DOI: https://doi.org/10.1177/17298814211007305
6. Rybczak, M., Popowniak, N., Lazarowska, A. (2024) A survey of machine learning approaches for mobile robot control. Robotics, 13(1), 12. DOI: https://doi.org/10.3390/robotics13010012
7. Lee, M.-F.R., Yusuf, S.H. (2022) Mobile robot navigation using deep reinforcement learning. Processes, 10(12), 2748. DOI: https://doi.org/10.3390/pr10122748
8. Yang, L., Bi, J., Yuan, H. (2022) Dynamic path planning for mobile robots with deep reinforcement learning. IFAC-PapersOnLine, 55(11), 19–24. DOI: https://doi.org/10.1016/j.ifacol.2022.08.042

---

Реклама в цьому номері:

---