Технічна діагностика та неруйнівний контроль, 2024, №03



2024 №03 (05)

DOI of Article 10.37434/tdnk2024.03.06

2024 №03 (07)

---

Технічна діагностика і неруйнівний контроль, 2024, №3, стор. 39-44

Автоматизована система діагностики дорожнього покриття з комплексуванням зображень

Д.В. Сторожик, А.Г. Протасов

Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського». 03056, м. Київ, Берестейський проспект, 37. E-mail: a.g.protasov@gmail.com

Пропонується система діагностики дорожнього покриття, в основі роботи якої лежить процес опрацювання зображень дефектів, які були отримані у видимому та інфрачервоному діапазонах спектру. До складу системи входять ходові лабораторії на автомобільному шасі, які збирають дані від камер, а також підсистеми обробки зображень і підтримки прийняття рішень. Підсистема обробки зображень забезпечує перетворення отриманих зображень у видимому та інфрачервоному спектрах до формату, придатному для їх комплексування (злиття). Для здійснення операції комплексування було обрано метод злиття зображень з адаптивним визначенням ваг, який реалізовується нейронною мережею. При побудові даної нейронної мережі було використано принцип мультимодальної обробки, де для зображення кожної модальності використовуються свої згорткові шари для виділення ознак, які оцінюються повнозв’язними шарами для визначення вагових коефіцієнтів. Після завершення процедури комплексування отримане зображення передається на підсистему підтримки прийняття рішень, яка класифікує дефекти та встановлює їх геометричні розміри. Для визначення розмірів використовується згорткова нейронна модель, що реалізує процедуру сегментації зображень. У механізмі логічного висновку на основі моделі подання знань, отриманих з бази знань, робиться висновок щодо рівня дефектності ділянки дороги. Кінцевим елементом підсистеми є програмне забезпечення з інтерфейсом користувача, на який виводиться добута інформація з минулих кроків, паспорт дороги, нормативні акти, інформація про минулі ремонтні роботи та дані про бюджетне забезпечення. Бібліогр. 15, табл. 1, рис. 7.
Ключові слова: автоматизовані системи діагностики, нейронні мережі, дорожнє покриття

Надійшла до редакції 11.07.2024
Отримано у переглянутому вигляді 15.08.2024
Прийнято 24.09.2024

Список літератури

1. Протасов А.Г., Сторожик Д.В. (2023) Технології автоматизації діагностики дорожнього покриття. Вчені записки ТНУ імені В.І. Вернадського. Том 34(73), 2, Ч.1, 219–227. DOI: https://doi.org/10.32782/2663-5941/2023.2.1/35
2. Su, Y., Kang, S., Chang, J., Hsieh, S. (2010) Using dual lights for robotic pavement inspection. In: Proceedings of SICE Annual Conference, Vol. 1.
3. Bystrov, A., Hoart, E., Tran Thuy-Yung et al. (2018) Sensors for automotive remote road surface classification. IEEE International Conference on Vehicular Electronics and Safety. DOI: https://doi.org/10.1109/ICVES.2018.8519499
4. Elseicy, A., Alonso-Díaz, A., Solla, M. et al. (2022) Combined use of GPR and other NDTs for road pavement assessment: An Overview Remote Sens., 14, 4336. DOI: https://doi. org/10.3390/rs14174336
5. Fangyu, L., Liu, J., Wang, L. (2022) Asphalt pavement crack detection based on convolutional neural network and infrared thermography. IEEE Transactions on Intelligent Transportation Systems.
6. Sun, Z., Li, L., Liu, L. et al. (2022) On the importance of building high-quality training datasets for neural code search. Proceedings of the 44th International Conference on Software Engineering.
7. Rad, R. (2024) Vision transformer for multispectral satellite imagery: Advancing landcover classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision.
8. Sham, J.F.C., Memon, S.A., Lo, T.Y. (2013) Application of continuous surface temperature monitoring technique for investigation of nocturnal sensible heat release characteristics by building fabrics in Hong Kong. Energy and Buildings, 58, 1–10. DOI: https://doi.org/10.1016/j.enbuild.2012.11.025
9. Solla, M., Lagüela, S., Gonzales-Jorge, H. et al. (2014) Approach to identify cracking in asphalt pavement using GPR and infrared thermographic methods: Preliminary findings. NDT&E Int., 62, 55–65. DOI: https://doi.org/10.1016/j.ndteint. 2013.11.006
10. Сторожик, Д.В., Протасов, А.Г., Муравйов, О.В. та ін. (2022) Автоматизація процесу теплового неруйнівного контролю шляхом застосування методу комплексування термограм. Техн. діагност. та неруйнівн. контроль, 2, 20–23. DOI: https://doi.org/10.37434/tdnk2022.02.03
11. Zhang, Dengsheng (2019) Wavelet transform. Fundamentals of image data mining: Analysis, Features, Classification and Retrieval, 35–44.
12. Сторожик Д.В., Протасов А.Г. (2022) Технології опрацювання зображень на основі комплексування даних (Огляд). Техн. діагност. та неруйнівн. контроль, 4, 17–26. DOI: https://doi.org/10.37434/tdnk2022.04.03
13. Eisler, K., Homma, C., Goldammer, M. et al. (2013) Fusion of visual and infrared thermography images for advanced assessment in non-destructive testing. Review Science Instruments, 84, 064902. DOI: https://doi.org/10.1063/1.4808280
14. Changqi Sun, Cong Zhang, Naixue Xiong (2020) Infrared and Visible Image Fusion Techniques Based on Deep Learning: A Review. Electronics, 9, 21–62. DOI: https://doi. org/10.3390/electronics9122162
15. Линник М.О., Наконечний А.Й. (2023) Методи та ?лгоритми комплексування зображень і теплових сигналів. Computer systems and networks, 5(1), 60–71. DOI: https:// doi.org/10.23939/csn2023.01.060

---

Реклама в цьому номері:

---