Технічна діагностика та неруйнівний контроль, 2023, №02



2023 №02 (04)

DOI of Article 10.37434/tdnk2023.02.05

2023 №02 (06)

---

Технічна діагностика і неруйнівний контроль, 2023, №2, стор. 34-40

Автоматизація процесу сегментації зображень дефектів металевих поверхонь з використанням нейронної мережі U-net

Я.В. Стешенко, А.С. Момот, А.Г. Протасов, О.В. Муравйов

Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського». 03056, м. Київ, Берестейський проспект, 37. E-mail: yaroslav.steshenko@ukr.net; drewmomot@gmail.com

У статті розглядається актуальне завдання автоматизованої сегментації зображень дефектів металевих поверхонь. Мета дослідження полягає у вдосконаленні алгоритмів сегментації з використанням методів глибинного навчання. Обґрунтовано доцільність використання нейронної мережі U-Net, яка є ефективною в завданнях семантичної сегментації зображень. За допомогою спеціальної архітектури мережа здатна створювати маски сегментації з високою ефективністю. Навчальний набір даних для нейронної мережі містить зображення дефектів чотирьох класів, включаючи відколи, тріщини та плями. У результаті аналізу розподілу класів дефектів у навчальному наборі даних зроблено висновок про незбалансованість класів, що негативно впливає на результати навчання. Для оцінки якості навчання мережі розглянуто набір метрик, таких як Accuracy, F1 Score та IOUScore. Проаналізовано доцільність використання даних метрик із врахуванням особливостей навчального набору даних. Доведено, що в умовах значної незбалансованості класів метрика Accuracy не відображає реальної якості моделі. Проведено аналіз впливу різних варіантів бекбону архітектури ResNet на результати навчання. Визначено, що найкращі результати показує модель ResNet18, за допомогою якої вдалося отримати значення коефіцієнту Дайса на рівні 69 % та показника IOUScore на рівні 53 % на тестовому наборі даних. Доведено, що збільшення кількості параметрів моделі не завжди призводить до покращення достовірності результатів. Наведено приклади тестових зображень та прогнозованих нейронної мережею масок і контурів дефектів. Бібліогр. 13, табл. 1, рис. 7. Keywords: metal surfaces, image segmentation, neural networks
Ключові слова: металеві поверхні, сегментація зображень, нейронні мережі

Надійшла до редакції 12.04.2023

Список літератури

1. Storozhyk, D.V., Protasov, A.G. (2022) Image processing technologies based on complexing data. Tekh. Diagnost. ta Neruiniv. Kontrol, 4, 17–26 [in Ukrainian]. DOI: https://doi.org/10.37434/tdnk2022.04.03
2. Skladchykov, I.O., Momot, A.S., Galagan, R.M., Bohdan, G.A., Trotsiuk, K.M. (2022) Application of YOLOX deep learning model for automated object detection on thermograms. Information Extraction and Process, 50, 69–77. DOI: https://doi.org/10.15407/vidbir2022.50.069
3. Piironen, T., Silven, O., Pietikäinen, M., Laitinen, T., Strömmer, E. (1990) Automated Visual Inspection of Rolled Metal Surfaces. Machine Vision and Applications, 3, 247–254.
4. Vorobel, R., Ivasenko, I., Berehulyak, O., Mandzii, T. (2021) Segmentation of rust defects on painted steel surfaces by intelligent image analysis. Automation in Construction, 123, 103515. DOI: https://doi.org/10.1016/j.autcon.2020.103515
5. Aslam, Y., Santhi, N., Ramasamy, N., Ramar, K. (2020) Localization and segmentation of metal cracks using deep learning. Journal of Ambient Intelligence and Humanized Computing, 12, 4205–4213. DOI: https://doi.org/10.1007/ s12652-020-01803-8
6. Sharma, M., Lim, J., Lee, H. (2022) The Amalgamation of the Object Detection and Semantic Segmentation for Steel Surface Defect Detection. Applied Sciences, Vol. 12, Issue 12, 6004. DOI: https://doi.org/10.3390/app12126004
7. Ronneberger, O., Fischer P., Brox, T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. Lecture Notes in Computer Science, Springer, Cham.
8. Steshenko, Y.V., Momot, A.S. (2022) Review of the effectiveness of neural network architectures for automated image segmentation. In: Proc. of XVIII All-Ukrainian scientific and practical conference of students, graduate students and young scientists «Efficiency and automation of engineering solutions in instrument construction» (Kyiv, Ukraine, 06–07 December 2022), KPI, 226–229 [in Ukrainian].
9. Xiao, L., Zhu, Y., Punithakumar, K., Le, L.H., Li, B. (2020). Esophagus Segmentation in Computed Tomography Images Using a U-Net Neural Network with a Semiautomatic Labeling Method. IEEE Access, 8, 202459–202468. DOI: https:// doi.org/10.1109/ACCESS.2020.3035772
10. (2020) Severstal: Steel Defect Detection. Kaggle. Available at: https://www.kaggle.com/competitions/severstal-steel-defect-detection/data (Accessed: April 3, 2023).
11. He, H., Garcia, E.A. (2009) Learning from Imbalanced Data. IEEE Transactions on Knowledge and Data Engineering, Vol. 21(9), 1263–1284. DOI: https://doi.org/10.1109/ TKDE.2008.239
12. Maxwell, A.E., Bester, M.S., Guillen, L.A., Ramezan, C.A., Carpinello, D.J., Fan, Y., Hartley, F.M., Maynard, S.M., Pyron, J.L. (2020) Semantic Segmentation Deep Learning for Extracting Surface Mine Extents from Historic Topographic Maps. Remote Sensing, Vol. 12, Issue 24, 4145. DOI: https:// doi.org/10.3390/rs12244145
13. Benjdira, B., Ammar, A., Koubaa, A., Ouni, K. (2020) Data-Efficient Domain Adaptation for Semantic Segmentation of Aerial Imagery Using Generative Adversarial Networks. Applied Sciences, Vol. 10, Issue 3, 1092. DOI: https://doi. org/10.3390/app10031092

---

Реклама в цьому номері:

---