Технічна діагностика та неруйнівний контроль, 2022, №04



2022 №04 (02)

DOI of Article 10.37434/tdnk2022.04.03

2022 №04 (04)

---

Технічна діагностика і неруйнівний контроль, 2022, №4, стор. 17-26

Технології опрацювання зображень на основі комплексування даних (Огляд)

Д.В. Сторожик, А.Г. Протасов

НТУУ «Київський політехнічний інститут імені Ігоря Сікорського». 03056, м. Київ, просп. Перемоги, 37. E-mail: a.g.protasov@gmail.com

Останнім часом у різних галузях промисловості спостерігається зростання автоматизації складних технологічних процесів, що спричинено необхідністю підвищення ефективності виробництва. Оскільки неруйнівний контроль (НК) став невід’ємною частиною багатьох галузей промисловості, ця тенденція не оминула і його. У більшості методів контролю кінцевим результатом є отримане зображення, яке несе інформацію про стан та якість об’єкту. Тому сьогодні нагальною задачею для НК є автоматизація процесів обробки та аналізу отриманих зображень. Метою даної статті є огляд технологій опрацювання зображень на основі комплексування даних і розгляд перспектив застосування цих методів для вирішення задач теплового НК. У статті описано основні теоретичні засади технології злиття зображень, розглянуто класифікацію методів комплексування та різні сучасні методи злиття зображень різного рівня з їх плюсами та мінусами, обговорювалися різні методи на основі просторових даних і перетворень з метриками якості та їх застосування у різних галузях. Також розглянуто застосування технології комплексування у задачах формування зображень при реалізації метода теплової томографії. Запропоновано наступні кроки для дослідження використання комплексування в задачах діагностики матеріалів. Бібліогр. 61.
Ключові слова:: тепловий неруйнівний контроль, комплексування зображень, нейронні мережі

Надійшла до редакції 04.10.2022

Список літератури

1. Петрик В.Ф., Протасов А.Г., Галаган Р.М. та ін. (2021) Бездротові технології в автоматизації неруйнівного контролю. Вчені записки ТНУ імені В.І. Вернадського. Серія: Технічні науки. Том 32 (71), 5, 25–29. DOI: https://doi.org/10.32838/2663-5941/2021.5/05
2. Rokni, K. et al. (2015) A new approach for surface water change detection: Integration of pixel level image fusion and image classification techniques. Int. J. of Applied Earth Observe, Vol. 34, 226–234. DOI:https://doi.org/10.1016/j. jag.2014.08.014
3. Сторожик Д.В., Муравйов О.В., Протасов А.Г. та ін. (2020) Комплексування мультиспектральних зображень як метод підвищення їх інформативності при бінарній сегментації. KPI Science News, 2, 83–87. DOI: https://doi. org/10.20535/kpi-sn.2020.2.197955.
4. Ma, J., Ma, Y., Li, C. (2019) Infrared and visible image fusion methods and applications: a survey. Information Fusion, 1(45), 153–178.
5. Kaur, H., Koundal, D., Kadyan, V. (2021) Image Fusion Techniques: A Survey. Computational Methods in Engineering, 28, 4425–4447.
6. Mamta Sharma (2016) A Review: Image fusion techniques and applications. Int. J. of Computer Sci. and Information Technologies, Vol. 7(3), 1082–1085. DOI:https://doi. org/10.1007/s11831-021-09540-7
7. Li, S., Kang, X., Fang, L. et al. (2017) Pixel-level image fusion: a survey of the state of the art. Information Fusion, 1(33), 100–112.
8. Maruthi, R., Lakshmi, I. (2017) Multi-focus image fusion methods – a usrvey. Computer Engineering, 19(4), 9–25.
9. Meher, B., Agrawal, S., Panda, R., Abraham, A. (2019) A survey on region based image fusion methods. Information Fusion, 1(48), 119–132.
10. Yang, J., Ma, Y., Yao, W., Lu, W. (2008) A spatial domain and frequency domain integrated approach to fusion multifocus images. The Int. Archives of the Photogrammetry, remote sensing and spatial Information Sci., 37(PART B7).
11. Morris, C., Rajesh, R.S. (2014) Survey of spatial domain image fusion techniques. Int. J. of Advanced Research in Computer Sciences and Engineering Information Technologies, 2(3), 249–254.
12. Jasiunas, M.D., Kearney, D.A., Hopf, J., Wigley, G.B. (2002) Image fusion for uninhabited airborne vehicles. IEEE Int. Conf. on Field-Programmable Technology, Proceedings, 348–351.
13. Bavachan, B., Krishnan, D.P. (2014) A survey on image fusion techniques. Int. J. of Research in Computers and Computation Technologies, 3(3), 049–052.
14. Banu, R.S. (2011) Medical image fusion by the analysis of pixel level multi-sensor using discrete wavelet Transform. In: Proc. of the National conf. on Emerging Trends in Computing Science, 291–297.
15. Song, L., Lin, Y., Feng, W., Zhao, M. (2009) A novel automatic weighted image fusion algorithm. Int. Workshop on Intelligent Systems and Applications (ISA), 1–4.
16. Zhijun Wang et al. (2005) A comparative Analysis of image fusion methods. IEEE Transact. on Geosciences and Remote Sensors. Vol. 43, 6, 1391–1402.
17. Cetin, M., Tepecik, A. (2016) Intensity–hue–saturationbased image fusion using iterative linear regression. J. of Applied Remote Sensing, 10(4), 045019 DOI:https://doi. org/10.1117/1.JRS.10.045019
18. Mishra, D., Palkar, B. (2015) Image fusion techniques: a review. Int. J. of Computer Application, 130(9), 7–13.
19. Mandhare, R.A., Upadhyay, P., Gupta S. (2013) Pixel-level image fusion using Brovey transform and wavelet transform. Int. J. of Advanced Research in Electrical, Electronics and Instrumentation Engineering, Vol. 2, Issue 6, 2690–2695.
20. Lindsay I. Smith (2002) A tutorial on Principal Components Analysis. Technical Report OUCS-2002-12 Department of Computer Science, University of Otago, New Zealand, 28.
21. Ujwala, P., Mudengudi, U. (2011) Image fusion using hierarchical PCA. IEEE Int. Conf. on Image Information Processing (ICIIP), 1–6, 3–5.
22. Olkkonen, H., Pesola, P. (1996) Gaussian pyramid wavelet transform for multiresolution analysis of images. Graphic Models Image Process, 58(4), 394–398.
23. Jianbing Shen, Ying Zhao, Shuicheng Yan, Xuelong Li (2014) Exposure Fusion Using Boosting Laplacian Pyramid. IEEE Transactions on Cybernetics, Vol. 44, 9.
24. Chandrasekhar, C., Viswanath, A., Narayana Reddy, S. (2013) Implementation of image fusion technique using DWT for micro air vehicle applications. Field-Programmable Gate Array (FPGA), 4(8), 307–315.
25. Dong, J., Dafang, Z., Yaohuan, H., Jinying, F. (2011) Survey of multispectral image fusion techniques in remote sensing applications. In: Image Fusion and its Applications. Alcorn State University, USA.
26. Wu, D., Yang, A., Zhu, L., Zhang, C. (2014) Survey of multi-sensor image fusion. Int. conf. on Life System Modeling and Simulation. Springer, Berlin, 358–367.
27. Naidu, V.P. (2012) Discrete cosine transform based image fusion techniques. J. of Communication, Navigation and Signal Processing, 1(1), 35–45.
28. Desale Rajenda Pandit, Verma Sarita V. (2013) Study and analysis of PCA, DCT & DWT based image fusion techniques. IEEE Int. Conf. on Signal Processing Image Processing & Pattern Recognition (ICSIPR), Coimbatore, 66–69.
29. Tang Han, Xiao Bin, Li Weisheng,Wang Guoyin (2018) Pixel convolutional neural network for multi-focus image fusion. Information Sciences, Vol. 433–434, 125–141. DOI:https:// doi.org/10.1016/j.ins.2017.12.043
30. Liu,Y., Chen, X., Ward, R.K., Wang, J.Z. (2016) Image Fusion with Convolutional Sparse Representation. IEEE Signal Processing Letters, Vol. 23, 12, 1882–1886. DOI:https://doi. org/10.1109/LSP.2016.2618776
31. Cheng, Z., Sun, H., Takeuchi, M., Katto, J. (2018) Deep Convolutional AutoEncoder-based Lossy Image Compression, Picture Coding Symposium (PCS), 253–257, DOI:https://doi. org/10.1109/PCS.2018.8456308
32. Uma, K.V. (2018). Improving the Classification Accuracy of Noisy Dataset by Effective Data Preprocessing. Int. J. of Computer Applications, 180(36), 37–46, DOI:https://doi. org/10.5120/ijca2018916908
33. Patil, V., Sale, D., Joshi, M.A. (2013) Image fusion methods and quality assessment parameters. Asian J. of Engineering and Applied Technology, 2(1), 40–46.
34. Li, M., Cai, W., Tan, Z. (2006) A region-based multi-sensor image fusion scheme using pulse-coupled neural network. Pattern Recognition Letters, 27(16), 948–1956.
35. Kusum Rani, Reecha Sharma (2013) Study of different image fusion algorithm. Int. J. of Emerging Technology and Advanced Engineering (IJETAE), Vol. 3, Issue 5.
36. Paramanandham, N., Rajendiran, K. (2018) Multi sensor image fusion for surveillance applications using hybrid image fusion algorithm. Multimedia Tools Application, 77(10), 12405–12436.
37. Du, J., Li, W., Lu, K., Xiao, B. (2016) An overview of multi-modal medical image fusion. Neurocomputing, 26(215), 3–20.
38. Jin, X., Jiang, Q., Ya,o S. et.al. (2017) A survey of infrared and visual image fusion methods. Infrared Physics Technology, 1(85), 478–501.
39. Anna de Juan et. al. (2019) Data Fusion Methodology and Applications. Data Handling in Science and Technology, Vol. 31, 205–233.
40. Ram-Nandan, P. Singh (2000) An Intelligent Approach to Positive Target Identification. Soft Computing and Intelligent Systems, Chapter 22, 5549–5570.
41. Sreeja, G., Saraniya, O. (2019) Image Fusion Through Deep Convolutional Neural Network. Deep Learning and Parallel Computing Environment for Bioengineering Systems, Chapter 3, 37–52.
42. Anna de Juan (2020) Multivariate curve resolution for hyperspectral imaging analysis. Hyperspectral Imaging Data Handling in Science and Technology, Vol. 32, 115–146.
43. Anke Meyer-Baese, Volker Schmid (2014) The Wavelet Transform in Medical Imaging. Pattern Recognition and Signal Analysis in Medical Imaging (Second Edition), 113–134.
44. Rajalingam B., Priya R., Bhavani R. (2021) Comparative analysis of hybrid fusion algorithms using neurocysticercosis, neoplastic, Alzheimer’s, and astrocytoma disease affected multimodality medical images Advanced Machine Vision Paradigms for Medical Image Analysis Hybrid. Computational Intelligence for Pattern Analysis and Understanding, Chapter 5, 131–167.
45. Shutao, Li, Bin, Yang (2008) Region-based multi-focus image fusion. Image Fusion, 343–365.
46. Qiang Wang, Yi Shen, Jing Jin (2008) Performance evaluation of image fusion techniques. Image Fusion, 469–492.
47. Fatima A. Merchant, Kenneth R. Castleman (2009) Computer-Assisted Microscopy. The Essential Guide to Image Processing, 777–831.
48. Todd W. Kelley, Jay L. Patel (2018) Genetic Aspects of Hematopoietic Malignancies. Principles and Applications of Molecular Diagnostics, 201–234.
49. Jagdeep Singh, Vijay Kumar Banga (2014) An enhanced DCT based image fusion using adaptive histogram equalization. Int. J. of Computer Applications, Vol. 87, 12, 0975–8887.
50. Changqi Sun, Cong Zhang, Naixue Xiong (2020) Infrared and visible image fusion techniques based on deep learning: A Review. Electronics, 9, 21–62. DOI:https://doi. org/10.3390/electronics9122162
51. Самолюк Т.А. (2019) Нейромережі GAN у створенні нових моделей. Комп’ютерні засоби, мережі та системи, 18, 86–90.
52. Левчунець Д.О., Іскрук В.В., Іванов А.В. (2014) Порівняння методів спектральної фільтрації з різними базисами. Вісник Хмельницького національного університету, 3(213), 17–20.
53. Купченко Л.Ф., Рыбьяк А.С., Гурин О.А. (2018) Оценка согласованности оптимальной динамической спектральной фильтрации в оптико-электронных системах обнаружения объектов. Радіофізика та електроніка, 23, 1, 42–52. DOI: https://doi.org/10.15407/rej2018.01.042
54. Момот А.С., Галаган Р. М. (2017) Застосування нейромережевих технологій для вирішення обернених задач неруйнівного контролю. XVI Міжнародна науково-технічна конференція «Приладобудування: стан і перспективи», м. Київ, Збірка тез доповідей, с. 144.
55. Мельник С., Петріченко Г., Тулузов І. (2016) Нові методи теплової томографії, а також фільтрації тепловізійних зображень. Вимірювальна техніка та метрологія, 77, 48–57.
56. Momot, A.S., Galagan, R.M. (2018) The Use of Backpropagation Artificial Neural Networks in Thermal Tomography. IEEE 1st Int. Conf. on System Analysis & Intelligent Computing (SAIC), 1–6.
57. Halloua, Н., Elhassnaoui, A., Saifi, A., et.al. (2016) An intelligent method using neural networks for Depth detection by standard thermal contrast in active thermography. In: Proc. 13th Int. Conf. on Quantitative Infrared Thermography (QIRT 2016), July, Gdańsk, Poland.
58. Bardia Yousefi, Davood Kalhor, Rubén Usamentiaga et. al. (2018) Application of Deep Learning in Infrared Non-Destructive Testing. In: 14th Int. Conf. on Quantitative Infrared Thermography (QIRT 2018), June, Berlin, Germany.
59. Galagan, R., Momot, A. (2019) Influence of architecture and training dataset parameters on the neural networks efficiency in thermal nondestructive testing. Sciences of Europe, Vol. 1, 44, 20–25.
60. Chulkov, А.О., Sommier, A., Pradere, C., Vavilov, V.P. (2021) Analyzing efficiency of optical and THz infrared thermography in nondestructive testing of GFRPs by using the Tanimoto criterion. NDT & E International, Vol. 117, 102–383.
61. Eisler, K., Homma, C., Goldammer, M., Rothenfusser, M. (2013) Fusion of visual and infrared thermography images for advanced assessment in non-destructive testing. Review Sci. Instruments, 84, 064902.

---

Реклама в цьому номері:

---