تشخیص و شناسایی چهره در پهپادها با یادگیری عمیق

نوع مقاله : مقاله پژوهشی

نویسندگان

1 استادیار ، دانشگاه امام علی (ع)،تهران، ایران

2 دانشجوی دکتری، دانشگاه اصفهان ،اصفهان،ایران

چکیده

شناسایی چهره انسان باپهپادها، برای کاربردهای مختلف، مانند نظارت، جستجوو امنیت ضروری است. روش‌های قبلی برای تشخیص و شناسایی چهره حساسیت بالایی به محدودیت‌هایی مانند، ارتفاع، زاویه و فاصله از چهره دارند. در این مقاله رویکرد جدیدی برای تشخیص و شناسایی چهره بایادگیری عمیق ارائه می‌شود. روش پیشنهادی در سه مرحله انجام می‌شود. در مرحله اول، با الگوریتم جستجوی انتخابی، ناحیه‌بندی تصاویر انجام می‌شود. در مرحله دوم، یک شبکه عمیق برای عملیات پالایش جعبه‌ها پیشنهاد می‌شودتا جعبه‌های هدف با دقت و سرعت بالایی شناساییشوند. درواقع، یک مسئله طبقه‌بندی دو کلاسه توسط یادگیری عمیقانجام می‌شود تا چهره‌ها مکان‌یابیشوند. در مرحله سوم، تصاویر مکان‌یابی شده به شبکه عمیق پیشنهادی آموزش داده می‌شوند تا شناسایی چهره‌ها انجام شود. در معماری روش پیشنهادی از خاصیت شبکه‌های عمیق پرکاربرد به‌صورت ترکیبی استفاده می‌شود و مقایسه‌ کمی روش پیشنهادی با روش‌های جدید از نظر پیچیدگی محاسباتی نشان می‌دهد که آموزش مدل پیشنهادی نسبت به سایر روش‌ها زمان اجرای کمتری لازم دارد. به‌علاوه، ارزیابی روش پیشنهادی روی مجموعه داده DroneFace نشان می‌دهد که برای فاصله و ارتفاع مختلف نسبت به هدف، روش پیشنهادی میانگین نرخ تشخیص چهره 9/75 و میانگین نرخ شناسایی چهره 6/84 را دارد. بنابراین، روش پیشنهادی نسبت به روش‌های جدید در این حوزه دقت و کارایی بالاتری دارد و می‌تواند برای کاربردهای نظارتی و امنیتی استفاده شود.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Face Detection and Identification in Drones with Deep Learning

نویسندگان [English]

  • Amirhamzeh Farajollahi 1
  • Mohsen Rostami 1
  • hashem parvin 2
  • behzad nazarpour 1
  • mojtaba lak 1
1 Department of Engineering, Imam Ali University
2 isfahan university
چکیده [English]

Human face recognition by drones is necessary for various applications, such as surveillance, search and security. The previous methods for face recognition are highly sensitive to limitations such as height, angle and distance from the face. In this article, a new approach for face detection and identification by deep learning is presented. The proposed method is done in three steps. In the first step, images are zoned with the selective search algorithm. In the second step, a deep network is proposed for box refinement operation to identify the target boxes with high accuracy and speed. Actually, a two-class classification problem is performed by deep learning to locate faces. In the third step, the localized images are trained to the proposed deep network to perform face recognition. In the architecture of the proposed method, the properties of widely used deep networks are used in combination, and a quantitative comparison of the proposed method with new methods in terms of computational complexity shows that training the proposed model requires less execution time than other methods. In addition, the evaluation of the proposed method on the DroneFace dataset shows that for different distance and height from the target, the proposed method has an average face recognition rate of 75.9 and an average face recognition rate of 84.6. Therefore, the proposed method has higher accuracy and efficiency than the new methods in this field and can be used for surveillance and security applications.

کلیدواژه‌ها [English]

  • Face Localization
  • Face Recognition
  • Deep Learning
  • Drones
  • Image Processing
  • Image Segmentation

Smiley face

مراجع

  1.  Xu, Y.; Yu, G.; Wu, X.; Wang, Y.; Ma, Y. ”An Enhanced Viola-Jones Vehicle Detection Method from Unmanned Aerial Vehicles Imagery”; IEEE Trans. Intell. Transp. Syst. 2017, pp. 1-5.
  2.  Atmaja, A. P.; Setyawan, S. B.; Setia, L. D.; Yulianto, S. V.; Winarno, B.;  Lestariningsih, T. ”Face Recognition System Using Micro Unmanned Aerial Vehicle”; J. Phys. Conf. Ser. 2021, 012043.
  3. Bold, S.; Sosorbaram, B.; Lee, S. R. ”Implementation of Autonomous Unmanned Aerial Vehicle With Moving-Object Detection and Face Recognition”; Info. Sci. Appl. 2016, 361-
  4.  Kompella, A.; Kulkarni, R. V. ”A Semi-Supervised Recurrent Neural Network for Video Salient Object Detection”; Neural Comput. Appl. 2021, 33, 2065-2083.
  5. Deeb, A.; Roy, K.; Edoh, K. D."Drone-Based Face Recognition Using Deep Learning"; Int. Conf. Advanced Machine Learning Technologies and Applications. 2020, 197-206.
  6.  Yang, M. H.; Kriegman, D. J.; Ahuja, N. “Detecting Faces in Images: A Survey”; IEEE Trans. Pattern Anal. Mach. Intell.2002, 24, 1, 34-58.
  7.  Yang, S.; Luo, P.; Loy, C. C.; Tang, X. “Faceness-Net: Face Detection through Deep Facial Part Responses”; IEEE Trans. Pattern Anal. Mach. Intell. 2017, 40, 8, 1845-1859.
  8. Zhang, L.; Sun, L.; Yu, L.; Dong, X.; Chen, J.; Cai, W.; Ning, X. “Arface: Attention-Aware and Regularization for Face Recognition with Reinforcement Learning”; IEEE Trans. Biom. Behavior. Iden. 2021.
  9. Zhu, Y.; Jiang, Y. “Optimization of Face Recognition Algorithm Based on Deep Learning Multi Feature Fusion Driven by Big Data”; Image Vision Comput. 2020, 104, 104023.
  10. Wang, L.; Siddique, A. A. “Facial Recognition System Using LBPH Face Recognizer for Anti-Theft and Surveillance Application Based on Drone Technology”; Meas. Control. 2020, 53, 1070-1077.
  11. Cheng, E. J.; Chou, K. P.; Rajora, S.; Jin, B. H.; Tanveer, M.; Lin, C. T.; Prasad, M. “Deep Sparse Representation Classifier for Facial Recognition and Detection System”; Pattern Recogn. Lett. 2019, 125, 71-77.
  12. Hsu, H. J.; Chen, K. T. ”Face Recognition on Drones: Issues and Limitations”; Int. J. Science Humanities Management and Technology. 2018, 4, 39 - 47.
  13. Xun, Z.; Wang, L.; Liu, Y. ”Improved Face Detection Algorithm Based on Multitask Convolutional Neural Network for Unmanned Aerial Vehicles View”; J. Electron Imaging. 2022, 31, 061804.
  14. He, X.; Yan, S.; Hu, Y.; Niyogi, P.; Zhang, H. J. ”Face Recognition Using Laplacian Faces”; IEEE Trans. Pattern Anal. Mach. Intell. 2005, 27, 328-340.
  15. Suri, S.; Sankaran, A.; Vatsa, M.; Singh, R. “Improving Face Recognition Performance Using TECS2 Dictionary”; Pattern Recogn. Lett. 2021, 145, 88-95.
  16. Cai, D.; He, X.; Han, J.; Zhang, H. J. “Orthogonal Laplacianfaces for Face Recognition” IEEE Trans. Image Process. 2006, 15, 3608-3614.
  17. Naseem, I.; Togneri, R.; Bennamoun, M. “Linear Regression for Face Recognition”; IEEE Trans. Pattern Anal. Mach. Intell. 2010, 32, 11, 2106-2112.
  18. Qiu, H.; Gong, D.; Li, Z.; Liu, W.; Tao, D. “End2End Occluded Face Recognition by Masking Corrupted Features”; IEEE Trans. Pattern Anal. Mach. Intell. 2021, 0162-8828.
  19. Fu, C.; Wu, X.; Hu, Y.; Huang, H.; He, R. “DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition”; IEEE Trans. Pattern Anal. Mach. Intell. 2021, 0162-8828.
  20. Tripathi, R. K.; Jalal, A. S. “Novel Local Feature Extraction for Age Invariant Face Recognition”; Expert Syst. Appl. 2021, 175, 114786.
  21. Teimouri, M.; Rezaei, M. "Blind Classification of Space-Time Codes Using Machine Learning"; Adv. Defence Sci. & Technol. 2019, 10, 1-10 (In Persian).
  22. Sabeteghlidi, A.; Latif, A.; Esmaeilizaini, A. "Presenting a New Photographic CAPTCHA Using Morphology"; Adv. Defence Sci. & Technol. 2017, 8, 235-241 (In Persian).
  23. Daugman, J. “Face and Gesture Recognition: Overview”; IEEE Trans. Pattern Anal. Mach. Intell. 1997, 19, 675-676.
  24. Hjelmås, E.; Low, B. K. “Face Detection: A survey”; Comput. Vis. Image Und. 2001, 83, 236-274.
  25. Gao, C.; Lu, S. L. ”Novel FPGA Based Haar Classifier Face Detection Algorithm Acceleration”; Int. Field Programmable Logic and Applications. 2008, 373-378.
  26. Matai, J.; Irturk, A.; Kastner, R. ”Design and Implementation of an Fpga-Based Real-Time Face Recognition System”; IEEE Int. Conf. Symposium. Field-Programmable Custom Computing Machines 2011, 97-100.
  27. Gottumukkal, R.; Asari, V. K. ”An Improved Face Recognition Technique Based on Modular PCA Approach”; Pattern Recogn. Lett. 2004, 25, 429-436.
  28. Farlik, J.; Kratky, M.; Casar, J.; Stary, V. ”Multispectral Detection of Commercial Unmanned Aerial Vehicles”; Sensors 2019, 19, 1517.
  29. Wang, L.; Siddique, A. A. ”Facial Recognition System Using LBPH Face Recognizer for Anti-Theft and Surveillance Application Based on Drone Technology”; Meas. Control. 2020, 53, 1070-1077.
  30. Pu, Y. H.; Chiu, P. S.; Tsai, Y. S.; Liu, M. T.; Hsieh, Y. Z.; Lin, S. S. “Aerial Face Recognition and Absolute Distance Estimation Using Drone and Deep Learning”; J. Supercomput. 2021, 1-21.
  31. Lin, S. H.; Kung, S. Y.; Lin, L. J. “Face Recognition/Detection by Probabilistic Decision-Based Neural Network”; IEEE Trans. Neural Networks 1997, 8, 114-132.
  32. Nair, P.; Cavallaro, A. “3-D Face Detection, Landmark Localization, and Registration Using a Point Distribution Model”; IEEE Trans. Multimedia. 2009, 11, 611-623.
  33. Fang, W.; Wang, L.; Ren, P. “Tinier-YOLO: A Real-Time Object Detection Method for Constrained Environments”; IEEE Access. 2019, 8, 1935-1944.
  34. Almabdy, S.; Elrefaei, L. “Deep Convolutional Neural Network-Based Approaches for Face Recognition”; Appl. Sci. 2019, 9, 20, 4397.
  35. Li, Z.; Tang, X.; Wu, X.; Liu, J.; He, R. “Progressively Refined Face Detection ThroughSemantics-Enriched Representation Learning”; IEEE Trans. Inf. Forensics Security 2019, 15, 1394-1406.
  36. Cao, J.; Li, Y.; Zhang, Z. "Celeb-500k: A Large Training Dataset for Face Recognition"; IEEE Image Proc. 2018, 2406-2410.
  37. Mishra, N. K.; Dutta, M.; Singh, S. K. “Multiscale Parallel Deep CNN (Mpdcnn) Architecture for the Real Low-Resolution Face Recognition for Surveillance”; Image Vision Comput. 2021, 104290.
  38. Ning, X.; Shaohui, X.; Fangzhe, N.; Qingliang, Z.; Chen, W.; Weiwei, C.; Weijun, L.; Yizhang, J. “Face Editing Based on Facial Recognition Features”; IEEE Trans. Cogn. Develop. 2022, 2379-8920.
  39. Li, Y.; Lao, L.; Cui, Z.; Shan, S.; Yang, J. “Graph Jigsaw Learning for Cartoon Face Recognition”; IEEE Trans. Image Process. 2022, 1057-7149.
  40. Li, P.; Tu, S.; Xu, L. “Deep Rival Penalized Competitive Learning for Low-Resolution Face Recognition”; Neural Networks 2022, 0893-6080.

فایل ها

سابقه مقاله

  • تاریخ دریافت: 09 خرداد 1401
  • تاریخ بازنگری: 28 مهر 1401
  • تاریخ پذیرش: 08 آبان 1401
  • تاریخ انتشار: 01 آذر 1401

هم رسانی

ارجاع به این مقاله

آمار