Система анализа данных с фотоловушек для оперативного дистанционного мониторинга природных территорий

Аннотация

Приведена система анализа данных, полученных с помощью фотоловушек, для оперативного дистанционного мониторинга природных территорий на основе двухстадийной нейросетевой обработки изображений, содержащая серверную и пользовательскую части. Серверная часть предназначена для обработки большого объема данных, полученных из разных заповедников в целях обучения нейросетевых алгоритмов. Пользовательская часть необходима для установки на локальный вычислитель в заповеднике. Разработанная система позволяет значительно сократить время обработки данных и упрощает экологический анализ, возможность дообучения классификатора под видовое разнообразие любого заповедника без переобучения детектора, повышает качество распознавания видов животных в пределах одной особо охраняемой природной территории, что делает систему более гибкой и масштабируемой. Для корректировки количественных и качественных предсказаний алгоритмов программное обеспечение дополнено функциональностью, которая позволяет автоматически создавать так называемые регистрации. С помощью регистраций ведется подсчет числа объектов на каждом фотоизображении с учетом контекстной информации из их последовательности. Регистрации позволяют корректировать предсказания нейронной сети не только по числу животных на фотоизображении, но и по предсказанным классам. Проведено сравнение скорости работы системы на различных аппаратных платформах. Показано, что использование современных графических вычислителей позволяет осуществлять обработку фото- и видеоизображений со скоростью, значительно превосходящей возможности человека

Просьба ссылаться на эту статью следующим образом:

Ефремов В.А., Леус А.В., Гаврилов Д.А. и др. Система анализа данных с фотоловушек для оперативного дистанционного мониторинга природных территорий. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2023, № 4 (145), с. 85--109. DOI: https://doi.org/10.18698/0236-3933-2023-4-85-109

Литература

[1] O’Connell A.F., Nichols J.D., Karanth K.U. Camera traps in animal ecology. Berlin, Springer Science & Business Media, 2011. DOI: https://doi.org/10.1007/978-4-431-99495-4

[2] Желтухина Ю.С., Огурцов С.С., Волкова К.А. и др. Применение фотоловушек в экологическом просвещении школьников и студентов в Центрально-Лесном заповеднике. Биологическое и экологическое образование студентов и школьников: актуальные проблемы и пути их решения. Матер. IV Междунар. науч.-практ. конф. Самара, СГСПУ, 2018, с. 98--110.

[3] Огурцов С.С., Волков В.П., Желтухин А.С. Обзор современных способов хранения, обработки и анализа данных с фотоловушек в зоологических исследованиях. Nature Conservation Research. Заповедная наука, 2017, № 2, с. 73--98.

[4] Алпеев М.А., Артаев О.Н., Варгот Е.В. и др. Первый опыт применения фотоловушек в Мордовском государственном природном заповеднике имени П.Г. Смидовича. Труды Мордовского государственного природного заповедника имени П.Г. Смидовича, 2018, № 20, с. 3--14.

[5] Гаврилов Д.А., Щелкунов Н.Н. Программное обеспечение разметки крупноформатных аэрокосмических изображений и подготовки обучающих выборок. Научное приборостроение, 2020, т. 30, № 2, с. 67--75. DOI: https://doi.org/10.18358/np-30-2-i6775

[6] Гаврилов Д.А. Исследование применимости сверточной нейронной сети U-Net к задаче cегментации изображений авиационной техники. Компьютерная оптика, 2021, т. 45, № 4, с. 575--579. DOI: https://doi.org/10.18287/2412-6179-CO-804

[7] Леус А.В., Ефремов В.А. Применение методов компьютерного зрения для анализа изображений, собранных с фотоловушек в рамках программно-аппаратного комплекса мониторинга состояния окружающей среды на особо охраняемых природных территориях. Труды Мордовского государственного природного заповедника имени П. Г. Смидовича, 2021, № 28, с. 121--129.

[8] Chen G., Han T.X., He Z., et al. Deep convolutional neural network based species recognition for wild animal monitoring. IEEE ICIP, 2014, pp. 858--862. DOI: https://doi.org/10.1109/ICIP.2014.7025172

[9] Yousif H., Yuan J., Kays R., et al. Animal Scanner: software for classifying humans, animals, and empty frames in camera trap images. Ecol. Evol., 2019, vol. 9, no. 4, pp. 1578--1589. DOI: https://doi.org/10.1002/ece3.4747

[10] Yousif H., Yuan J., Kays R., et al. Fast human-animal detection from highly cluttered camera-trap images using joint background modeling and deep learning classification. IEEE ISCAS, 2017.DOI: https://doi.org/10.1109/ISCAS.2017.8050762

[11] He K., Zhang X., Ren S., et al. Deep residual learning for image recognition. IEEE CVPR, 2016, pp. 770--778. DOI: https://doi.org/10.1109/CVPR.2016.90

[12] Gomez-Villa A., Salazar A., Vargas F. Towards automatic wild animal monitoring: identification of animal species in camera-trap images using very deep convolutional neural networks. Ecol. Inform., 2017, vol. 41, pp. 24--32. DOI: https://doi.org/10.1016/j.ecoinf.2017.07.004

[13] Norouzzadeh M.S., Nguyen A., Kosmala M., et al. Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning. PNAS, 2018, vol. 115, no. 25, pp. 5716--5725. DOI: https://doi.org/10.1073/pnas.1719367115

[14] Yu X., Wang J., Kays R., et al. Automated identification of animal species in camera trap images. EURASIP J. Image Video Proc., 2013, vol. 2013, no. 1, art. 52. DOI: https://doi.org/10.1186/1687-5281-2013-52

[15] Tabak M.A., Norouzzadeh M.S., Wolfson D.W., et al. Machine learning to classify animal species in camera trap images: applications in ecology. Methods Ecol. Evol., 2010, vol. 10, no. 4, pp. 585--590. DOI: https://doi.org/10.1111/2041-210X.13120

[16] Schneider S., Taylor G.W., Kremer S. Deep learning object detection methods for ecological camera trap data. IEEE CRV, 2018, pp. 321--328. DOI: https://doi.org/10.1109/CRV.2018.00052

[17] Beery S., Van Horn G., Perona P. Recognition in terra incognita. In: ECCV 2018. Cham, Springer Nature, 2018, pp. 472--489. DOI: https://doi.org/10.1007/978-3-030-01270-0_28

[18] Norouzzadeh M.S., Morris D., Beery S., et al. A deep active learning system for species identification and counting in camera trap images. Methods Ecol. Evol., 2021, vol. 12, no. 1, pp. 150--161. DOI: https://doi.org/10.1111/2041-210X.13504

[19] Whytock R.C., Swiezewski J., Zwerts J.A. Robust ecological analysis of camera trap data labelled by a machine learning model. Methods Ecol. Evol., 2021, vol. 12, no. 6, pp. 1080--1092. DOI: https://doi.org/10.1111/2041-210X.13576

[20] Glenn J. YOLOv5 release v6.1. github.com: веб-сайт. URL: https://github.com/ultralytics/yolov5/releases/tag/v6.1 (дата обращения: 15.08.2023).

[21] Wang C., Yeh I., Liao H.M. You only learn one representation: unified network for multiple tasks. arXiv:2105.04206. DOI: https://doi.org/10.48550/arXiv.2105.04206

[22] Ge Z., Liu S., Wang F., et al. YOLOX: exceeding YOLO series in 2021. arXiv:2107.08430. DOI: https://doi.org/10.48550/arXiv.2107.08430

[23] Lin T.Y., Maire M., Belongie S., et al. Microsoft COCO: common objects in context. In: EССV 2014. Cham, Springer Nature, 2014, pp. 740--755. DOI: https://doi.org/10.1007/978-3-319-10602-1_48

[24] Hu J., Shen L., Albanie S., et al. Squeeze-and-excitation networks. IEEE Trans. Pattern Anal. Mach. Intell., 2020, vol. 42, no. 8, pp. 2011--2023. DOI: https://doi.org/10.1109/TPAMI.2019.2913372

[25] Zhang H., Wu C., Zhang Z., et al. ResNeSt: split-attention networks. arXiv:2004.08955. DOI: https://doi.org/10.48550/arXiv.2004.08955

[26] Han D., Yun S., Heo B., et al. ReXNet: diminishing representational bottleneck on convolutional neural network. arXiv:2007.00992. DOI: https://doi.org/10.48550/arXiv.2007.00992

[27] Willi M., Pitman R.T., Cardoso A.W., et al. Identifying animal species in camera trap images using deep learning and citizen science. Methods Ecol. Evol., 2019, vol. 10, no. 1, pp. 80--91. DOI: https://doi.org/10.1111/2041-210X.13099

[28] Tan M., Le Q.V. EfficientNetV2: smaller models and faster training. arXiv:2104.00298. DOI: https://doi.org/10.48550/arXiv.2104.00298

[29] Tan M., Le Q.V. EfficientNet: rethinking model scaling for convolutional neural networks. arXiv:1905.11946. DOI: https://doi.org/10.48550/arXiv.1905.11946

[30] Tan M., Chen B., Pang R., et al. MnasNet: platform-aware neural architecture search for mobile. IEEE/CVF CVPR, 2019, pp. 2815--2823. DOI: https://doi.org/10.1109/CVPR.2019.00293

[31] Szegedy C., Vanhoucke V., Ioffe S., et al. Rethinking the inception architecture for computer vision. arXiv:1512.00567. DOI: https://doi.org/10.48550/arXiv.1512.00567

[32] Sibson R. SLINK: an optimally efficient algorithm for the single-link cluster method. Comput. J., 1973, vol. 16, no. 1, pp. 30--34. DOI: https://doi.org/10.1093/comjnl/16.1.30