Все выпуски

В работе решается задача обнаружения малоразмерных объектов на аэрофотоснимках в видимом спектре. Высокая вариативность фона и слабая выраженность признаков делают детекцию малоразмерных объектов нетривиальной задачей. В таких условиях низкая эффективность классических методов компьютерного зрения на основе дескрипторов стимулирует переход к архитектурам на основе глубоких нейронных сетей, которые демонстрируют большую обобщающую способность и устойчивость к ложным срабатываниям. В качестве метода поиска объектов на изображении был выбран одноэтапный подход на базе нейросетевой предиктивной модели. Проведен анализ нейросетевых архитектур, относящихся к данному классу, приведены их достоинства и недостатки. В качестве базовой архитектуры детектора была взята YOLO версии 11 с добавлением блока многомасштабной агрегации признаков (используется для объединения информации, полученной из слоев искусственной нейронной сети с разными масштабами) и блока селективной интеграции с учетом размерности (блок автоматически определяет, по какому измерению (канал, высота, ширина) обрабатывать данные, и выборочно объединяет их). Данные модификации направлены как на повышение вычислительной эффективности и возможности развертывания нейросетевых моделей на борту беспилотных летательных аппаратов для анализа изображений в режиме реального времени, так и для улучшения точности детекции объектов малых размеров. Учитывая сложность аннотации изображений, для обучения и тестирования (в соотношении 90/10% соответственно) использовалась открытая синтетическая база изображений, содержащая порядка 4000 изображений. Обучающая выборка была расширена путем различных случайных аугментаций. Для оценки качества полученных предиктивных моделей использовалось среднее значение точности по всем классам как с порогом 50% пересечения с экспертной разметкой, так и с варьируемым порогом 50–95%. Переобучение контролировалось при помощи анализа кривых потерь. Предложенные модификации архитектуры YOLO позволили уменьшить время обработки изображений в два раза при сохранении точности распознавания.

This paper addresses the problem of detecting small objects in visible-spectrum aerial imagery. High background variability and weak feature saliency make small object detection a non-trivial task. Under such conditions, classical computer vision algorithms based on hand-crafted descriptors exhibit low efficiency, prompting a shift towards deep neural network architectures, which demonstrate superior generalization capability and robustness to false positives. We selected a one-stage approach based on a neural network predictive model as the primary object detection method. Also, several neural network architectures belonging to this class were analyzed, outlining their advantages and disadvantages. As the baseline detector, we adopted YOLO version 11 and incorporated a multi-scale feature aggregation module (which combines information from neural network layers operating at different scales) and a dimension-aware selective integration module (which automatically determines the dimension (channel, height, or width) along which to process features and fuses them selectively). These modifications aim to both enhance computational efficiency, enabling deployment of neural network models onboard aerial vehicles for real-time image analysis, and improve small object detection accuracy. Given the complexity of image annotation, we used an open synthetic image database containing approximately 4 000 images for training and testing (with a 90/10 split, respectively). We extend the training set using various random augmentation techniques. To evaluate the performance of the resulting predictive models, we employed mean Average Precision across all classes, using both a fixed 50% intersectionover- union threshold and a varying threshold from 50% to 95%. Overfitting was monitored by analyzing loss curves during training process. The proposed modifications to the YOLO architecture reduced image processing time by a factor of two while maintaining detection accuracy.

В статье рассмотрена задача мультиклассификации хвойных деревьев с различной степенью поражения насекомыми-вредителями на изображениях, полученных с помощью беспилотных летательных аппаратов (БПЛА). Предложены три модификации классической сверточной нейронной сети U-Net для попиксельной классификации изображений пораженных деревьев пихты сибирской Abies sibirica и кедра сибирского Pinus sibirica. Первая модель Мо-U-Net вносит ряд изменений в классическую модель U-Net. Вторая и третья модели, названные MSC-U-Net и MSC-Res-U-Net, представляют собой ансамбли из трех моделей Мо-U-Net с разной глубиной и размерами входных изображений. В модели MSC-Res-U-Net также используются остаточные блоки. Нами созданы два датасета по изображениям с БПЛА пораженных вредителями деревьев Abies sibirica и Pinus Sibirica и обучены предложенные три модели с использованием функций потерь mIoULoss и Focal Loss. Затем исследовалась эффективность каждой обученной модели при классификации поврежденных деревьев Abies sibirica и Pinus sibirica. Результаты показали, что в случае использования функции потерь mIoULoss предложенные модели не пригодны для практического применения в лесной отрасли, поскольку не позволяют получить для отдельных классов деревьев этих пород точность классификации по метрике IoUс, превышающую пороговое значение 0,5. Однако в случае функции потерь Focal Loss модели MSC-Res-U-Net и Mo-U-Net, в отличие от третьей предложенной модели MSC-U-Net, для всех классов деревьев Abies sibirica и Pinus sibirica показывают высокую точность классификации (превышение порогового значения 0,5 по метрикам IoUс и mIoU). Эти результаты позволяют считать, что модели MSC-Res-U-Net и Mo-U-Net являются практически значимыми для специалистов лесной отрасли, поскольку позволяют выявлять хвойные деревья этих пород на ранней стадии их поражения вредителями.

This article considers the task of multiclass classification of coniferous trees with varying degrees of damage by insect pests on images obtained using unmanned aerial vehicles (UAVs). We propose the use of convolutional neural networks (CNNs) for the classification of fir trees Abies sibirica and Siberian pine trees Pinus sibirica in unmanned aerial vehicles (UAV) imagery. In our approach, we develop three CNN models based on the classical U-Net architecture, designed for pixel-wise classification of images (semantic segmentation). The first model, Mo-U-Net, incorporates several changes to the classical U-Net model. The second and third models, MSC-U-Net and MSC-Res-U-Net, respectively, form ensembles of three Mo-U-Net models, each varying in depth and input image sizes. Additionally, the MSC-Res-U-Net model includes the integration of residual blocks. To validate our approach, we have created two datasets of UAV images depicting trees affected by pests, specifically Abies sibirica and Pinus sibirica, and trained the proposed three CNN models utilizing mIoULoss and Focal Loss as loss functions. Subsequent evaluation focused on the effectiveness of each trained model in classifying damaged trees. The results obtained indicate that when mIoULoss served as the loss function, the proposed models fell short of practical applicability in the forestry industry, failing to achieve classification accuracy above the threshold value of 0.5 for individual classes of both tree species according to the IoU metric. However, under Focal Loss, the MSC-Res-U-Net and Mo-U-Net models, in contrast to the third proposed model MSC-U-Net, exhibited high classification accuracy (surpassing the threshold value of 0.5) for all classes of Abies sibirica and Pinus sibirica trees. Thus, these results underscore the practical significance of the MSC-Res-U-Net and Mo-U-Net models for forestry professionals, enabling accurate classification and early detection of pest outbreaks in coniferous trees.