Все выпуски

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

Explainable Artificial Intelligence (XAI) is a field of artificial intelligence aimed at creating methods and tools for generating interpretable and human-understandable explanations of AI decisions. The relevance of model explainability increases with the deployment of artificial intelligence in critical domains (healthcare, finance, law), where algorithmic opacity can lead to serious consequences for users and society. This work presents an analytical review of the current state of the XAI field, covering theoretical foundations, methodology, and practical applications.

The examined explainable AI methods were selected and systematized based on a multi-level classification of XAI methods by problem formulation (goal, target audience, data type), methodology (application stage, model-specificity, methods, scale), and result form (representation, presentation, evaluation metrics).

A comparative analysis of explainable AI methods for various application domains is conducted. For classical machine learning, SHAP and LIME are examined in detail, revealing their theoretical foundations, computational characteristics, and limitations. For computer vision, gradient-based methods (SmoothGrad, Integrated Gradients), activation visualization methods (Grad-CAM, Grad-CAM++), perturbation-based methods (RISE, Occlusion), and conceptual explanations (TCAV, Network Dissection) are systematized. Special attention is paid to the specifics of applying XAI to natural language processing and large language models, including analysis of the faithfulness of Chain-of-Thought reasoning, natural language explanations, and attribution graph methods. Fundamental limitations of existing approaches to LLM explainability are identified and directions for future research are defined.

The review results demonstrate that XAI methods have reached significant maturity in classical machine learning and computer vision, however, their application to large language models remains an open research problem requiring the development of new explanation paradigms.

Надежная диагностика болезней растений компьютерным зрением требует не только высокой точности классификации, но и стабильной обобщающей способности и интерпретируемого принятия решений. При этом механизмы внимания безусловно полезны для моделей глубокого обучения, но эффективность решения задачи зависит от места и способа интеграции этих механизмов в архитектуру нейронной сети. В данном исследовании представлен классификатор на базе оптимизированной архитектуры YOLOv11m, а также результаты анализа результатов диагностики болезней растений в зависимости от сверточных блоков CBAM (Convolutional Block Attention Module), внедренных на разных уровнях архитектуры. Выполнен сравнительный анализ трех архитектурных вариантов модели: базовой архитектуры YOLO11m-Cls без механизма внимания, варианта с добавлением CBAM только в магистральную часть backbone и гибридной архитектуры, сочетающей сокращенное внимание в магистральной части backbone с дополнительным блоком CBAM на уровне классификационного слоя head. Все модели были обучены и протестированы в одинаковых экспериментальных условиях с использованием обширного набора данных, содержащего около 90 тысяч изображений 38 типов болезней растений. Экспериментальные результаты ясно показывают, что равномерное внедрение CBAM в магистральную часть backbone снижает устойчивость модели и ухудшает ее способность к обобщению, что проявляется в повышении валидационной функции потерь и понижении точности (Top-1 ≈ 90,5%) по сравнению с базовой архитектурой. Напротив, гибридная архитектура обеспечивает баланс между устойчивостью и способностью детектировать с повышением параметров точности Top-1 до 99,71% и Top-5 до 99,99% на этапе валидации, близким по значениям к параметрам базовой модели. Анализ интерпретируемости на основе метода Grad-CAM также положительно характеризует гибридную модель, которая формирует улучшенные и биологически обоснованные карты активации, четко фокусирующиеся именно на признаках заболевания и практически исключающие отвлечение внимания на фоновые элементы изображения. Важно отметить, что целью данной работы является не достижение наилучшей производительности среди всех классификаторов, а предоставление доказательств на уровне архитектурного проектирования относительно того, каким образом размещение механизма внимания влияет на устойчивость и интерпретируемость в классификационных моделях на базе YOLO. Полученные результаты предоставляют практические рекомендации по проектированию надежных и интерпретируемых систем искусственного интеллекта для агропромышленного сектора.

Reliable plant disease diagnosis requires not only high classification accuracy, but also stable generalization and interpretable decision-making. Although attention mechanisms are useful to these deep learning models, the performance also depends on where and how they are integrated into the network architecture. This study presents a design-optimized YOLO11m-based classification framework that systematically investigates the impact of Convolutional Block Attention Module (CBAM) injection at different architectural levels for plant disease diagnosis. We perform a comparative modelcontrolled analysis of three model architectures: (i) the baseline YOLO11m-Cls architecture lacking attention, (ii) only adding the backbone block along with CBAM and (iii) a hybrid architecture that includes reduced backbone attention combined with CBAM added at classification head. All models are trained and tested under the same experimental settings using a largescale dataset with around 90 000 images of 38 types of plant diseases. Experimental results clearly show that the uniform injection of CBAM into the backbone reduces stability but causes generalization to worsen with a higher validation loss and significantly lower Top-1 accuracy (≈ 90.5%), while the hybrid attention design balances stability and discrimination, with Top-1 accuracy up to 99.71%, Top-5 accuracy up to 99.99% and near-baseline validation behavior respectively Grad-CAMbased interpretability analysis also demonstrates that the hybrid model generates enhanced and biologically interpretable activation maps, which are more disease-specific with less distraction from background. Notably, the aim of our work is not for achieving superior performance over all classifiers but instead only to provide design-level evidence on how placing attention modulates rigidity and interpretability in YOLO-based classification models. The results provide practical architectural considerations for building dependable and interpretable AI systems in agriculture.