Все выпуски

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Точное определение размеров и морфологии частиц имеет ключевое значение для множества научных и промышленных областей. Микроскопия является мощным инструментом для изучения геометрии частиц, однако традиционный анализ изображений часто оперирует базовыми параметрами, такими как площадь или эквивалентный диаметр круга, что недостаточно для описания несферических или сложных по форме объектов. В данной работе представлена новая методика анализа частиц по микрофотографиям, основанная на сочетании глубокого обучения для сегментации и аппроксимации параметризованными полигонами. Изображения оптической микроскопии были получены для модельных систем различной сложности: монодисперсные сферы полистирола, кубические кристаллы SAPO-34, гексагональные призмы ZSM-5 и их многокомпонентная смесь. Сегментация изображений выполнялась с помощью облачного сервиса DLgram01, обученного на вручную размеченных данных. Для обработки полученных полигонов сегментации была разработана специализированная программа на языке Python. Ключевая идея метода заключается в подборе для контура каждой частицы параметризованного полигона. Оптимальные значения геометрических параметров для каждой частицы определяется путем минимизации функции «несходства», количественно оценивающей расхождение между сегментированным контуром и параметрической формой. Метод был валидирован на простой системе со сферами: полученное распределение по размерам совпало с результатами классического метода проекционного диаметра. Для более сложных кубических частиц SAPO-34 аппроксимация прямоугольниками выявила отклонение от идеальной формы, что дало более полное морфологическое описание, чем использование единственного параметра размера. При анализе смеси частиц разработанный подход успешно классифицировал частицы разных типов и извлек для каждого класса характерные распределения параметров. Полученные для смеси статистические характеристики каждого типа частиц совпали с результатами анализа однокомпонентных систем, что подтверждает надежность и точность методики. Предложенный подход является мощным инструментом для автоматизированного анализа частиц, позволяя извлекать детальные геометрические параметры и строить многомерные распределения по размерам и форме для сложных полидисперсных систем.

В работе решается задача обнаружения малоразмерных объектов на аэрофотоснимках в видимом спектре. Высокая вариативность фона и слабая выраженность признаков делают детекцию малоразмерных объектов нетривиальной задачей. В таких условиях низкая эффективность классических методов компьютерного зрения на основе дескрипторов стимулирует переход к архитектурам на основе глубоких нейронных сетей, которые демонстрируют большую обобщающую способность и устойчивость к ложным срабатываниям. В качестве метода поиска объектов на изображении был выбран одноэтапный подход на базе нейросетевой предиктивной модели. Проведен анализ нейросетевых архитектур, относящихся к данному классу, приведены их достоинства и недостатки. В качестве базовой архитектуры детектора была взята YOLO версии 11 с добавлением блока многомасштабной агрегации признаков (используется для объединения информации, полученной из слоев искусственной нейронной сети с разными масштабами) и блока селективной интеграции с учетом размерности (блок автоматически определяет, по какому измерению (канал, высота, ширина) обрабатывать данные, и выборочно объединяет их). Данные модификации направлены как на повышение вычислительной эффективности и возможности развертывания нейросетевых моделей на борту беспилотных летательных аппаратов для анализа изображений в режиме реального времени, так и для улучшения точности детекции объектов малых размеров. Учитывая сложность аннотации изображений, для обучения и тестирования (в соотношении 90/10% соответственно) использовалась открытая синтетическая база изображений, содержащая порядка 4000 изображений. Обучающая выборка была расширена путем различных случайных аугментаций. Для оценки качества полученных предиктивных моделей использовалось среднее значение точности по всем классам как с порогом 50% пересечения с экспертной разметкой, так и с варьируемым порогом 50–95%. Переобучение контролировалось при помощи анализа кривых потерь. Предложенные модификации архитектуры YOLO позволили уменьшить время обработки изображений в два раза при сохранении точности распознавания.

Реконструкция траекторий заряженных частиц в трековых детекторах является ключевой проблемой анализа экспериментальных данных для физики высоких энергий и ядерной физики. Поток данных в современных экспериментах растет день ото дня, и традиционные методы трекинга уже не в состоянии соответствовать этим объемам данных по скорости обработки. Для решения этой проблемы нами были разработаны два нейросетевых алгоритма, использующих методы глубокого обучения, для локальной (каждый трек в отдельности) и глобальной (все треки в событии) реконструкции треков применительно к данным трекового GEM-детектора эксперимента BM@N ОИЯИ. Преимущество глубоких нейронных сетей обусловлено их способностью к обнаружению скрытых нелинейных зависимостей в данных и возможностью параллельного выполнения операций линейной алгебры, лежащих в их основе.

В данной статье приведено описание исследования по обобщению этих алгоритмов и их адаптации к применению для внутреннего поддетектора CGEM (BESIII ИФВЭ, Пекин). Нейросетевая модель RDGraphNet для глобальной реконструкции треков, разработанная на основе реверсного орграфа, успешно адаптирована. После обучения на модельных данных тестирование показало обнадеживающие результаты: для распознавания треков полнота (recall) составила 98% и точность (precision) — 86%. Однако адаптация «локальной» нейросетевой модели TrackNETv2 потребовала учета специфики цилиндрического детектора CGEM (BESIII), состоящего всего из трех детектирующих слоев, и разработки дополнительного нейроклассификатора для отсева ложных треков. Полученная программа TrackNETv2.1 протестирована в отладочном режиме. Значение полноты на первом этапе обработки составило 99%. После применения классификатора точность составила 77%, при незначительном снижении показателя полноты до 94%. Данные результаты предполагают дальнейшее совершенствование модели локального трекинга.

Изоформный состав гена CD44 тесно связан с прогрессированием злокачественных опухолей и формированием раковых стволовых клеток. Хотя механизм альтернативного сплайсинга обеспечивает выборочное включение вариабельных экзонов этого гена, общий регуляторный ландшафт данного процесса до сих пор остается малоизученным.

В настоящей работе предложен новый вычислительный подход к анализу регуляции сплайсинга, основанный на моделировании долей экспрессии транскриптов с помощью аппарата бета-регрессии. Автор реализовал математическую модель в виде глубокого нейросетевого регрессора, который совместно оценивает параметры вероятностного распределения и применяет регуляризацию методом эластичной сети для отбора наиболее значимых биологических признаков. Разработанный метод успешно применен для идентификации рибонуклеиново-связывающих белков, выполняющих роль факторов сплайсинга и напрямую управляющих выбором сайтов сборки гена CD44 в клетках колоректального рака. В построенных регрессионных моделях целевыми переменными выступают строго нормированные доли экспрессии изоформ, а в качестве признаков используются уровни экспрессии потенциальных регуляторов.

В ходе исследования детально сопоставлены две схемы постановки задачи машинного обучения. Первая схема реализует классический подход «один против всех», предполагающий построение отдельной изолированной модели для каждой рассматриваемой изоформы. Второй подход представляет собой метод дерева изоформ, базирующийся на последовательном иерархическом разбиении транскриптов по наличию вариабельных экзонов с независимым подбором регуляторных белков на каждом этапе алгоритма. Вычислительная корректность программной реализации была предварительно подтверждена на искусственно сгенерированных данных: модель продемонстрировала высокую точность восстановления параметров при полном отсутствии систематического смещения оценок. Последующий сравнительный анализ на клинических данных выявил явное преимущество схемы «один против всех» с точки зрения итогового качества и стабильности предсказаний.

Биологический анализ результатов не только подтвердил участие известных регуляторов гена CD44, но и позволил выявить новые потенциальные факторы регуляции, среди которых выделяются белки ACO1, NUDT21 и AGO2. Для фактора ACO1 автор сформулировал оригинальную гипотезу, напрямую связывающую внутриклеточный метаболизм железа и регуляцию изоформного состава гена CD44. Полученные выводы существенно расширяют текущее понимание молекулярных механизмов онкогенеза.

Надежная диагностика болезней растений компьютерным зрением требует не только высокой точности классификации, но и стабильной обобщающей способности и интерпретируемого принятия решений. При этом механизмы внимания безусловно полезны для моделей глубокого обучения, но эффективность решения задачи зависит от места и способа интеграции этих механизмов в архитектуру нейронной сети. В данном исследовании представлен классификатор на базе оптимизированной архитектуры YOLOv11m, а также результаты анализа результатов диагностики болезней растений в зависимости от сверточных блоков CBAM (Convolutional Block Attention Module), внедренных на разных уровнях архитектуры. Выполнен сравнительный анализ трех архитектурных вариантов модели: базовой архитектуры YOLO11m-Cls без механизма внимания, варианта с добавлением CBAM только в магистральную часть backbone и гибридной архитектуры, сочетающей сокращенное внимание в магистральной части backbone с дополнительным блоком CBAM на уровне классификационного слоя head. Все модели были обучены и протестированы в одинаковых экспериментальных условиях с использованием обширного набора данных, содержащего около 90 тысяч изображений 38 типов болезней растений. Экспериментальные результаты ясно показывают, что равномерное внедрение CBAM в магистральную часть backbone снижает устойчивость модели и ухудшает ее способность к обобщению, что проявляется в повышении валидационной функции потерь и понижении точности (Top-1 ≈ 90,5%) по сравнению с базовой архитектурой. Напротив, гибридная архитектура обеспечивает баланс между устойчивостью и способностью детектировать с повышением параметров точности Top-1 до 99,71% и Top-5 до 99,99% на этапе валидации, близким по значениям к параметрам базовой модели. Анализ интерпретируемости на основе метода Grad-CAM также положительно характеризует гибридную модель, которая формирует улучшенные и биологически обоснованные карты активации, четко фокусирующиеся именно на признаках заболевания и практически исключающие отвлечение внимания на фоновые элементы изображения. Важно отметить, что целью данной работы является не достижение наилучшей производительности среди всех классификаторов, а предоставление доказательств на уровне архитектурного проектирования относительно того, каким образом размещение механизма внимания влияет на устойчивость и интерпретируемость в классификационных моделях на базе YOLO. Полученные результаты предоставляют практические рекомендации по проектированию надежных и интерпретируемых систем искусственного интеллекта для агропромышленного сектора.

Сердечно-сосудистые заболевания на протяжении последних десятилетий представляют собой серьезную угрозу здоровью населения во всем мире, независимо от уровня развития страны. Ранняя диагностика и постоянный медицинский контроль могли бы значительно снизить смертность от этих заболеваний. Однако существующие системы здравоохранения зачастую не в состоянии обеспечить необходимый уровень мониторинга пациентов из-за ограниченных ресурсов.

В рамках нашего исследования мы использовали метод SHAP для объяснения работы модели глубокого обучения Bi-LSTM+CNN, разработанной для прогнозирования сердечно-сосудистых заболеваний. Путем балансировки данных и применения кросс-валидации мы достигли высокой точности (99,05%), полноты (99%) и F1-меры (99%) модели. Интерпретируемость модели, обеспечиваемая методом SHAP, повышает доверие медицинских специалистов к полученным результатам и способствует более широкому внедрению искусственного интеллекта в клиническую практику.

Оценка безопасности плотин все в большей степени опирается на непрерывный мониторинг гидрометеорологических параметров; однако выявление ранних стадий неустойчивости остается сложной задачей вследствие сложных пространственно-временных взаимодействий и сильного дисбаланса наблюдений аварийных состояний. В настоящей работе предлагается фреймворк глубокого обучения на основе архитектуры сверточной двунаправленной рекуррентной нейронной сети с управляемыми вентилями (CNN–BiGRU) для выявления пространственно-временных предвестников неустойчивости плотин по многомерным гидрометеорологическим временным рядам. Сверточный компонент модели извлекает локальные временные паттерны, связанные с краткосрочными флуктуациями, тогда как двунаправленная рекуррентная структура позволяет моделировать долгосрочные зависимости и эволюцию динамики, предшествующие критическим состояниям.

Предложенная модель была протестирована на реальном наборе данных мониторинга плотины, включающем измерения уровня воды, метеорологические параметры и производные динамические индикаторы. Для учета дисбаланса классов применяется стоимостно-ориентированная стратегия обучения с использованием весов классов без применения синтетического увеличения выборки. Экспериментальные результаты демонстрируют высокие показатели качества классификации: точность (accuracy) — 0,961, прецизионность — 0,901, полнота — 0,757 и F1-мера — 0,823. Дополнительно модель достигает значений ROC AUC = 0,907 и PR AUC = 0,819, что свидетельствует о высокой способности к разделению классов в условиях сильного дисбаланса данных.

Анализ значимости признаков показывает, что краткосрочная и среднесрочная изменчивость уровня воды, включая скользящее стандартное отклонение, волатильность и многоуровневые градиенты, играет ключевую роль в формировании предаварийного поведения системы, обеспечивая физически интерпретируемое понимание динамики отклика плотины. Полученные результаты подтверждают, что фреймворк CNN–BiGRU эффективно выявляет значимые пространственно-временные предвестники неустойчивости и может служить надежным инструментом поддержки принятия решений в задачах мониторинга безопасности плотин в реальных эксплуатационных условиях.

В работе представлен подход к реконструкции и количественному фенотипированию морфологических признаков растений в раннем онтогенезе на основе анализа цифровых изображений. Разработанный алгоритм сочетает глубокое обучение и графовые представления с учетом биологических закономерностей морфогенеза. Такой синтез позволяет перейти от бинарной сегментации к реконструкции топологически целостной структуры растения с корректным разделением пересекающихся корневых систем на снимках с несколькими растениями. На первом этапе с использованием сверточной нейронной сети архитектуры U-Net формируются бинарные маски семян, ростков и корневых систем. Полученное изображение преобразуется в графовую модель, в которой ребрам соответствуют сегменты корней и побегов, а вершинам — ключевые морфологические точки, включая ветвления и пересечения. Алгоритм направленного обхода от семенной точки с водораздельным разделением графа и композитной оценочной функцией выбора главной оси выделяет индивидуальные растения в виде изолированных подграфов и корректно различает главный корень, боковые корни и росток.

Корректность алгоритма подтверждена многоуровневой валидацией, включающей сравнение результатов графовой реконструкции на сегментированных изображениях, а также сквозную проверку полного вычислительного конвейера на исходных изображениях с результатами существующих программных решений и экспертной ручной разметки. Разработанный подход устойчив к вариативности формы корневых систем и шумам изображений, обеспечивает высокую точность извлечения морфологических признаков. Результаты исследования могут быть использованы в селекционных программах.