Все выпуски

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

Работа посвящена анализу известных классов моделей сверточных нейронных сетей и исследованию выбранных из них перспективных моделей для детектирования летающих объектов на изображениях. Под детектированием объектов (англ. — Object Detection) здесь понимаются обнаружение, локализация в пространстве и классификация летающих объектов. Комплексное исследование выбранных перспективных моделей сверточных нейронных сетей проводится с целью выявления наиболее эффективных из них для создания мобильных систем компьютерного зрения реального времени. Показано, что наиболее приемлемыми для детектирования летающих объектов на изображениях с учетом сформулированных требований к мобильным системам компьютерного зрения реального времени и, соответственно, к лежащим в их основе моделям сверточных нейронных сетей являются модели семейства YOLO, причем наиболее перспективными следует считать пять моделей из этого семейства: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 и YOLOv7-Tiny. Для обучения, валидации и комплексного исследования этих моделей разработан соответствующий набор данных. Каждое размеченное изображение из набора данных включает от одного до нескольких летающих объектов четырех классов: «птица», «беспилотный летательный аппарат самолетного типа», «беспилотный летательный аппарат вертолетного типа» и «неизвестный объект» (объекты в воздушном пространстве, не входящие в первые три класса). Исследования показали, что все модели сверточных нейронных сетей по скорости детектирования объектов на изображении (по скорости вычисления модели) значительно превышают заданное пороговое значение, однако только модели YOLOv4-CSP и YOLOv7, причем только частично, удовлетворяют требованию по точности детектирования (классификации) летающих объектов. Наиболее сложным для детектирования классом объектов является класс «птица». При этом выявлено, что наиболее эффективной по точности классификации является модель YOLOv7, модель YOLOv4-CSP на втором месте. Обе модели рекомендованы к использованию в составе мобильной системы компьютерного зрения реального времени при условии увеличения в созданном наборе данных числа изображений с объектами класса «птица» и дообучения этих моделей с тем, чтобы они удовлетворяли требованию по точности детектирования летающих объектов каждого из четырех классов.

В данной работе приводится обобщение подхода к построению инвариантных векторов признаков изображений в задачах распознавания образов. Базовым элементом предлагаемого алгоритма является замена обычно применяемого гауссова фильтра исходного изображения сверткой функции изображения с функцией Грина эволюционного оператора, наследующей свойства симметрий этого оператора. Применение обобщенной фильтрации позволяет выделять дополнительные характеристики инвариантных векторов признаков.

Движение объекта на видео классифицируется на регулярное (движение объекта по непрерывной траектории) и нерегулярное (разрывы траекторий вследствие заслонения объекта слежения другими объектами, скачка объекта и др.). В случае регулярного движения объекта трекер рассматривается как динамическая система, что позволяет использовать условия существования, единственности и устойчивости решения такой системы как критерий корректной работы трекера. Предложен количественный критерий оценки корректной работы алгоритма слежения mean-shift, основанный на применении условия Липшица и других параметров трекера. Полученный результат обобщается на случай произвольного алгоритма слежения.

При распознавании рабочих на изображениях строительной площадки, получаемых с камер наблюдения, типичной является ситуация, при которой объекты детекции имеют сильно различающийся пространственный масштаб относительно друг друга и других объектов. Повышение точности детекции мелких объектов может быть обеспечено путем использования Feature-Fused модификации детектора SSD (Single Shot Detector). Вместе с применением на инференсе нарезки изображения с перекрытием такая модель хорошо справляется с детекцией мелких объектов. Однако при практическом использовании данного подхода требуется ручная настройка параметров нарезки. При этом снижается точность детекции объектов на сценах, отличающихся от сцен, использованных при обучении, а также крупных объектов. В данной работе предложен алгоритм автоматического выбора оптимальных параметров нарезки изображения в зависимости от соотношений характерных геометрических размеров объектов на изображении. Нами разработан двухпроходной вариант детектора Feature-Fused SSD для автоматического определения параметров нарезки изображения. На первом проходе применяется усеченная версия детектора, позволяющая определять характерные размеры объектов интереса. На втором проходе осуществляется финальная детекция объектов с параметрами нарезки, выбранными после первого прохода. Был собран датасет с изображениями рабочих на строительной площадке. Датасет включает крупные, мелкие и разноплановые изображения рабочих. Для сравнения результатов детекции для однопроходного алгоритма без разбиения входного изображения, однопроходного алгоритма с равномерным разбиением и двухпроходного алгоритма с подбором оптимального разбиения рассматривались тесты по детекции отдельно крупных объектов, очень мелких объектов, с высокой плотностью объектов как на переднем, так и на заднем плане, только на заднем плане. В диапазоне рассмотренных нами случаев наш подход превосходит подходы, взятые в сравнение, позволяет хорошо бороться с проблемой двойных детекций и демонстрирует качество 0,82–0,91 по метрике mAP (mean Average Precision).

В данной работе мы предлагаем новую эффективную программную реализацию алгоритма расчета трансконтинентального переноса примеси в атмосфере от естественного или антропогенного источника на адаптивной конечно-разностной сетке, концентрирующей свои узлы внутри переносимого облака примеси, где наблюдаются резкие изменения значений ее массовой доли, и максимально разрежающей узлы во всех остальных частях атмосферы, что позволяет минимизировать общее количество узлов. Особенностью реализации является представление адаптивной сетки в виде комбинации динамических (дерево, связный список) и статических (массив) структур данных. Такое представление сетки позволяет увеличить скорость выполнения расчетов в два раза по сравнению со стандартным подходом представления адаптивной сетки только через динамические структуры данных.

Программа создавалась на компьютере с шестиядерным процессором. С помощью симулятора gem5, позволяющего моделировать работу различных компьютерных систем, была произведена оценка масштабируемости программы при переходе на большее число ядер (вплоть до 32) на нескольких моделях компьютерной системы вида «вычислительные ядра – кэш-память – оперативная память» с разной степенью детализации ее элементов. Отмечено существенное влияние состава компьютерной системы на степень масштабируемости исполняемой на ней программы: максимальное ускорение на 32-х ядрах при переходе от двухуровневого кэша к трехуровневому увеличивается с 14.2 до 22.2. Время выполнения программы на модели компьютера в gem5 превосходит время ее выполнения на реальном компьютере в 104–105 раз в зависимости от состава модели и составляет 1.5 часа для наиболее детализированной и сложной модели.

Также в статье рассматриваются подробный порядок настройки симулятора gem5 и наиболее оптимальный с точки зрения временных затрат способ проведения симуляций, когда выполнение не представляющих интерес участков кода переносится на физический процессор компьютера, где работает gem5, а непосредственно внутри симулятора выполняется лишь исследуемый целевой кусок кода.

В статье рассматриваются математические аспекты проблемы идентификации многокомпонентной рассеивающей среды по данным импульсного мультиэнергетического рентгеновского облучения. Задачи рентгеновской диагностики представляют значительный интерес как с теоретической, так и с практической точки зрения, а радиографические методыне заменимы при неразрушающем контроле изделий.

В рамках математической модели на основе нестационарного интегро-дифференциального уравнения переноса излучения сформулированы обратная задача нахождения коэффициента ослабления по излучению, известному на границе области, и задача идентификации вещества по найденным значениям коэффициента ослабления на дискретном наборе энергий облучения среды. Проведена предварительная обработка широкого списка веществ, представляющих интерес в компьютерной томографии, на предмет возможности их идентификации по приближенно заданному коэффициенту ослабления излучения, характеризующему среду. При анализе степени близости веществ в некоторой норме установлено, что множество всех возможных веществ, потенциально содержащихся в среде, распадается на конечное число непересекающихся кластеров. При достаточно малой длительности зондирующего сигнала рассеивающая составляющая выходящего из среды излучения асимптотически мала. Это обстоятельство позволяет свести обратную задачу для уравнения переноса излучения к задаче обращения преобразования Радона от коэффициента ослабления. Методами численного моделирования на специально разработанном цифровом фантоме анализируется возможность однозначной или частичной идентификации вещества при варьировании длительности зондирующего импульса и числа энергетических уровней облучения среды.

Представлена модель гибридной искусственной нейронной сети, основанная на архитектуре, включающей сверточный энкодер изображений (Convolutional Neural Network, CNN) и модуль внимания (Attention-based Multiple Instance Learning, Attention MIL), обеспечивающий агрегирование информативных признаков из последовательности кадров процесса газопламенного напыления. Дополнительные технологические параметры — давление воздуха, давление пропана и расстояние от сопла до поверхности — интегрируются в модель через табличный канал, что позволяет учитывать взаимосвязь между визуальными и числовыми характеристиками технологического режима. Программная реализация выполнена на платформе Streamlit с использованием библиотеки PyTorch и включает интерактивный интерфейс для обучения и визуализации результатов, анализ весов внимания по кадрам, а также режим прогнозирования выходных характеристик — шероховатости поверхности ($R_a$) и массы нанесенного слоя ($m$). Проведены экспериментальные исследования на данных реальных технологических процессов, выполнен сравнительный анализ точности различных конфигураций модели. Показано, что гибридная нейронная сеть, объединяющая визуальные и табличные признаки, обеспечивает более высокую точность прогноза по сравнению с моделями, использующими только одну из модальностей. При сравнении вариантов реализации гибридной нейронной сети установлено, что использование механизма внимания при формировании признаков серии изображений процесса газопламенного напыления обеспечивает существенное увеличение точности результатов по сравнению с режимом усреднения признаков без использования механизма внимания. В приложении реализован модуль визуализации внимания, который создает монтаж наиболее значимых кадров и отображает их веса внимания, что позволяет определить, какие кадры оказали наибольшее влияние на прогноз. Реализована возможность экспорта модели в формат ONNX для интеграции в системы технологического контроля. Предложенный подход демонстрирует эффективность слияния визуальной и табличной информации для задач мониторинга технологических процессов. Модель может служить основой для создания системы поддержки принятия решений или системы автоматизированного контроля качества покрытия при газопламенном напылении. Рассмотрены ограничения реализованной модели и перспективы ее дальнейшего развития.

Надежность автоматизированных систем управления (АСУ) и безопасность автономных автомобилей основываются на предположении, что если система компьютерного зрения, установленная на автомобиле, способна идентифицировать объекты в поле видимости и АСУ способна достоверно оценить намерение и предсказать поведение каждого из этих объектов, то автомобиль может спокойно управляться без водителя. Однако как быть с объектами, которые не видны?

В данной статье мы рассматриваем задачу из двух частей: (1) статической (о потенциальных слепых зонах) и (2) динамической реального времени (об идентификации объектов в слепых зонах и информировании участников дорожного движения о таких объектах). Эта задача рассматривается в контексте городских перекрестков.

В статье предлагается ряд подходов к обработке изображений в системе поддержки принятия решений (СППР) центра автоматизированной фиксации административных правонарушений дорожного движения (ЦАФАП). Основной задачей данной СППР является помощь человеку-оператору в получении точной информации о государственном регистрационном знаке (ГРЗ) и модели транспортного средства (ТС) на основании изображений, полученных с комплексов фотовидеофиксации (ФВФ). В статье предложены подходы к распознаванию ГРЗ и марки/модели ТС на изображении, основанные на современных нейросетевых моделях. Для распознавания ГРЗ использована нейросетевая модель LPRNet с дополнительно введенным Spatial Transformer Layer для предобработки изображения. Для автоматического определения марки/модели ТС на изображении использована нейросетевая архитектура ResNeXt-101-32x8d. Предложен подход к формированию обучающей выборки для нейросетевой модели распознавания ГРЗ, основанный на методах компьютерного зрения и алгоритмах машинного обучения. В данном подходе использован алгоритм SIFT для нахождения ключевых точек изображения с ГРЗ и вычисления их дескрипторов, а для удаления точек-выбросов использован алгоритм DBSCAN. Точность распознавания ГРЗ на тестовой выборке составила 96 %. Предложен подход к повышению производительности процедур дообучения и распознавания марки/модели ТС, основанный на использовании новой архитектуры сверточной нейронной сети с «заморозкой» весовых коэффициентов сверточных слоев, дополнительным сверточным слоем распараллеливания процесса классификации и множеством бинарных классификаторов на выходе. Применение новой архитектуры позволило на несколько порядков уменьшить время дообучения нейросетевой модели распознавания марки/модели ТС с итоговой точностью классификации, близкой к 99 %. Предложенные подходы были апробированы и внедрены в СППР ЦАФАП Республики Татарстан.