Все выпуски

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

Аортальный стеноз и другие формы дисфункции аортального клапана сопровождаются нарушением внутрисердечной гемодинамики, перегрузкой левого желудочка и повышением риска сердечно-сосудистых осложнений. Для оценки работы клапана важны не только интегральные клинические показатели, но и локальные механические и гемодинамические характеристики, которые, как правило, не могут быть напрямую измерены in vivo. В связи с этим математическое моделирование рассматривается как один из основных инструментов количественного анализа аортального клапана. Несмотря на широкое применение различных моделей деформируемого твердого тела и постановок связанных задач взаимодействия жидкости и твердого тела (fluid-structure interaction, FSI), для описания динамического поведения створок границы применимости упрощенных постановок по отношению к полной сопряженной задаче остаются недостаточно определенными. В работе рассматривалась идеализированная модель корня аорты с синусами Вальсальвы и трехстворчатым клапаном. Створки описывались анизотропной гиперупругой моделью материала. Выполнено сопоставление пяти расчетных сценариев, включающих полную FSI-постановку, учитывающую как динамику твердого тела, так и жидкости, а также модель деформируемого твердого тела с четырьмя вариантами нагружения, заменяющего влияние кровотока, которые отличаются способом учета давления и направлением приложения нагрузки к створкам. В качестве критериев сравнения использовались деформации, перемещения, напряжения по Мизесу, колебательная динамика створок и площадь геометрического открытия клапана. Показано, что FSI-модель обеспечивает наиболее согласованное описание работы клапана, включая асимметричное открытие створок, более плавную динамику раскрытия и отсутствие выраженного нефизиологичного флаттера. Структурные постановки с нагрузкой, приложенной по локальной нормали к поверхности створок, приводят к завышению деформаций и напряжений, а также к более выраженным колебательным режимам. Сценарии с ограничением направления нагрузки дают более умеренный отклик, однако также не воспроизводят пространственную структуру нагрузки и временную организацию раскрытия створок. Сделан вывод, что при моделировании аортального клапана решающее значение имеет не только величина перепада давления, но и способ его пространственно-временного приложения к створкам. Структурные модели деформируемого твердого тела могут использоваться для качественной оценки отдельных механических тенденций, однако не являются полноценной заменой FSI-постановки при анализе кинематики створок, колебательных режимов, напряженно-деформированного состояния и динамики открытия клапана.