Все выпуски

Интерпретируемость моделей глубокого обучения стала центром исследований, особенно в таких областях, как здравоохранение и финансы. Модели с «бутылочным горлышком», используемые для выявления концептов, стали перспективным подходом для достижения прозрачности и интерпретируемости за счет использования набора известных пользователю понятий в качестве промежуточного представления перед слоем предсказания. Однако ручное аннотирование понятий не затруднено из-за больших затрат времени и сил. В нашей работе мы исследуем потенциал больших языковых моделей (LLM) для создания высококачественных банков концептов и предлагаем мультимодальную метрику для оценки качества генерируемых концептов. Мы изучили три ключевых вопроса: способность LLM генерировать банки концептов, сопоставимые с существующими базами знаний, такими как ConceptNet, достаточность унимодального семантического сходства на основе текста для оценки ассоциаций концептов с метками, а также эффективность мультимодальной информации для количественной оценки качества генерации концептов по сравнению с унимодальным семантическим сходством концепт-меток. Наши результаты показывают, что мультимодальные модели превосходят унимодальные подходы в оценке сходства между понятиями и метками. Более того, сгенерированные нами концепты для наборов данных CIFAR-10 и CIFAR-100 превосходят те, что были получены из ConceptNet и базовой модели, что демонстрирует способность LLM генерировать высококачественные концепты. Возможность автоматически генерировать и оценивать высококачественные концепты позволит исследователям работать с новыми наборами данных без дополнительных усилий.

Для моделирования гравитационной конвекции жидкости, насыщающей пористую среду, развивается компактная конечно-разностная схема. На основе закона Дарси с учетом анизотропии свойств проницаемости и теплопроводности рассматривается задача для прямоугольной области в переменных «функция тока» и «температура». На границах заданы условия непроницаемости и линейный по высоте профиль температуры. При определенных соотношениях между коэффициентами обратной проницаемости и теплопроводности данная система является косимметричной, при потере устойчивости механического равновесия от него ответвляется однопараметрическое семейство стационарных конвективных режимов. Разработана численная схема с конечно-разностной аппроксимацией четвертого порядка точности по пространственным координатам и с использованием метода Рунге – Кутты. Доказано, что построенная на девятиточечном шаблоне численная схема сохраняет свойство косимметрии исходной системы. Представлены результаты численного решения спектральной задачи по определению критических чисел Рэлея, отвечающих возникновению конвективных движений. Проведено сравнение с расчетами методом второго порядка точности и на основе комбинированной разностной схемы, обеспечивающей четвертый порядок аппроксимации по вертикальной координате. Показано, что с большой точностью критические числа являются двукратными при коэффициентах, обеспечивающих свойство косимметрии. Приведены результаты вычисления конвективных режимов и спектров устойчивости стационарных решений. Дана оценка эффективности предложенной компактной схемы.

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

Целью данной работы является оценка механического поведения коронарных сосудов и ангиопластических баллонов при проведении процедуры ангиопластики на основании данных внутрисосудистого ультразвукового исследования и ангиографии, полученных для каждого пациента индивидуально. Для лечения атеросклероза, представляющего собой серьезное хроническое воспалительное заболевание артерий с образованием атеросклеротических бляшек и вызывающего сужение сосудов и ухудшение кровоснабжения тканей и органов, в современной медицинской практике применяют малоинвазивную эндоваскулярную процедуру — баллонную ангиопластику, ключевым аспектом моделирования которой является понимание поведения артерий пациентов и баллонов, которые используют для ее проведения. На основании данных внутрисосудистого ультразвукового исследования и ангиографии была разработана биомеханическая модель артерии, пораженной атеросклерозом. Построена конечно-элементная модель участка артерии, учитывающая ее нелинейное гиперупругое поведение. Для моделирования поведения ангиопластического баллона была разработана математическая модель баллона, проведена валидация с экспериментальными данными. Проведена оценка напряженно-деформированного состояния коронарной артерии конкретного пациента и ангиопластического баллона. На основании разработанных математических моделей отдельных объектов в дальнейшем будет построена полномасштабная математическая модель процесса ангиопластики, включающая три рассмотренных выше объекта: персонифицированную за счет использования данных реального пациента модель артерии; построенную на основе персонифицированной модели конечно-элементную модель артерии, учитывающую ее нелинейное поведение и конечно-элементную модель ангиопластического баллона, а также их взаимосвязь. Разработанные математические модели и полученные на их основе результаты в дальнейшем позволят получить зависимости ключевых параметров ангиопластики, которые могут быть использованы для усовершенствования методики ангиопластики на основе данных внутрисосудистой визуализации, а применение методов математического моделирования позволит снизить число клинических испытаний в данной области.

Исследуется отказоустойчивость конечной вычислительной сети с произвольным графом, элементы которой имеют вероятность отказа и вероятность восстановления после отказа. Работа сети происходит по трехэтапным тактам (разрушение-восстановление-функционирование). Предлагается алгоритм наращивания сети в начале каждого такта ее работы. При этом граф увеличенной конфигурации сети формируется путем добавления новых экземпляров исходной сети и соединения их определенным образом с элементами старой конфигурации сети. Доказывается, что при достаточно быстром росте сеть имеет положительную вероятность неограниченной безотказной работы. Параметрическая оценка критической скорости роста сети имеет логарифмический порядок по числу тактов.

В работе построены сопряженные задачи для явной и неявной параболической квазилинейной сеточной пространственно-одномерной краевой задачи: коэффициенты задачи зависят от решения в текущий и предыдущие моменты времени. Зависимость от предыстории осуществляется через вектор состояния, эволюция которого описывается дифференциальным уравнением. К подобным задачам сводятся многие модели диффузионного массопереноса. Решения исходной и сопряженной краевых задач дают возможность получить точное значение градиента некоторого функционала в пространстве параметров, от которых также зависят коэффициенты задачи. Предложены алгоритмы решения задач, в том числе с использованием высокопроизводительных вычислительных систем.

В работе рассматривается обратная задача определения по экспериментальным данным параметров модели выделения водорода из порошка гидрида металла. Методом слепого поиска в пространстве параметров установлено, что задача имеет многочисленные физически разумные решения. Решения задачи получены с помощью высокопроизводительного численного моделирования в грид–системе на базе платформы BOINC.

В данной статье исследуются методы машинного обучения с определенным видом решающего правила. К ним относятся интерполяция по методу обратно взвешенных расстояний, метод интерполяции радиальными базисными функциями, метод многомерной интерполяции и аппроксимации на основе теории случайных функций, кригинг. Показано, что для данных методов существует способ быстрого переобучения «модели» при добавлении новых данных к существующим. Под «моделью» понимается построенная по обучающим данным интерполирующая или аппроксимирующая функция. Данный подход позволяет уменьшить вычислительную сложность построения обновленной «модели» с $O(n^3)$ до $O(n^2)$. Также будет исследована возможность быстрого оценивания обобщающих возможностей «модели» на обучающей выборке при помощи метода скользящего контроля leave-one-out cross-validation, устранив главный недостаток такого подхода — необходимость построения новой «модели» при каждом удалении элемента из обучающей выборки.

Модель динамики численности популяций лесных насекомых использована для моделирования взаимодействий «лес–насекомые» и оценки возможных повреждений лесных насаждений насекомыми-вредителями. Согласно этой модели популяция рассматривалась как система автоматической регуляции, в которой входные переменные характеризуют влияние модифицирующих (прежде всего климатических) факторов, а цепи обратной связи описывают влияние регулирующих факторов (паразитов и хищников, внутрипопуляционных взаимодействий). На основе этой модели популяционной динамики предложена методика стресс-тестирования — оценки рисков повреждений и гибели лесных насаждений по отношению к вспышкам массового размножения насекомых. Такой опасный вид лесных вредителей, как сосновая пяденица (Bupalus piniarius L.), рассматривался в качестве объекта анализа; проводились компьютерные эксперименты по оценке рисков возникновения вспышек массового размножения при возможных климатических изменениях на территории Средней Сибири. Модельные эксперименты по- казали, что при достаточно умеренном потеплении (не более 4 °С в летний период) риск воздействия насекомых на лес существенно не возрастает. Однако более сильное потепление на территории Средней Сибири в сочетании с уменьшением количества осадков в летний период может вызвать существенное увеличение частоты вспышек массового размножения основного вредителя сосновых лесов — сосновой пяденицы.

В данной работе приводятся нижние оценки скорости сходимости для класса численных методов выпуклой оптимизации первого порядка и выше, т. е. использующих градиент и старшие производные. Обсуждаются вопросы достижимости данных оценок. Приведенные в статье оценки замыкают известные на данный момент результаты в этой области. Отметим, что замыкание осуществляется без должного обоснования, поэтому в той общности, в которой данные оценки приведены в статье, их стоит понимать как гипотезу. Опишембо лее точно основной результат работы. Пожалуй, наиболее известнымм етодом второго порядка является метод Ньютона, использующий информацию о градиенте и матрице Гессе оптимизируемой функции. Однако даже для сильно выпуклых функций метод Ньютона сходится лишь локально. Глобальная сходимость метода Ньютона обеспечивается с помощью кубической регуляризации оптимизируемой на каждом шаге квадратичной модели функции [Nesterov, Polyak, 2006]. Сложность решения такой вспомогательной задачи сопоставима со сложностью итерации обычного метода Ньютона, т. е. эквивалентна по порядку сложности обращения матрицы Гессе оптимизируемой функции. В 2008 году Ю. Е. Нестеровымбыл предложен ускоренный вариант метода Ньютона с кубической регуляризацией [Nesterov, 2008]. В 2013 г. Monteiro – Svaiter сумели улучшить оценку глобальной сходимости ускоренного метода с кубической регуляризацией [Monteiro, Svaiter, 2013]. В 2017 году Arjevani – Shamir – Shiff показали, что оценка Monteiro – Svaiter оптимальна (не может быть улучшена более чем на логарифми- ческий множитель на классе методов 2-го порядка) [Arjevani et al., 2017]. Также удалось получить вид нижних оценок для методов порядка $p ≥ 2$ для задач выпуклой оптимизации. Отметим, что при этом для сильно выпуклых функций нижние оценки были получены только для методов первого и второго порядка. В 2018 году Ю. Е. Нестеров для выпуклых задач оптимизации предложил методы 3-го порядка, которые имеют сложность итерации сопоставимую со сложностью итерации метода Ньютона и сходятся почти по установленным нижним оценкам [Nesterov, 2018]. Таким образом, было показано, что методы высокого порядка вполне могут быть практичными. В данной работе приводятся нижние оценки для методов высокого порядка $p ≥ 3$ для сильно выпуклых задач безусловной оптимизации. Работа также может рассматриваться как небольшой обзор современного состояния развития численных методов выпуклой оптимизации высокого порядка.