Все выпуски

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

В статье приведены промежуточные результаты разработки системы управления дистанционно-пилотируемого сельскохозяйственного самолета (БДПС). Разработана концепция использования автоматизированного комплекса для выполнения авиахимической работ (АХР), предназначенного для обработки полей, акваторий, лесов с целью защиты от вредителей растений, внесения удобрений. Базовым компонентом комплекса является пилотируемый сельскохозяйственный самолет МВ-500 разработки ООО «Фирма «МВЕН» (г. Казань). Использование самолета в беспилотном режиме обеспечит увеличение производительности самолета, увеличит полезную нагрузку.

В статье определен состав комплекса для автоматизации АХР: самолет, наземный пункт автоматизированного управления, бортовая аппаратура для автоматизированного управления самолетом и формирования карты высот обрабатываемого участка, спутниковая система точного позиционирования, необходимая для автоматизации управления самолетом. Самолет оснащается системой автоматизированного управления, обеспечивающей дистанционное управление взлетом и посадкой и автоматическое управление траекторией полета на сверхмалой высоте при выполнении АХР и выполнения пространственных разворотов на границах обрабатываемых участков. Взлет, посадка, вывод самолета в зону выполнения АХР предлагается производить с помощью летчика оператора с наземного пункта управления. Наземный пункт управления должен обеспечивать прием и отображение на экране оператора пилотажно-навигационной информации и нескольких видов с борта самолета. Оператор может управлять поочередно несколькими самолетами на этих этапах полета с помощью органов управления наземного пункта. В дальнейшем планируется автоматизировать и эти этапы полета, оставив за летчиком- оператором функции контроля и возможности дистанционного управления в особых случаях. Для навигации самолета при выполнении АХР на борту установлена аппаратура высокоточного позиционирования RTK (Real Time Kinematic), обеспечивающая измерение с сантиметровой точностью координат и высот самолета относительно базовой станции, установленной в наземном пункте управления. Перед выполнением АХР строится трехмерная цифровая карта обрабатываемого участка путем дополнения существующих кадастровых карт измерениями высот участка, выполняемых с помощью бортовых радио и оптического высотомеров того же самолета.

К настоящему времени изготовлены и протестированы следующие компоненты системы: дистанционно управляемая модель самолета МВ-500 в масштабе 1:5, система спутникового позиционирования; система для получения изображения и телеметрической информации с борта модели; автопилот; методы получения 3-мерных цифровых карт участков и планирования траекторий полета при АХР.

В традиционных системах ЧПУ каждый из отрезков кусочно-линейной траектории описывается отдельным кадром управляющей программы. При этом формируется трапециидальная траектория движения, а сшивание отдельных участков производится при нулевых значениях скорости и ускорения. Повышение производительности связано с непрерывностью обработки, которое в современных системах ЧПУ достигается за счет использования сплайн-интерполяции. Для кусочно-линейной траектории, которая является базовой для большинства изделий, наиболее приемлемым является сплайн первой степени. Однако даже в простейшем случае сплайновой интерполяции закрытость базового программного обеспечения ведущих производителей систем ЧПУ ограничивает возможности не только разработчиков, но и пользователей. С учетом этого целью данной работы является детальная проработка структурной организации и алгоритмов работы имитационной модели кусочно-линейной сплайн-интерполяции. В качестве основной меры, позволяющей снизить динамические ошибки обработки, рассматривается ограничение на рывок и ускорение. При этом особое значение уделяется S-образной форме кривой скорости на участках разгона и торможения. Это связано с условиями реализации сплайн-интерполяции, одним из которых является непрерывность движения, которое обеспечивается за счет равенства первой и второй производной при стыковке участков траектории. Подобная постановка соответствует принципам реализации комбинированных систем управления следящего электропривода, которые обеспечивают частичную инвариантность к управляющим и возмущающим воздействиям. В качестве базы структурной организации принята эталонная модель сплайн-интерполятора. Рассмотрены также вопросы масштабирования обработки, в основе которых заложено снижение скорости вектора по отношению к базовому значению. Это позволяет повысить точность перемещений. Показано, что диапазон изменений скорости перемещений может быть больше десяти тысяч и ограничен только возможностями регулирования скорости исполнительных приводов.

В основу системы интегрированной интерпретации геофизических данных при изучении глубинного строения Земли положена система ГИС ИНТЕГРО, являющаяся геоинформационной системой функционирования разнообразных вычислительных и аналитических приложений при решении различных геологических задач. ГИС ИНТЕГРО включает в себя многообразные интерфейсы, позволяющие изменять форму представления данных (растр, вектор, регулярная и нерегулярная сеть наблюдений), блок преобразования картографических проекций, а также прикладные блоки, включающие блок интегрированного анализа данных и решения прогнозно-диагностических задач.

Методический подход базируется на интеграции и комплексном анализе геофизических данных по региональным профилям, геофизических потенциальных полей и дополнительной геологической информации на изучаемую территорию.

Аналитическое обеспечение включает пакеты трансформаций, фильтрации, статистической обработки полей, расчета характеристик, выделения линеаментов, решения прямых и обратных задач, интегрирования геоинформации.

Технология и программно-аналитическое обеспечение апробировались при решении задач тектонического районирования в масштабах 1:200000, 1:1000000 в Якутии, Казахстане, Ростовской области, изучения глубинного строения по региональным профилям 1:ЕВ, 1-СБ, 2-СБ, 3-СБ и 2-ДВ, прогноза нефтегазоносности в районах Восточной Сибири, Бразилии.

В работе решается задача обнаружения малоразмерных объектов на аэрофотоснимках в видимом спектре. Высокая вариативность фона и слабая выраженность признаков делают детекцию малоразмерных объектов нетривиальной задачей. В таких условиях низкая эффективность классических методов компьютерного зрения на основе дескрипторов стимулирует переход к архитектурам на основе глубоких нейронных сетей, которые демонстрируют большую обобщающую способность и устойчивость к ложным срабатываниям. В качестве метода поиска объектов на изображении был выбран одноэтапный подход на базе нейросетевой предиктивной модели. Проведен анализ нейросетевых архитектур, относящихся к данному классу, приведены их достоинства и недостатки. В качестве базовой архитектуры детектора была взята YOLO версии 11 с добавлением блока многомасштабной агрегации признаков (используется для объединения информации, полученной из слоев искусственной нейронной сети с разными масштабами) и блока селективной интеграции с учетом размерности (блок автоматически определяет, по какому измерению (канал, высота, ширина) обрабатывать данные, и выборочно объединяет их). Данные модификации направлены как на повышение вычислительной эффективности и возможности развертывания нейросетевых моделей на борту беспилотных летательных аппаратов для анализа изображений в режиме реального времени, так и для улучшения точности детекции объектов малых размеров. Учитывая сложность аннотации изображений, для обучения и тестирования (в соотношении 90/10% соответственно) использовалась открытая синтетическая база изображений, содержащая порядка 4000 изображений. Обучающая выборка была расширена путем различных случайных аугментаций. Для оценки качества полученных предиктивных моделей использовалось среднее значение точности по всем классам как с порогом 50% пересечения с экспертной разметкой, так и с варьируемым порогом 50–95%. Переобучение контролировалось при помощи анализа кривых потерь. Предложенные модификации архитектуры YOLO позволили уменьшить время обработки изображений в два раза при сохранении точности распознавания.

Хранение — это существенная и дорогая часть облачных вычислений как с точки зрения требований сети, так и организации доступа к данным, поэтому выбор архитектуры хранения может быть критическим для любого приложения. В этой работе мы сможем посмотреть на типы облачных архитектур для обработки и хранения данных, основанных на доказанной технологии хранения в сети масштаба пред- приятия. Преимущество облачных вычислений — это способность визуализировать и разделять ресурсы среди различных приложений для наилучшего использования сервера. Мы обсуждаем и оцениваем распределенную обработку данных, архитектуры баз данных для облачных вычислений и очередь баз данных в локальной сети и для условий реального времени.