Все выпуски

Вывозка лесоматериалов из удаленных лесозаготовительных районов Сибири характеризуется высоким уровнем транспортных издержек. Наличие протяженных участков грунтовых лесовозных дорог, сезонные ограничения (весенняя распутица, зимники) и значительные расстояния от лесосек до магистральных транспортных узлов (50–200 км) обусловливают необходимость систематического решения задачи рационального планирования маршрутов вывозки.

В настоящей работе предложена математическая модель двухэшелонной маршрутизации транспортных средств (2E-VRP), адаптированная к условиям вывозки лесоматериалов в макрорегионе Урала и Сибири. Модель учитывает переменные транспортные затраты (пробег лесовозов), фиксированные затраты на задействование каждой единицы техники ($c_{fix}$ = 30 000 руб./рейс) и ограничения грузоподъемности. Задача приведена к форме QUBO — квадратичной безусловной бинарной оптимизации; емкостные ограничения интегрированы посредством штрафного коэффициента $\lambda_{cap} = 500$. Такое представление обеспечивает совместимость модели с современными специализированными решателями (квантовыми отжигателями и цифровыми аннилерами).

Апробация модели выполнена на реальной географии Уральского и Сибирского федеральных округов: 207 узлов логистической сети, 65 предприятий-потребителей, 8 магистральных транспортных узлов. Предложенный трехстадийный алгоритм «Допустимость прежде всего» формирует допустимый маршрутный план за 1,7 с и обеспечивает снижение суммарных транспортных затрат на 69% относительно базового генетического алгоритма. Последующая оптимизация методом имитации отжига дополнительно улучшает значение целевой функции QUBO на 55%.

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.