Все выпуски

Работа посвящена описанию авторских формальных постановок задачи кластеризации при заданном числе кластеров, алгоритмам их решения, а также результатам применения этого инструментария в медицине.

Решение сформулированных задач точными алгоритмами реализаций даже относительно невысоких размерностей до выполнения условий оптимальности невозможно за сколько-нибудь рациональное время по причине их принадлежности к классу NP.

В связи с этим нами предложен гибридный алгоритм, сочетающий преимущества точных методов на базе кластеризации в парных расстояниях на начальном этапе с быстродействием методов решения упрощенных задач разбиения по центрам кластеров на завершающем этапе. Для развития данного направления разработан последовательный гибридный алгоритм кластеризации с использованием случайного поиска в парадигме роевого интеллекта. В статье приведено его описание и представлены результаты расчетов прикладных задач кластеризации.

Для выяснения эффективности разработанного инструментария оптимальной кластеризации многомерных объектов по множеству разнородных показателей был выполнен ряд вычислительных экспериментов с использованием массивов данных, включающих социально-демографические, клинико-анамнестические, электроэнцефалографические и психометрические данные когнитивного статуса пациентов кардиологической клиники. Получено эксперимен- тальное доказательство эффективности применения алгоритмов локального поиска в парадигме роевого интеллекта в рамках гибридного алгоритма при решении задач оптимальной кластеризации. Результаты вычислений свидетельствуют о фактическом разрешении основной проблемы применения аппарата дискретной оптимизации — ограничения доступных размерностей реализаций задач. Нами показано, что эта проблема снимается при сохранении приемлемой близости результатов кластеризации к оптимальным.

Прикладное значение полученных результатов кластеризации обусловлено также тем, что разработанный инструментарий оптимальной кластеризации дополнен оценкой стабильности сформированных кластеров, что позволяет к известным факторам (наличие стеноза или старший возраст) дополнительно выделить тех пациентов, когнитивные ресурсы которых оказываются недостаточны, чтобы преодолеть влияние операционной анестезии, вследствие чего отмечается однонаправленный эффект послеоперационного ухудшения показателей сложной зрительно-моторной реакции, внимания и памяти. Этот эффект свидетельствует о возможности дифференцированно классифицировать пациентов с использованием предлагаемого инструментария.

The work is devoted to the description of the author’s formal statements of the clustering problem for a given number of clusters, algorithms for their solution, as well as the results of using this toolkit in medicine.

The solution of the formulated problems by exact algorithms of implementations of even relatively low dimensions before proving optimality is impossible in a finite time due to their belonging to the NP class.

In this regard, we have proposed a hybrid algorithm that combines the advantages of precise methods based on clustering in paired distances at the initial stage with the speed of methods for solving simplified problems of splitting by cluster centers at the final stage. In the development of this direction, a sequential hybrid clustering algorithm using random search in the paradigm of swarm intelligence has been developed. The article describes it and presents the results of calculations of applied clustering problems.

To determine the effectiveness of the developed tools for optimal clustering of multidimensional objects according to a variety of heterogeneous indicators, a number of computational experiments were performed using data sets including socio-demographic, clinical anamnestic, electroencephalographic and psychometric data on the cognitive status of patients of the cardiology clinic. An experimental proof of the effectiveness of using local search algorithms in the paradigm of swarm intelligence within the framework of a hybrid algorithm for solving optimal clustering problems has been obtained.

The results of the calculations indicate the actual resolution of the main problem of using the discrete optimization apparatus — limiting the available dimensions of task implementations. We have shown that this problem is eliminated while maintaining an acceptable proximity of the clustering results to the optimal ones. The applied significance of the obtained clustering results is also due to the fact that the developed optimal clustering toolkit is supplemented by an assessment of the stability of the formed clusters, which allows for known factors (the presence of stenosis or older age) to additionally identify those patients whose cognitive resources are insufficient to overcome the influence of surgical anesthesia, as a result of which there is a unidirectional effect of postoperative deterioration of complex visual-motor reaction, attention and memory. This effect indicates the possibility of differentiating the classification of patients using the proposed tools.

Представлена неоднородная двумерная сетевая модель двухфазного течения в пористых средах. Предполагается, что ребра сети представляют собой капиллярные трубки разного радиуса. Предложен новый алгоритм управления фазовыми потоками в узлах этой сетевой модели. Показано, что сетевая модель демонстрирует свойства, аналогичные свойствам реальных пористых сред: капиллярная пропитка, зависимость капиллярного давления от насыщенности и влияние капиллярных сил при двухфазном течении. Было решено две тестовые задачи: противоточная пропитка пористого блока и двухфазное течение в периодически неоднородной пористой среде. В первой задаче реализована сеть, состоящая из двух областей: область с низкой проницаемостью и тонкими капиллярами окружена областью с высокой проницаемостью и толстыми капиллярами, изначально насыщенными смачивающими и несмачивающими несжимаемыми жидкостями соответственно. Капиллярное равновесие устанавливается за счет противоточной пропитки внутренней области. Исследована зависимость насыщенности смачивающей жидкости в областях от времени и капиллярного давления от текущей насыщенности. Получено качественное соответствие известным экспериментальным и теоретическим результатам, что в дальнейшем позволит использовать эту сетевую модель для проверки осредненных моделей капиллярной неравновесности. Во второй задаче рассматривается двухфазное вытеснение, при котором сеть изначально насыщается несмачивающей жидкостью. Затем смачивающая жидкость вводится через границу с постоянным расходом. Анализируется распределение насыщенности вдоль оси, направленной вдоль приложенного градиента давления, для различных моментов времени при различных значениях коэффициентов поверхностного натяжения. Результаты расчетов показывают, что при более низких значениях коэффициента поверхностного натяжения смачивающая жидкость предпочитает проникать через более толстые трубки, а при более высоких значениях — через более тонкие.

We present an inhomogeneous two-dimensional network model of two-phase flow in porous media. The edges of the network are assumed to be capillary tubes of different radii. We propose a new algorithm for handling phase fluxes at the nodes of this network model. We perform two test problems and show that the two-phase flow in this inhomogeneous network model demonstrates properties that are analogous to those of real porous media: capillary imbibition, dependence of capillary pressure on saturation and effect of capillary forces in two-phase displacement. The two test problems are: the counter-current imbibition and the twophase displacement in a periodically inhomogeneous porous medium. In the former problem, we implement a network consisting of two regions: a region of low-permeability with thin capillaries surrounded by a region of high-permeability with thick capillaries, initially saturated with wetting and nonwetting incompressible fluids, respectively. Capillary equilibrium is established due to counter-current imbibition by a region. We examine the dependence: of saturation of the wetting fluid with respect to time in the regions, and of capillary pressure on the current saturation. We have obtained a qualitative agreement with the known experimental and theoretical results, which will further allow us to use this network model to verify homogenized models of capillary nonequilibrium. In the latter problem, we consider the two-phase displacement, where the network is initially saturated with nonwetting fluid. Then wetting fluid is injected through a boundary at a constant rate. We analyze the saturation with respect to the axis which is along the applied pressure gradient for various moments in time with various values of coefficients of surface tension. The results show that for lower values of coefficient of surface tension, the wetting fluid prefers to invade through the thicker tubes, and in the case of higher values, through thinner tubes.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.

Эффективность подвижных робототехнических комплексов (ПРТК), осуществляющих мониторинг дорожной обстановки, городской инфраструктуры, последствий чрезвычайных ситуаций и пр., напрямую зависит от качества функционирования систем технического зрения, являющихся важнейшей частью ПРТК. В свою очередь, точность обработки изображений в системах технического зрения в существенной степени зависит от точности пространственной ориентации видеокамеры, размещаемой на ПРТК. Но при размещении видеокамер на ПРТК резко возрастает уровень погрешностей их пространственной ориентации, вызванных ветровыми и сейсмическими колебаниями мачты, движением ПРТК по пересеченной местности и пр. В связи с этим в статье рассмотрено общее решение задачи стохастической оценки параметров пространственной ориентации видеокамер в условиях как случайных колебаний мачты, так и произвольного характера движения ПРТК. Так как методы решения данной задачи на основе спутниковых измерений при высокой интенсивности естественных и искусственных радиопомех (способы формирования которых постоянно совершенствуются) не в состоянии обеспечить требуемую точность решения, то в основу предложенного подхода положено использование автономных средств измерения — инерциальных и неинерциальных. Но при их использовании возникает проблема построенияи стохастической оценки общей модели движения видеокамеры, сложность которой определяется произвольным движением ПРТК, случайными колебаниями мачты, помехами измеренияи др. В связи с нерешенностью данной проблемы на сегодняшний день в статье рассмотрен синтез как модели движения видеокамеры в самом общем случае, так и стохастической оценки ее параметров состояния. При этом разработанный алгоритм совместной оценки параметров пространственной ориентации видеокамеры, размещенной на мачте ПРТК, является инвариантным и к характеру движения мачты, и видеокамеры, и самого ПРТК, обеспечивая при этом устойчивость и требуемую точность оценивания при самых общих предположениях о характере помех чувствительных элементов используемого автономного измерительного комплекса. Результаты численного эксперимента позволяют сделать вывод о возможности практического применения предложенного подхода для решения задачи текущей пространственной ориентации ПРТК и размещенных на них видеокамер, причем с использованием недорогих автономных средств измерения.

The efficiency of mobile robotic systems (MRS) that monitor the traffic situation, urban infrastructure, consequences of emergency situations, etc., directly depends on the quality of vision systems, which are the most important part of MRS. In turn, the accuracy of image processing in vision systems depends to a great extent on the accuracy of spatial orientation of the video camera placed on the MRS. However, when video cameras are placed on the MRS, the level of errors of their spatial orientation increases sharply, caused by wind and seismic vibrations, movement of the MRS over rough terrain, etc. In this connection, the paper considers a general solution to the problem of stochastic estimation of spatial orientation parameters of video cameras in conditions of both random mast vibrations and arbitrary character of MRS movement. Since the methods of solving this problem on the basis of satellite measurements at high intensity of natural and artificial radio interference (the methods of formation of which are constantly being improved) are not able to provide the required accuracy of the solution, the proposed approach is based on the use of autonomous means of measurement — inertial and non-inertial. But when using them, the problem of building and stochastic estimation of the general model of video camera motion arises, the complexity of which is determined by arbitrary motion of the video camera, random mast oscillations, measurement disturbances, etc. The problem of stochastic estimation of the general model of video camera motion arises. Due to the unsolved nature of this problem, the paper considers the synthesis of both the video camera motion model in the most general case and the stochastic estimation of its state parameters. The developed algorithm for joint estimation of the spatial orientation parameters of the video camera placed on the mast of the MRS is invariant to the nature of motion of the mast, the video camera, and the MRS itself, providing stability and the required accuracy of estimation under the most general assumptions about the nature of interference of the sensitive elements of the autonomous measuring complex used. The results of the numerical experiment allow us to conclude that the proposed approach can be practically applied to solve the problem of the current spatial orientation of MRS and video cameras placed on them using inexpensive autonomous measuring devices.

В настоящей работе рассматривается феноменологический алгоритм генерации морфологии глиальных клеток мозга — астроцитов, основанный на морфометрических данных протоплазматических астроцитов и общих тенденциях развития данного типа клеток in vivo, описанных в литературе. Мы адаптировали алгоритм пространственной колонизации (Space Colonization Algorithm, SCA) для процедурной генерации полной астроцитарной морфологии. Используемые в генерации аттракторные точки распределялись в пространственном объеме в соответствии с плотностью распределения синапсов в ткани гиппокампа на первой неделе постнатального развития мозга крысы. Нами были проанализированы и сопоставлены данные реконструкций астроцитарных морфологий на разных этапах развития мозга с использованием таких методик и параметров, как анализ Шолля, число точек ветвления, число терминалей, общая длина дерева и максимальный порядок ветвления. Используя данные морфометрического анализа протоплазматических астроцитов животных разных возрастов, были подобраны необходимые параметры генерации для получения наиболее реалистичных трехмерных моделей морфологии клеток. Мы показали, что разработанный нами алгоритм позволяет не только получить геометрию отдельных клеток, например, для задач вычислительной биологии, но и воссоздать феномен доменной организации клеточной популяции. Доменная организация в ходе генерации морфологий возникает из-за конкуренции клеток за территорию и присвоения их отростками уникальных аттракторных точек, которые становятся недоступными для других клеток и их отростков. Кроме того, нами было разработано дополнение оригинального алгоритма, позволяющее производить генерацию морфологии в две фазы, имитируя двухстадийное развитие структуры астроцитов на первой и третьей-четвертой неделях постнатального развития мозга крыс. Для достижения этого результата мы прибегаем к введению двух типов аттракторов, чтобы разделить две различные стратегии роста во времени: быстрое исследование пространства слабоветвящимися отростками и созревание сложной морфологии за счет обильного ветвления. Мы предполагаем, что модификация алгоритма с введением динамической генерации аттракторов может объяснить процесс формирования тонких структур астроцитарной клетки.

We examine a phenomenological algorithm for generating morphology of astrocytes, a major class of glial brain cells, based on morphometric data of rat brain protoplasmic astrocytes and observations of general cell development trends in vivo, based on current literature. We adapted the Space Colonization Algorithm (SCA) for procedural generation of astrocytic morphology from scratch. Attractor points used in generation were spatially distributed in the model volume according to the synapse distribution density in the rat hippocampus tissue during the first week of postnatal brain development. We analyzed and compared astrocytic morphology reconstructions at different brain development stages using morphometry estimation techniques such as Sholl analysis, number of bifurcations, number of terminals, total tree length, and maximum branching order. Using morphometric data from protoplasmic astrocytes of rats at different ages, we selected the necessary generation parameters to obtain the most realistic three-dimensional cell morphology models. We demonstrate that our proposed algorithm allows not only to obtain individual cell geometry but also recreate the phenomenon of tiling domain organization in the cell populations. In our algorithm tiling emerges due to the cell competition for territory and the assignment of unique attractor points to their processes, which then become unavailable to other cells and their processes. We further extend the original algorithm by splitting morphology generation in two phases, thereby simulating astrocyte tree structure development during the first and third-fourth weeks of rat postnatal brain development: rapid space exploration at the first stage and extensive branching at the second stage. To this end, we introduce two attractor types to separate two different growth strategies in time. We hypothesize that the extended algorithm with dynamic attractor generation can explain the formation process of fine astrocyte cell structures and maturation of astrocytic arborizations.

Перенос заряда в ДНК моделируется с помощью дискретной модели Холстейна «квантовая частица + классическая цепочка сайтов + взаимодействие». Влияние температуры термостата учитывается с помощью случайной силы, действующей на классические сайты (уравнение Ланжевена). Таким образом, динамика распространения заряда вдоль цепочки описывается системой ОДУ со случайной правой частью. Для интегрирования таких систем обычно применяют алгоритмы 1 или 2 порядка. Мы разработали смешанный алгоритм, имеющий 4 порядок точности по быстрым «квантовым» переменным (заметим, что в «квантовой» подсистеме должно соблюдаться условие: «сумма вероятностей нахождения заряда на сайте постоянна по времени») и 2 порядок по медленным «классическим» переменным, на которые действует случайная сила. Алгоритм позволяет считать на бóльших временах, чем стандартные. В качестве примера приведен модельный расчет развала полярона в однородной цепочке под действием температурных флуктуаций.

Charge transfer in DNA is simulated by a discrete Holstein model «quantum particle + classical site chain + interaction». Thermostat temperature is taken into account as stochastic force, which acts on classical sites (Langevin equation). Thus dynamics of charge migration along the chain is described by ODE system with stochastic right-hand side. To integrate the system numerically, algorithms of order 1 or 2 are usually applied. We developed «mixed» algorithm having 4th order of accuracy for fast «quantum» variables (note that in quantum subsystem the condition «sum of probabilities of charge being on site is time-constant» must be held), and 2nd order for slow classical variables, which are affecting by stochastic force. The algorithm allows us to calculate trajectories on longer time intervals as compared to standard algorithms. Model calculations of polaron disruption in homogeneous chain caused by temperature fluctuations are given as an example.

Предлагается метод автоматического выявления и диагностики сосудистых заболеваний сетчатки на ранних стадиях развития патологий. Метод опирается на новый биометрический подход, состоящий в использовании коэффициентов-признаков состояния сетчатки (здорового и патологического), вычисленных с использованием системы специальных концентрических окружностей. Новый метод позволяет на новом уровне оценить морфологический состав внутриглазных структур и выявить значимые признаки для диагностики развивающихся патологий.

The program for automatic revealing of threshold values for characterizing physiological state of vessels and detection of early stages of retina pathology is offered. The algorithm is based on checking character of crossing sites of vessel images with the "mask" consisting of concentric circumferences (the first circumference is imposed directly on the sclera capsules of an optic nerve disk). The new method allows revealing of a network of blood vessels and flanking zones and detection of initial stage of pathological changes in a retina by digital images.

В данной статье проанализирован опыт преподавания курса «Программирование на CUDA и OpenCL» для участников ежегодной межвузовской молодежной школы по высокопроизводительным вычислениям МФТИ-2010. В статье разобраны как содержимое лекций и семинарские задачи, так и особенности преподнесения материала. Обсуждаются результаты, полученные учащимися при выполнении практических задач. Приводится сравнение быстродействия различных алгоритмов реализации клеточных автоматов «игра “Жизнь”» с применением технологий CUDA и OpenCL.

In this article the experience of reading “CUDA and OpenCL programming” course during high perfomance computing summer school MIPT-2010 is analyzed. Content of lectures and practical tasks, as well as manner of presenting of the material are regarded. Performance issues of different algorithms implemented by students at practical training session are dicussed.

Динамика Ланжевена, метод Монте-Карло и моделирование молекулярной динамики в неявном растворителе требуют больших массивов случайных чисел на каждом шаге расчета. Мы исследовали два подхода в реализации генераторов на графических процессорах. Первый реализует последовательный алгоритм генератора на каждом потоке в отдельности. Второй основан на возможности взаимодействия между потоками и реализует общий алгоритм на всех потоках в целом. Мы покажем использование этих подходов на примере алгоритмов Ran 2, Hybrid Taus и Lagged Fibonacci. Для проверки случайности полученных чисел мы использовали разработанные генераторы при моделировании динамики Ланжевена N независимых гармонических осцилляторов в термостате. Это позволило нам оценить статистические характеристики генераторов. Мы также исследовали производительность, использование памяти и ускорение, получаемое при переносе алгоритма с центрального на графический процессор.

Langevin Dynamics, Monte Carlo, and all-atom Molecular Dynamics simulations in implicit solvent require a reliable source of pseudorandom numbers generated at each step of calculation. We present the two main approaches for implementation of pseudorandom number generators on a GPU. In the first approach, inherent in CPU-based calculations, one PRNG produces a stream of pseudorandom numbers in each thread of execution, whereas the second approach builds on the ability of different threads to communicate, thus, sharing random seeds across the entire device. We exemplify the use of these approaches through the development of Ran2, Hybrid Taus, and Lagged Fibonacci algorithms. As an application-based test of randomness, we carry out LD simulations of N independent harmonic oscillators coupled to a stochastic thermostat. This model allows us to assess statistical quality of pseudorandom numbers. We also profile performance of these generators in terms of the computational time, memory usage, and the speedup factor (CPU/GPU time).

Статья посвящена математическому моделированию процесса обессоливания природной воды методом термодистилляции. В статье приведены уравнения, позволяющие описать процессы пленочного течения и кипения воды, конденсации пара и поддержания вакуума. Представлен алгоритм расчета, реализованный в системе компьютерной математики MatLab и электронных таблицах Excel, и исходные данные, необходимые для расчета. Модель проверена на адекватность. Приведен расчет десятикорпусной дистилляционной установки. Результаты работы могут быть использованы при проектировании и оптимизации технологических режимов дистилляционных установок.

The article is dedicated to mathematic modeling of natural water desalination process by method of thermal distillation. The article gives the equations which allow describing the processes of film flowing and boiling of water, steam condensation and vacuum maintenance. The article presents the algorithm of calculation, implemented in MatLab computer mathematic system and Excel electronic tables, and the initial data required for the calculation. The model has been checked for adequacy. The calculation of ten-effect distillation system is given. The results of work can be used in design and optimization of process conditions for distillation systems.