Все выпуски

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

Реконструкция траекторий заряженных частиц в трековых детекторах является ключевой проблемой анализа экспериментальных данных для физики высоких энергий и ядерной физики. Поток данных в современных экспериментах растет день ото дня, и традиционные методы трекинга уже не в состоянии соответствовать этим объемам данных по скорости обработки. Для решения этой проблемы нами были разработаны два нейросетевых алгоритма, использующих методы глубокого обучения, для локальной (каждый трек в отдельности) и глобальной (все треки в событии) реконструкции треков применительно к данным трекового GEM-детектора эксперимента BM@N ОИЯИ. Преимущество глубоких нейронных сетей обусловлено их способностью к обнаружению скрытых нелинейных зависимостей в данных и возможностью параллельного выполнения операций линейной алгебры, лежащих в их основе.

В данной статье приведено описание исследования по обобщению этих алгоритмов и их адаптации к применению для внутреннего поддетектора CGEM (BESIII ИФВЭ, Пекин). Нейросетевая модель RDGraphNet для глобальной реконструкции треков, разработанная на основе реверсного орграфа, успешно адаптирована. После обучения на модельных данных тестирование показало обнадеживающие результаты: для распознавания треков полнота (recall) составила 98% и точность (precision) — 86%. Однако адаптация «локальной» нейросетевой модели TrackNETv2 потребовала учета специфики цилиндрического детектора CGEM (BESIII), состоящего всего из трех детектирующих слоев, и разработки дополнительного нейроклассификатора для отсева ложных треков. Полученная программа TrackNETv2.1 протестирована в отладочном режиме. Значение полноты на первом этапе обработки составило 99%. После применения классификатора точность составила 77%, при незначительном снижении показателя полноты до 94%. Данные результаты предполагают дальнейшее совершенствование модели локального трекинга.

The reconstruction of charged particle trajectories in tracking detectors is a key problem in the analysis of experimental data for high energy and nuclear physics.

The amount of data in modern experiments is so large that classical tracking methods such as Kalman filter can not process them fast enough. To solve this problem, we have developed two neural network algorithms of track recognition, based on deep learning architectures, for local (track by track) and global (all tracks in an event) tracking in the GEM tracker of the BM@N experiment at JINR (Dubna). The advantage of deep neural networks is the ability to detect hidden nonlinear dependencies in data and the capability of parallel execution of underlying linear algebra operations.

In this work we generalize these algorithms to the cylindrical GEM inner tracker of BESIII experiment. The neural network model RDGraphNet for global track finding, based on the reverse directed graph, has been successfully adapted. After training on Monte Carlo data, testing showed encouraging results: recall of 98% and precision of 86% for track finding.

The local neural network model TrackNETv2 was also adapted to BESIII CGEM successfully. Since the tracker has only three detecting layers, an additional neuro-classifier to filter out false tracks have been introduced. Preliminary tests demonstrated the recall value at the first stage of 99%. After applying the neuro-classifier, the precision was 77% with a slight decrease of the recall to 94%. This result can be improved after the further model optimization.

В данной статье проводится анализ проблемы распознавания знаков дорожного движения в интеллектуальных транспортных системах. Рассмотрены основные понятия компьютерного зрения и задачи распознавания образов. Самым эффективным и популярным подходом к решению задач анализа и распознавания изображений на данный момент является нейросетевой, а среди возможных нейронных сетей лучше всего показала себя искусственная нейронная сеть сверточной архитектуры. Для решения задачи классификации при распознавании дорожных знаков использованы такие функции активации, как Relu и SoftMax. В работе предложена технология распознавания дорожных знаков. Выбор подхода для решения поставленной задачи на основе сверточной нейронной сети обусловлен возможностью эффективно решать задачу выделения существенных признаков и классификации изображений. Проведена подготовка исходных данных для нейросетевой модели, сформирована обучающая выборка. В качестве платформы для разработки интеллектуальной нейросетевой модели распознавания использован облачный сервис Google Colaboratory с подключенными библиотеками для глубокого обучения TensorFlow и Keras. Разработана и протестирована интеллектуальная модель распознавания знаков дорожного движения. Использованная сверточная нейронная сеть включала четыре каскада свертки и подвыборки. После сверточной части идет полносвязная часть сети, которая отвечает за классификацию. Для этого используются два полносвязных слоя. Первый слой включает 512 нейронов с функцией активации Relu. Затем идет слой Dropout, который используется для уменьшения эффекта переобучения сети. Выходной полносвязный слой включает четыре нейрона, что соответствует решаемой задаче распознавания четырех видов знаков дорожного движения. Оценка эффективности нейросетевой модели распознавания дорожных знаков методом трехблочной кроссалидации показала, что ее ошибка минимальна, следовательно, в большинстве случаев новые образы будут распознаваться корректно. Кроме того, у модели отсутствуют ошибки первого рода, а ошибка второго рода имеет низкое значение и лишь при сильно зашумленном изображении на входе.

This work analyzes the problem of traffic signs recognition in intelligent transport systems. The basic concepts of computer vision and image recognition tasks are considered. The most effective approach for solving the problem of analyzing and recognizing images now is the neural network method. Among all kinds of neural networks, the convolutional neural network has proven itself best. Activation functions such as Relu and SoftMax are used to solve the classification problem when recognizing traffic signs. This article proposes a technology for recognizing traffic signs. The choice of an approach for solving the problem based on a convolutional neural network due to the ability to effectively solve the problem of identifying essential features and classification. The initial data for the neural network model were prepared and a training sample was formed. The Google Colaboratory cloud service with the external libraries for deep learning TensorFlow and Keras was used as a platform for the intelligent system development. The convolutional part of the network is designed to highlight characteristic features in the image. The first layer includes 512 neurons with the Relu activation function. Then there is the Dropout layer, which is used to reduce the effect of overfitting the network. The output fully connected layer includes four neurons, which corresponds to the problem of recognizing four types of traffic signs. An intelligent traffic sign recognition system has been developed and tested. The used convolutional neural network included four stages of convolution and subsampling. Evaluation of the efficiency of the traffic sign recognition system using the three-block cross-validation method showed that the error of the neural network model is minimal, therefore, in most cases, new images will be recognized correctly. In addition, the model has no errors of the first kind, and the error of the second kind has a low value and only when the input image is very noisy.

Прогнозирование новых свойств лекарственных средств является основной задачей в рамках решения проблем полифармакологии, репозиционирования, а также изучения биологически активных веществ на доклиническом этапе. Идентификация фармакологических эффектов и взаимодействий «препарат – мишень» с использованием машинного обучения (включая методы глубокого обучения) набирает популярность в последние годы.

Цель работы состояла в разработке метода распознавания психотропных эффектов и механизма действия (взаимодействий препарата с мишенью) на основании анализа биоэлектрической активности мозга с применением технологий искусственного интеллекта.

Выполнялась регистрация электроэнцефалографических (ЭЭГ) сигналов крыс (4 канала, частота дискретизации — 500 Гц) после введения психотропных препаратов (габапентин, диазепам, карбамазепин, прегабалин, эсликарбазепин, феназепам, ареколин, коразол, пикротоксин, пилокарпин, хлоралгидрат). Сигналы (эпохи продолжительностью 2 с) преобразовывались в изображения $(2000 \times 4)$ и затем поступали на вход автоэнкодера. Выходные данные слоя «бутылочного горлышка» классифицировались и кластеризовались (с применением алгоритма t-SNE), а затем вычислялись расстояния между кластерами в пространстве параметров. В качестве альтернативны использовался подход, основанный на извлечении признаков с размерной редукцией при помощи метода главных компонент и классификацией методом опорных векторов с ядерной функцией (kSVM). Модели валидировались путем 5-кратной кроссвалидации.

Точность классификации для 11 препаратов, полученная в ходе кросс-валидации, достигала $0,580 \pm 0,021$, что значительно превышает точность случайного классификатора, которая составляла $0,091 \pm 0,045$ $(p < 0,0001)$, и точность kSVM, равную $0,441 \pm 0,035$ $(p < 0,05)$. Получены t-SNE-карты параметров «бутылочного горлышка» сигналов интракраниальной ЭЭГ. Определена относительная близость кластеров сигналов в параметрическом пространстве.

В настоящем исследовании представлен оригинальный метод биопотенциал-опосредованного прогнозирования эффектов и механизма действия (взаимодействия лекарственного средства с мишенью). Метод использует сверточные нейронные сети в сочетании с модифицированным алгоритмом избирательной редукции параметров. ЭЭГ-сигналы, зарегистрированные после введения препаратов, были представлены в едином пространстве параметров в сжатой форме. Полученные данные указывают на возможность распознавания паттернов нейронального отклика в ответ на введение различных психотропных препаратов с помощью предложенного нейросетевого классификатора и кластеризации.

Predicting novel drug properties is fundamental to polypharmacology, repositioning, and the study of biologically active substances during the preclinical phase. The use of machine learning, including deep learning methods, for the identification of drug – target interactions has gained increasing popularity in recent years.

The objective of this study was to develop a method for recognizing psychotropic effects and drug mechanisms of action (drug – target interactions) based on an analysis of the bioelectrical activity of the brain using artificial intelligence technologies.

Intracranial electroencephalographic (EEG) signals from rats were recorded (4 channels at a sampling frequency of 500 Hz) after the administration of psychotropic drugs (gabapentin, diazepam, carbamazepine, pregabalin, eslicarbazepine, phenazepam, arecoline, pentylenetetrazole, picrotoxin, pilocarpine, chloral hydrate). The signals were divided into 2-second epochs, then converted into $2000\times 4$ images and input into an autoencoder. The output of the bottleneck layer was subjected to classification and clustering using t-SNE, and then the distances between resulting clusters were calculated. As an alternative, an approach based on feature extraction with dimensionality reduction using principal component analysis and kernel support vector machine (kSVM) classification was used. Models were validated using 5-fold cross-validation.

The classification accuracy obtained for 11 drugs during cross-validation was $0.580 \pm 0.021$, which is significantly higher than the accuracy of the random classifier $(0.091 \pm 0.045, p < 0.0001)$ and the kSVM $(0.441 \pm 0.035, p < 0.05)$. t-SNE maps were generated from the bottleneck parameters of intracranial EEG signals. The relative proximity of the signal clusters in the parametric space was assessed.

The present study introduces an original method for biopotential-mediated prediction of effects and mechanism of action (drug – target interaction). This method employs convolutional neural networks in conjunction with a modified selective parameter reduction algorithm. Post-treatment EEGs were compressed into a unified parameter space. Using a neural network classifier and clustering, we were able to recognize the patterns of neuronal response to the administration of various psychotropic drugs.

В исследовании мы сосредоточились на задаче классификации невербальной речи для разработки интерфейса «мозг–компьютер» (ИМК) на основе электроэнцефалографии (ЭЭГ), который будет способен помочь людям с ограниченными возможностями и расширить возможности человека в повседневной жизни. Ранее наши исследования показали, что беззвучная речь для некоторых слов приводит к почти идентичным распределениям ЭЭГ-данных. Это явление негативно влияет на точность классификации нейросетевой модели. В этой статье предлагается метод обработки данных, который различает статисти- чески удаленные и неразделимые классы данных. Применение предложенного подхода позволяет достичь цели максимального увеличения смысловой нагрузки словаря, используемого в ИМК.

Кроме того, мы предлагаем статистический прогностический критерий точности бинарной классификации слов в словаре. Такой критерий направлен на оценку нижней и верхней границ поведения классификаторов только путем измерения количественных статистических свойств данных (в частности, с использованием метода Колмогорова – Смирнова). Показано, что более высокие уровни точности классификации могут быть достигнуты за счет применения предложенного прогностического критерия, позволяющего сформировать оптимизированный словарь с точки зрения семантической нагрузки для ИМК на основе ЭЭГ. Кроме того, использование такого обучающего набора данных для задач классификации по словарю обеспечивает статистическую удаленность классов за счет учета семантических и фонетических свойств соответствующих слов и улучшает поведение классификации моделей распознавания беззвучной речи.

In our research, we focus on the problem of classification for silent speech recognition to develop a brain– computer interface (BCI) based on electroencephalographic (EEG) data, which will be capable of assisting people with mental and physical disabilities and expanding human capabilities in everyday life. Our previous research has shown that the silent pronouncing of some words results in almost identical distributions of electroencephalographic signal data. Such a phenomenon has a suppressive impact on the quality of neural network model behavior. This paper proposes a data processing technique that distinguishes between statistically remote and inseparable classes in the dataset. Applying the proposed approach helps us reach the goal of maximizing the semantic load of the dictionary used in BCI.

Furthermore, we propose the existence of a statistical predictive criterion for the accuracy of binary classification of the words in a dictionary. Such a criterion aims to estimate the lower and the upper bounds of classifiers’ behavior only by measuring quantitative statistical properties of the data (in particular, using the Kolmogorov – Smirnov method). We show that higher levels of classification accuracy can be achieved by means of applying the proposed predictive criterion, making it possible to form an optimized dictionary in terms of semantic load for the EEG-based BCIs. Furthermore, using such a dictionary as a training dataset for classification problems grants the statistical remoteness of the classes by taking into account the semantic and phonetic properties of the corresponding words and improves the classification behavior of silent speech recognition models.

Используя анализ данных и применение нейронных сетей в нашей работе, мы выявили закономерности электрической активности мозга, характеризующие COVID-19. Нас интересовали частотные, временные и пространственные паттерны электрической активности у людей, перенесших COVID-19. Мы обнаружили преобладание паттернов $\alpha$-ритма в левом полушарии у здоровых людей по сравнению с людьми, переболевшими COVID-19. Более того, мы наблюдаем значительное снижение вклада левого полушария в области речевого центра у людей, перенесших COVID-19, при выполнении речевых заданий. Наши результаты показывают, что сигнал у здоровых людей более пространственно локализован и синхронизирован между полушариями при выполнении задач по сравнению с людьми, перенесшими COVID-19. Мы также наблюдали снижение низких частот в обоих полушариях после COVID-19. Электроэнцефалографические (ЭЭГ) паттерны COVID-19 обнаруживаются в необычной частотной области. То, что обычно считается шумом в ЭЭГ-данных, несет в себе информацию, по которой можно определить, переболел ли человек COVID-19. Эти паттерны можно интерпретировать как признаки десинхронизации полушарий, преждевременного старения мозга и стресса при выполнении простых задач по сравнению с людьми без COVID-19 в анамнезе. В нашей работе мы показали применимость нейронных сетей для выявления долгосрочных последствий COVID-19 на данные ЭЭГ. Кроме того, наши данные подтвердили гипотезу о тяжести последствий COVID-19, обнаруженных по ЭЭГ-данным. Представленные результаты функциональной активности мозга позволяют использовать методы машинного обучения на простых неинвазивных интерфейсах «мозг–компьютер» для выявления пост-COVID-синдрома и прогресса в нейрореабилитации.

We found a predominance of α-rhythm patterns in the left hemisphere in healthy people compared to people with COVID-19 history. Moreover, we observe a significant decrease in the left hemisphere contribution to the speech center area in people who have undergone COVID-19 when performing speech tasks.

Our findings show that the signal in healthy subjects is more spatially localized and synchronized between hemispheres when performing tasks compared to people who recovered from COVID-19. We also observed a decrease in low frequencies in both hemispheres after COVID-19.

EEG-patterns of COVID-19 are detectable in an unusual frequency domain. What is usually considered noise in electroencephalographic (EEG) data carries information that can be used to determine whether or not a person has had COVID-19. These patterns can be interpreted as signs of hemispheric desynchronization, premature brain ageing, and more significant brain strain when performing simple tasks compared to people who did not have COVID-19.

In our work, we have shown the applicability of neural networks in helping to detect the long-term effects of COVID-19 on EEG-data. Furthermore, our data following other studies supported the hypothesis of the severity of the long-term effects of COVID-19 detected on the EEG-data of EEG-based BCI. The presented findings of functional activity of the brain– computer interface make it possible to use machine learning methods on simple, non-invasive brain–computer interfaces to detect post-COVID syndrome and develop progress in neurorehabilitation.

Цель настоящего исследования заключается в разработке методологии выявления точек разворота на временных рядах, включая в том числе финансовые данные. Теоретической основой исследования послужили работы, посвященные анализу структурных изменений на финансовых рынках, описанию предложенных алгоритмов обнаружения точек разворота и особенностям построения моделей классического и глубокого машинного обучения для решения данного типа задач. Разработка подобного инструментария представляет интерес для инвесторов и других заинтересованных сторон, предоставляя дополнительные подходы к эффективному анализу финансовых рынков и интерпретации доступных данных.

Для решения поставленной задачи была обучена нейронная сеть. В ходе исследования было рассмотрено несколько способов формирования тренировочных выборок, которые различаются характером статистических параметров. Для повышения качества обучения и получения более точных результатов была разработана методология формирования признаков, служащих входными данными для нейронной сети. В свою очередь, эти признаки формируются на основе анализа математического ожидания и стандартного отклонения временных рядов на некоторых интервалах. Также исследуется возможностьих комбинации для достижения более стабильных результатов.

Результаты модельных экспериментов анализируются с целью сравнения эффективности предложенной модели с другими существующими алгоритмами обнаружения точек разворота, получившими широкое применение в решении практических задач. В качестве тренировочных и тестовых данных используется специально созданный датасет, генерация которого осуществляется с использованием собственных методов. Кроме того, обученная на различных признаках модельте стируется на дневных данных индекса S&P 500 в целях проверки ее эффективности в реальном финансовом контексте.

По мере описания принципов работы модели рассматриваются возможности для дальнейшего ее усовершенствования: модернизации структуры предложенного механизма, генерации тренировочных данных и формирования признаков. Кроме того, перед авторами стоит задача развития существующих концепций определения точек изменения в режиме реального времени.

The purpose of this study is to develop a methodology for change points detection in time series, including financial data. The theoretical basis of the study is based on the pieces of research devoted to the analysis of structural changes in financial markets, description of the proposed algorithms for detecting change points and peculiarities of building classical and deep machine learning models for solving this type of problems. The development of such tools is of interest to investors and other stakeholders, providing them with additional approaches to the effective analysis of financial markets and interpretation of available data.

To address the research objective, a neural network was trained. In the course of the study several ways of training sample formation were considered, differing in the nature of statistical parameters. In order to improve the quality of training and obtain more accurate results, a methodology for feature generation was developed for the formation of features that serve as input data for the neural network. These features, in turn, were derived from an analysis of mathematical expectations and standard deviations of time series data over specific intervals. The potential for combining these features to achieve more stable results is also under investigation.

The results of model experiments were analyzed to compare the effectiveness of the proposed model with other existing changepoint detection algorithms that have gained widespread usage in practical applications. A specially generated dataset, developed using proprietary methods, was utilized as both training and testing data. Furthermore, the model, trained on various features, was tested on daily data from the S&P 500 index to assess its effectiveness in a real financial context.

As the principles of the model’s operation are described, possibilities for its further improvement are considered, including the modernization of the proposed model’s structure, optimization of training data generation, and feature formation. Additionally, the authors are tasked with advancing existing concepts for real-time changepoint detection.