Все выпуски
- 2025 Том 17
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
Метод контрастного семплирования для предсказания библиографических ссылок
Компьютерные исследования и моделирование, 2021, т. 13, № 6, с. 1317-1336В работе рассматривается задача поиска в научной статье фрагментов с недостающими библиографическими ссылками с помощью автоматической бинарной классификации. Для обучения модели предложен метод контрастного семплирования, новшеством которого является рассмотрение контекста ссылки с учетом границ фрагмента, максимально влияющего на вероятность нахождения в нем библиографической ссылки. Обучающая выборка формировалась из автоматически размеченных семплов — фрагментов из трех предложений с метками классов «без ссылки» и «со ссылкой», удовлетворяющих требованию контрастности: семплы разных классов дистанцируются в исходном тексте. Пространство признаков строилось автоматически по статистике встречаемости термов и расширялось за счет конструирования дополнительных признаков — выделенных в тексте сущностей ФИО, чисел, цитат и аббревиатур.
Проведена серия экспериментов на архивах научных журналов «Правоприменение» (273 статьи) и «Журнал инфектологии» (684 статьи). Классификация осуществлялась моделями Nearest Neighbours, RBF SVM, Random Forest, Multilayer Perceptron, с подбором оптимальных гиперпараметров для каждого классификатора.
Эксперименты подтвердили выдвинутую гипотезу. Наиболее высокую точность показал нейросетевой классификатор (95%), уступающий по скорости линейному, точность которого при контрастном семплировании также оказалась высока (91–94 %). Полученные значения превосходят результаты, опубликованные для задач NER и анализа тональности на данных со сравнимыми характеристиками. Высокая вычислительная эффективность предложенного метода позволяет встраивать его в прикладные системы и обрабатывать документы в онлайн-режиме.
Ключевые слова: контрастное семплирование, анализ цитирования, передискретизация данных, предсказание библиографических ссылок, текстовая классификация, искусственные нейронный сети.
Bibliographic link prediction using contrast resampling technique
Computer Research and Modeling, 2021, v. 13, no. 6, pp. 1317-1336The paper studies the problem of searching for fragments with missing bibliographic links in a scientific article using automatic binary classification. To train the model, we propose a new contrast resampling technique, the innovation of which is the consideration of the context of the link, taking into account the boundaries of the fragment, which mostly affects the probability of presence of a bibliographic links in it. The training set was formed of automatically labeled samples that are fragments of three sentences with class labels «without link» and «with link» that satisfy the requirement of contrast: samples of different classes are distanced in the source text. The feature space was built automatically based on the term occurrence statistics and was expanded by constructing additional features — entities (names, numbers, quotes and abbreviations) recognized in the text.
A series of experiments was carried out on the archives of the scientific journals «Law enforcement review» (273 articles) and «Journal Infectology» (684 articles). The classification was carried out by the models Nearest Neighbors, RBF SVM, Random Forest, Multilayer Perceptron, with the selection of optimal hyperparameters for each classifier.
Experiments have confirmed the hypothesis put forward. The highest accuracy was reached by the neural network classifier (95%), which is however not as fast as the linear one that showed also high accuracy with contrast resampling (91–94%). These values are superior to those reported for NER and Sentiment Analysis on comparable data. The high computational efficiency of the proposed method makes it possible to integrate it into applied systems and to process documents online.
-
Разработка и исследование алгоритмов машинного обучения для решения задачи классификации в публикациях Twitter
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 185-195Посты в социальных сетях способны как предсказывать движение финансового рынка, так и в некоторых случаях даже определять его направление. Анализ постов в Twitter способствует прогнозированию цен на криптовалюту. Специфика рассматриваемого сообщества заключается в особенной лексике. Так, в постах используются сленговые выражения, аббревиатуры и сокращения, наличие которых затрудняет векторизацию текстовых данных, в следствие чего рассматриваются методы предобработки такие, как лемматизация Stanza и применение регулярных выражений. В этой статье описываются простейшие модели машинного обучения, которые могут работать, несмотря на такие проблемы, как нехватка данных и короткие сроки прогнозирования. Решается задача бинарной текстовой классификации, в условиях которой слово рассматривается как элемент бинарного вектора единицы данных. Базисные слова определяются на основе частотного анализа упоминаний того или иного слова. Разметка составляется на основе свечей Binance с варьируемыми параметрами для более точного описания тренда изменения цены. В работе вводятся метрики, отражающие распределение слов в зависимости от их принадлежности к положительному или отрицательному классам. Для решения задачи классификации использовались dense-модель с подобранными при помощи Keras Tuner параметрами, логистическая регрессия, классификатор случайного леса, наивный байесовский классификатор, способный работать с малочисленной выборкой, что весьма актуально для нашей задачи, и метод k-ближайших соседей. Было проведено сравнение построенных моделей на основе метрики точности предсказанных меток. В ходе исследования было выяснено, что наилучшим подходом является использование моделей, которые предсказывают ценовые движения одной монеты. Наши модели имеют дело с постами, содержащими упоминания проекта LUNA, которого на данный момент уже не существует. Данный подход к решению бинарной классификации текстовых данных широко применяется для предсказания цены актива, тренда ее движения, что часто используется в автоматизированной торговле.
Ключевые слова: криптовалюты, Twitter, машинное обучение, обработка естественного языка, векторизация, dense модель, логистическая регрессия, случайный лес, KNN, наивный байесовский классификатор.
Development of and research on machine learning algorithms for solving the classification problem in Twitter publications
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 185-195Posts on social networks can both predict the movement of the financial market, and in some cases even determine its direction. The analysis of posts on Twitter contributes to the prediction of cryptocurrency prices. The specificity of the community is represented in a special vocabulary. Thus, slang expressions and abbreviations are used in posts, the presence of which makes it difficult to vectorize text data, as a result of which preprocessing methods such as Stanza lemmatization and the use of regular expressions are considered. This paper describes created simplest machine learning models, which may work despite such problems as lack of data and short prediction timeframe. A word is considered as an element of a binary vector of a data unit in the course of the problem of binary classification solving. Basic words are determined according to the frequency analysis of mentions of a word. The markup is based on Binance candlesticks with variable parameters for a more accurate description of the trend of price changes. The paper introduces metrics that reflect the distribution of words depending on their belonging to a positive or negative classes. To solve the classification problem, we used a dense model with parameters selected by Keras Tuner, logistic regression, a random forest classifier, a naive Bayesian classifier capable of working with a small sample, which is very important for our task, and the k-nearest neighbors method. The constructed models were compared based on the accuracy metric of the predicted labels. During the investigation we recognized that the best approach is to use models which predict price movements of a single coin. Our model deals with posts that mention LUNA project, which no longer exist. This approach to solving binary classification of text data is widely used to predict the price of an asset, the trend of its movement, which is often used in automated trading.
-
Моделирование транспортных потоков на основе квазигазодинамического подхода и теории клеточных автоматов с использованием суперкомпьютеров
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 175-194Целью исследования являются моделирование динамики автотранспортных потоков на транспортных сетях мегаполисов и систематизация современного состояния дел в этой области. Во введении указывается, что на первый план выходит развитие интеллектуальных транспортных систем, которые становятся неотъемлемой частью современных транспортных технологий. Основным ядром таких систем являются адекватные математические модели, максимально приближенные к реальности. Отмечается, что в связи с большим объемом вычислений необходимо использование суперкомпьютеров, следовательно, создание специальных пар аллельных алгоритмов. В начале статьи приводится современная классификация моделей, обсуждаются отличительные особенности каждого класса со ссылками на соответствующие примеры. Далее основное внимание уделяется созданным авторами статьи разработкам в области как макроскопического, так и микроскопического моделирования и определению места этих разработок в приведенной выше классификации. Макроскопическая модель основана на приближении сплошной среды и использует идеологию квазигазодинамических систем уравнений. Указаны ее достоинства по сравнению с существующими моделями этого класса. Система уравнений модели представлена как в одномерном варианте, но с возможностью исследования многополосного движения, так и в двумерном варианте, с введением понятия боковой скорости, то есть скорости перестроения из полосы в полосу. Второй вариант позволяет проводить вычисления в расчетной области, соответствующей реальной геометрии дороги. Представлены тестовые расчеты движения по дороге с локальным расширением и по дороге с системой светофоров с различными светофорными режимами. Расчеты позволили в первом случае сделать интересные выводы о влиянии расширения на пропускную способность дороги в целом, а во втором случае — выбрать оптимальный режим для получения эффекта «зеленой волны». Микроскопическая модель основана на теории клеточных автоматов и однополосной модели Нагеля – Шрекенберга и обобщена авторами на случай многополосного движения. В модели реализованы различные поведенческие стратегии водителей. В качестве теста моделируется движение на реальном участке транспортной сети в центре г. Москвы. Причем для грамотного прохождения транспортных узлов сети в соответствии с правилами движения реализованы специальные алгоритмы, адаптированные для параллельных вычислений. Тестовые расчеты выполнены на суперкомпьютере К-100 ЦКП ИПМ им. М. В. Келдыша РАН.
Ключевые слова: интеллектуальные транспортные системы, теория транспортныхп отоков, макроскопические и микроскопические модели, квазигазодинамическая система уравнений, клеточные автоматы, многополосное движение, параллельные вычисления.
Simulation of traffic flows based on the quasi-gasdynamic approach and the cellular automata theory using supercomputers
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 175-194The purpose of the study is to simulate the dynamics of traffic flows on city road networks as well as to systematize the current state of affairs in this area. The introduction states that the development of intelligent transportation systems as an integral part of modern transportation technologies is coming to the fore. The core of these systems contain adequate mathematical models that allow to simulate traffic as close to reality as possible. The necessity of using supercomputers due to the large amount of calculations is also noted, therefore, the creation of special parallel algorithms is needed. The beginning of the article is devoted to the up-to-date classification of traffic flow models and characterization of each class, including their distinctive features and relevant examples with links. Further, the main focus of the article is shifted towards the development of macroscopic and microscopic models, created by the authors, and determination of the place of these models in the aforementioned classification. The macroscopic model is based on the continuum approach and uses the ideology of quasi-gasdynamic systems of equations. Its advantages are indicated in comparison with existing models of this class. The model is presented both in one-dimensional and two-dimensional versions. The both versions feature the ability to study multi-lane traffic. In the two-dimensional version it is made possible by introduction of the concept of “lateral” velocity, i. e., the speed of changing lanes. The latter version allows for carrying out calculations in the computational domain which corresponds to the actual geometry of the road. The section also presents the test results of modeling vehicle dynamics on a road fragment with the local widening and on a road fragment with traffic lights, including several variants of traffic light regimes. In the first case, the calculations allow to draw interesting conclusions about the impact of a road widening on a road capacity as a whole, and in the second case — to select the optimal regime configuration to obtain the “green wave” effect. The microscopic model is based on the cellular automata theory and the single-lane Nagel – Schreckenberg model and is generalized for the multi-lane case by the authors of the article. The model implements various behavioral strategies of drivers. Test computations for the real transport network section in Moscow city center are presented. To achieve an adequate representation of vehicles moving through the network according to road traffic regulations the authors implemented special algorithms adapted for parallel computing. Test calculations were performed on the K-100 supercomputer installed in the Centre of Collective Usage of KIAM RAS.
-
Динамика активности в виртуальных сетях: сравнение модели распространения эпидемии и модели возбудимой среды
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1485-1499Модели распространения эпидемий широко применяются для моделирования социальной активности, например распространения слухов или паники. С другой стороны, для моделирования распространения активности традиционно используются модели возбудимых сред. Проведено моделирование распространения активности в виртуальном сообществе в рамках двух моделей: модели распространения эпидемий SIRS и модели возбудимой среды Винера – Розенблюта. Использованы сетевые версии этих моделей. Сеть предполагалась неоднородной: каждый элемент сети обладает индивидуальным набором характеристик, что соответствует различным психологическим типам членов сообщества. Структура виртуальной сети полагается соответствующей безмасштабной сети. Моделирование проводилось на безмасштабных сетях с различными значениями средней степени вершин. Дополнительно рассмотрен частный случай — полный граф, соответствующий узкой профессиональной группе, когда каждый член группы взаимодействует с каждым. Участники виртуального сообщества могут находиться в одном из трех состояний: 1) потенциальная готовность к восприятию определенной информации; 2) активный интерес к этой информации; 3) полное безразличие к этой информации. Эти состояния вполне соответствуют состояниям, которые обычно используют в моделях распространения эпидемий: 1) восприимчивый к ин- фекции субъект, 2) больной, 3) переболевший и более невосприимчивый к инфекции в силу приобретенного иммунитета или смерти от болезни. Сопоставление двух моделей показало их близость как на уровне формулировки основных положений, так и на уровне возможных режимов. Распространение активности по сети аналогично распространению инфекционных заболеваний. Показано, что активность в виртуальной сети может испытывать колебания или затухать.
Ключевые слова: модель Винера – Розенблюта, модель SIRS, клеточный автомат, безмасштабная сеть, возбудимая среда, моделирование распространения эпидемий, дифференциально-разностные уравнения.
Activity dynamics in virtual networks: an epidemic model vs an excitable medium model
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1485-1499Epidemic models are widely used to mimic social activity, such as spreading of rumors or panic. Simultaneously, models of excitable media are traditionally used to simulate the propagation of activity. Spreading of activity in the virtual community was simulated within two models: the SIRS epidemic model and the Wiener – Rosenblut model of the excitable media. We used network versions of these models. The network was assumed to be heterogeneous, namely, each element of the network has an individual set of characteristics, which corresponds to different psychological types of community members. The structure of a virtual network relies on an appropriate scale-free network. Modeling was carried out on scale-free networks with various values of the average degree of vertices. Additionally, a special case was considered, namely, a complete graph corresponding to a close professional group, when each member of the group interacts with each. Participants in a virtual community can be in one of three states: 1) potential readiness to accept certain information; 2) active interest to this information; 3) complete indifference to this information. These states correspond to the conditions that are usually used in epidemic models: 1) susceptible to infection, 2) infected, 3) refractory (immune or death due to disease). A comparison of the two models showed their similarity both at the level of main assumptions and at the level of possible modes. Distribution of activity over the network is similar to the spread of infectious diseases. It is shown that activity in virtual networks may experience fluctuations or decay.
-
Решение негладких распределенных минимаксных задач с применением техники сглаживания
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 469-480Распределенные седловые задачи имеют множество различных приложений в оптимизации, теории игр и машинном обучении. Например, обучение генеративных состязательных сетей может быть представлено как минимаксная задача, а также задача обучения линейных моделей с регуляризатором может быть переписана как задача поиска седловой точки. В данной статье исследуются распределенные негладкие седловые задачи с липшицевыми целевыми функциями (возможно, недифференцируемыми). Целевая функция представляется в виде суммы нескольких слагаемых, распределенных между группой вычислительных узлов. Каждый узел имеет доступ к локально хранимой функции. Узлы, или агенты, обмениваются информацией через некоторую коммуникационную сеть, которая может быть централизованной или децентрализованной. В централизованной сети есть универсальный агрегатор информации (сервер или центральный узел), который напрямую взаимодействует с каждым из агентов и, следовательно, может координировать процесс оптимизации. В децентрализованной сети все узлы равноправны, серверный узел отсутствует, и каждый агент может общаться только со своими непосредственными соседями.
Мы предполагаем, что каждый из узлов локально хранит свою целевую функцию и может вычислить ее значение в заданных точках, т. е. имеет доступ к оракулу нулевого порядка. Информация нулевого порядка используется, когда градиент функции является трудно вычислимым, а также когда его невозможно вычислить или когда функция не дифференцируема. Например, в задачах обучения с подкреплением необходимо сгенерировать траекторию для оценки текущей стратегии. Этот процесс генерирования траектории и оценки политики можно интерпретировать как вычисление значения функции. Мы предлагаем подход, использующий технику сглаживания, т. е. применяющий метод первого порядка к сглаженной версии исходной функции. Можно показать, что стохастический градиент сглаженной функции можно рассматривать как случайную двухточечную аппроксимацию градиента исходной функции. Подходы, основанные на сглаживании, были изучены для распределенной минимизации нулевого порядка, и наша статья обобщает метод сглаживания целевой функции на седловые задачи.
Ключевые слова: выпуклая оптимизация, распределенная оптимизация.
Nonsmooth Distributed Min-Max Optimization Using the Smoothing Technique
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 469-480Distributed saddle point problems (SPPs) have numerous applications in optimization, matrix games and machine learning. For example, the training of generated adversarial networks is represented as a min-max optimization problem, and training regularized linear models can be reformulated as an SPP as well. This paper studies distributed nonsmooth SPPs with Lipschitz-continuous objective functions. The objective function is represented as a sum of several components that are distributed between groups of computational nodes. The nodes, or agents, exchange information through some communication network that may be centralized or decentralized. A centralized network has a universal information aggregator (a server, or master node) that directly communicates to each of the agents and therefore can coordinate the optimization process. In a decentralized network, all the nodes are equal, the server node is not present, and each agent only communicates to its immediate neighbors.
We assume that each of the nodes locally holds its objective and can compute its value at given points, i. e. has access to zero-order oracle. Zero-order information is used when the gradient of the function is costly, not possible to compute or when the function is not differentiable. For example, in reinforcement learning one needs to generate a trajectory to evaluate the current policy. This policy evaluation process can be interpreted as the computation of the function value. We propose an approach that uses a smoothing technique, i. e., applies a first-order method to the smoothed version of the initial function. It can be shown that the stochastic gradient of the smoothed function can be viewed as a random two-point gradient approximation of the initial function. Smoothing approaches have been studied for distributed zero-order minimization, and our paper generalizes the smoothing technique on SPPs.
Keywords: convex optimization, distributed optimization. -
Модели пространственной селекции при диаграммообразовании на основе позиционирования в сверхплотных сетях радиодоступа миллиметрового диапазона
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 195-216В работе решается задача установления зависимости потенциала пространственной селекции полезных и мешающих сигналов по критерию отношения «сигнал/помеха» от погрешности позиционирования устройств при диаграммообразовании по местоположению на базовой станции, оборудованной антенной решеткой. Конфигурируемые параметры моделирования включают планарную антенную решетку с различным числом антенных элементов, траекторию движения, а также точность определения местоположения по метрике среднеквадратического отклонения оценки координат устройств. В модели реализованы три алгоритма управления формой диаграммы направленности: 1) управление положением одного максимума и одного нуля; 2) управление формой и шириной главного лепестка; 3) адаптивная схема. Результаты моделирования показали, что первый алгоритм наиболее эффективен при числе элементов антенной решетки не более 5 и погрешности позиционирования не более 7 м, а второй алгоритм целесообразно использовать при числе элементов антенной решетки более 15 и погрешности позиционирования более 5 м. Адаптивное диаграммообразование реализуется по обучающему сигналу и обеспечивает оптимальную пространственную селекцию полезных и мешающих сигналов без использования данных о местоположении, однако отличается высокой сложностью аппаратной реализации. Скрипты разработанных моделей доступны для верификации. Полученные результаты могут использоваться при разработке научно обоснованных рекомендаций по управлению лучом в сверхплотных сетях радиодоступа миллиметрового диапазона пятого и последующих поколений.
Ключевые слова: диаграммообразование, управление лучом, антенная решетка, отношение «сигнал/помеха», позиционирование, оценка координат.
Models for spatial selection during location-aware beamforming in ultra-dense millimeter wave radio access networks
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 195-216The work solves the problem of establishing the dependence of the potential for spatial selection of useful and interfering signals according to the signal-to-interference ratio criterion on the positioning error of user equipment during beamforming by their location at a base station, equipped with an antenna array. Configurable simulation parameters include planar antenna array with a different number of antenna elements, movement trajectory, as well as the accuracy of user equipment location estimation using root mean square error of coordinate estimates. The model implements three algorithms for controlling the shape of the antenna radiation pattern: 1) controlling the beam direction for one maximum and one zero; 2) controlling the shape and width of the main beam; 3) adaptive beamforming. The simulation results showed, that the first algorithm is most effective, when the number of antenna array elements is no more than 5 and the positioning error is no more than 7 m, and the second algorithm is appropriate to employ, when the number of antenna array elements is more than 15 and the positioning error is more than 5 m. Adaptive beamforming is implemented using a training signal and provides optimal spatial selection of useful and interfering signals without device location data, but is characterized by high complexity of hardware implementation. Scripts of the developed models are available for verification. The results obtained can be used in the development of scientifically based recommendations for beam control in ultra-dense millimeter-wave radio access networks of the fifth and subsequent generations.
-
Обнаружение точек разворота на финансовых данных с помощью методов глубокого машинного обучения
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 555-575Цель настоящего исследования заключается в разработке методологии выявления точек разворота на временных рядах, включая в том числе финансовые данные. Теоретической основой исследования послужили работы, посвященные анализу структурных изменений на финансовых рынках, описанию предложенных алгоритмов обнаружения точек разворота и особенностям построения моделей классического и глубокого машинного обучения для решения данного типа задач. Разработка подобного инструментария представляет интерес для инвесторов и других заинтересованных сторон, предоставляя дополнительные подходы к эффективному анализу финансовых рынков и интерпретации доступных данных.
Для решения поставленной задачи была обучена нейронная сеть. В ходе исследования было рассмотрено несколько способов формирования тренировочных выборок, которые различаются характером статистических параметров. Для повышения качества обучения и получения более точных результатов была разработана методология формирования признаков, служащих входными данными для нейронной сети. В свою очередь, эти признаки формируются на основе анализа математического ожидания и стандартного отклонения временных рядов на некоторых интервалах. Также исследуется возможностьих комбинации для достижения более стабильных результатов.
Результаты модельных экспериментов анализируются с целью сравнения эффективности предложенной модели с другими существующими алгоритмами обнаружения точек разворота, получившими широкое применение в решении практических задач. В качестве тренировочных и тестовых данных используется специально созданный датасет, генерация которого осуществляется с использованием собственных методов. Кроме того, обученная на различных признаках модельте стируется на дневных данных индекса S&P 500 в целях проверки ее эффективности в реальном финансовом контексте.
По мере описания принципов работы модели рассматриваются возможности для дальнейшего ее усовершенствования: модернизации структуры предложенного механизма, генерации тренировочных данных и формирования признаков. Кроме того, перед авторами стоит задача развития существующих концепций определения точек изменения в режиме реального времени.
Ключевые слова: точки разворота, временные ряды, финансовые рынки, машинное обучение, нейронные сети.
Changepoint detection on financial data using deep learning approach
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 555-575The purpose of this study is to develop a methodology for change points detection in time series, including financial data. The theoretical basis of the study is based on the pieces of research devoted to the analysis of structural changes in financial markets, description of the proposed algorithms for detecting change points and peculiarities of building classical and deep machine learning models for solving this type of problems. The development of such tools is of interest to investors and other stakeholders, providing them with additional approaches to the effective analysis of financial markets and interpretation of available data.
To address the research objective, a neural network was trained. In the course of the study several ways of training sample formation were considered, differing in the nature of statistical parameters. In order to improve the quality of training and obtain more accurate results, a methodology for feature generation was developed for the formation of features that serve as input data for the neural network. These features, in turn, were derived from an analysis of mathematical expectations and standard deviations of time series data over specific intervals. The potential for combining these features to achieve more stable results is also under investigation.
The results of model experiments were analyzed to compare the effectiveness of the proposed model with other existing changepoint detection algorithms that have gained widespread usage in practical applications. A specially generated dataset, developed using proprietary methods, was utilized as both training and testing data. Furthermore, the model, trained on various features, was tested on daily data from the S&P 500 index to assess its effectiveness in a real financial context.
As the principles of the model’s operation are described, possibilities for its further improvement are considered, including the modernization of the proposed model’s structure, optimization of training data generation, and feature formation. Additionally, the authors are tasked with advancing existing concepts for real-time changepoint detection.
-
Графовая сверточная нейронная сеть для быстрого и точного дизассемблирования инструкций x86
Компьютерные исследования и моделирование, 2024, т. 16, № 7, с. 1779-1792Дизассемблирование двоичных файлов x86 — важная, но нетривиальная задача. Дизассемблирование трудно выполнить корректно без отладочной информации, особенно на архитектуре x86, в которой инструкции переменного размера чередуются с данными. Более того, наличие непрямых переходов в двоичном коде добавляет еще один уровень сложности. Непрямые переходы препятствуют возможности рекурсивного обхода, распространенного метода дизассемблирования, успешно идентифицировать все инструкции в коде. Следовательно, дизассемблирование такого кода становится еще более сложным и требовательным, что еще больше подчеркивает проблемы, с которыми приходится сталкиваться в этой области. Многие инструменты, включая коммерческие, такие как IDA Pro, с трудом справляются с точным дизассемблированием x86. В связи с этим был проявлен определенный интерес к разработке более совершенного решения с использованием методов машинного обучения, которое потенциально может охватывать базовые, независимые от компилятора паттерны, присущие машинному коду, сгенерированному компилятором. Методы машинного обучения могут превосходитьпо точности классические инструменты. Их разработка также может занимать меньше времени по сравнению с эвристическими методами, реализуемыми вручную, что позволяет переложитьо сновную нагрузку на сбор большого представительного набора данных исполняемых файлов с отладочной информацией. Мы усовершенствовали существующую архитектуру на основе рекуррентных графовых сверточных нейронных сетей, которая строит граф управления и потоков для дизассемблирования надмножеств инструкций. Мы расширили граф информацией о потоках данных: при кодировании входной программы, мы добавляем ребра потока управления и зависимостей от регистров, вдохновленные вероятностным дизассемблированием. Мы создали открытый набор данных для идентификации инструкций x86, основанный на комбинации набора данных ByteWeight и нескольких пакетов Debian с открытым исходным кодом. По сравнению с IDA Pro, современным коммерческим инструментом, наш подход обеспечивает более высокую точность при сохранении высокой производительности в наших тестах. Он также хорошо себя показывает по сравнению с существующими подходами машинного обучения, такими как DeepDi.
Fast and accurate x86 disassembly using a graph convolutional network model
Computer Research and Modeling, 2024, v. 16, no. 7, pp. 1779-1792Disassembly of stripped x86 binaries is an important yet non-trivial task. Disassembly is difficult to perform correctly without debug information, especially on x86 architecture, which has variablesized instructions interleaved with data. Moreover, the presence of indirect jumps in binary code adds another layer of complexity. Indirect jumps impede the ability of recursive traversal, a common disassembly technique, to successfully identify all instructions within the code. Consequently, disassembling such code becomes even more intricate and demanding, further highlighting the challenges faced in this field. Many tools, including commercial ones such as IDA Pro, struggle with accurate x86 disassembly. As such, there has been some interest in developing a better solution using machine learning (ML) techniques. ML can potentially capture underlying compiler-independent patterns inherent for the compiler-generated assembly. Researchers in this area have shown that it is possible for ML approaches to outperform the classical tools. They also can be less timeconsuming to develop compared to manual heuristics, shifting most of the burden onto collecting a big representative dataset of executables with debug information. Following this line of work, we propose an improvement of an existing RGCN-based architecture, which builds control and flow graph on superset disassembly. The enhancement comes from augmenting the graph with data flow information. In particular, in the embedding we add Jump Control Flow and Register Dependency edges, inspired by Probabilistic Disassembly. We also create an open-source x86 instruction identification dataset, based on a combination of ByteWeight dataset and a selection open-source Debian packages. Compared to IDA Pro, a state of the art commercial tool, our approach yields better accuracy, while maintaining great performance on our benchmarks. It also fares well against existing machine learning approaches such as DeepDi.
-
Оценка вероятностной модели трудового процесса сотрудника
Компьютерные исследования и моделирование, 2012, т. 4, № 4, с. 969-975В статье представлена математическая модель оценки трудового процесса, построенного на основе байесовской сети. Основное внимание уделено оценке качественных характеристик продукта труда. Использование описанной модели предполагается на предприятиях с системой управления трудовыми процессами.
Ключевые слова: оценка труда, моделирование трудового процесса, байесовская сеть, вероятностное моделирование.
Estimation of probabilistic model of employee labor process
Computer Research and Modeling, 2012, v. 4, no. 4, pp. 969-975Просмотров за год: 1.The mathematical estimation model for employee labor process, built on the basis of Bayesian network is presented in the article. The great attention is given to the estimation of qualitative characteristics of labor product. Usage of described model is supposed in the companies with the management employee workflows system.
-
Определение добровольных вычислений: формальный подход
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 565-571Добровольные вычисления напоминают частные desktop гриды, тогда как desktop гриды не полностью эквивалентны добровольным вычислениям. Известны несколько попыток отличить и категоризировать их, используя как неофициальные, так и формальные методы. Однако, наиболее формальные подходы моделируют специфическое промежуточное ПО (middleware) и не сосредотачиваются на общем понятии добровольного или desktop грид. Эта работа и есть попытка формализовать их характеристики и отношения. Для этой цели применяется формальное моделирование, которое пытается охватить семантику их функциональных возможностей — в противоположность сравнениям, основанным на свойствах, особенностях, и т. п. Мы применяем этот метод моделирования с целью формализовать добровольную вычислительную систему Открытой Инфраструктуры Беркли для сетевых вычислений (BOINC) [Anderson D. P., 2004].
Defining volunteer computing: a formal approach
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 565-571Volunteer computing resembles private desktop grids whereas desktop grids are not fully equivalent to volunteer computing. There are several attempts to distinguish and categorize them using informal and formal methods. However, most formal approaches model a particular middleware and do not focus on the general notion of volunteer or desktop grid computing. This work makes an attempt to formalize their characteristics and relationship. To this end formal modeling is applied that tries to grasp the semantic of their functionalities — as opposed to comparisons based on properties, features, etc. We apply this modeling method to formalize the Berkeley Open Infrastructure for Network Computing (BOINC) [Anderson D. P., 2004] volunteer computing system.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"