Все выпуски

Обнаружение противоречивости в онлайн-дискурсе имеет важное значение для управления связями с общественностью, что позволяет информировать различные процессы от законотворчества до предпринимательства. В данной работе предлагается подход к обнаружению противоречивости в онлайн-контенте на основе анализа выражаемых эмоций. Противоречивость онлайн-контента определяется как феномен провоцирования разногласий и конфликтов в обсуждениях. Данная работа развивает предыдущие семантические методы, анализируя численные оценки именно эмоционального окраса сообщений. В качестве инструментов обнаружения противоречивости рассматриваются современные языковые модели для распознавания эмоций и распознавания именованных сущностей. Результаты работы этих моделей были агрегированы по сущностям для оценки их эмоциональной коннотации. Был предложен показатель эмоциональной дивергенции, основанный на дисперсии эмоций, для количественной оценки противоречивости контента. Затем сущности с достаточно высокой эмоциональной дивергенцией по отношению к специфике коммуникаций в рамках сообщества были отобраны в качестве маркеров противоречивости. Проведены эксперименты на данных Reddit, связанных с политическим кризисом в Шри-Ланке 2022 года, которые подтверждают возможность показателя эмоциональной дивергенции обнаруживать противоречивость. Всего было собрано два набора данных с использованием различных методологий: одна была направлена на извлечение более ранних сообщений, а другая была предназначена для сбора более свежих записей. Собранные данные включали обсуждения политики, общественных деятелей, организаций и локаций, связанных с обозначенным кризисом. При измерении на данных с ручной разметкой, предложенный метод достиг значения полноты 0,705 и точности около 0,496 для первого набора данных, в то время как для второго набора были зафиксированы значения полноты 0,716 и точности 0,436. Основными факторами, ограничивающими точность, стали качество низлежащих моделей и ложные срабатывания: широко обсуждаемые, но непротиворечивые маркеры. Наконец, было установлено, что изучение типичного распределения эмоций в контенте социальных медиа может быть полезным для повышения качества обнаружения противоречивости.

Detecting controversy in online discussions is critical for managing public relations, as it helps inform various processes from policymaking to business. This work aims to expand approaches to online controversy detection based on the expressed emotions. Controversy was defined as an online content phenomenon of provoking disagreements and conflict. This study builds upon prior semantic methods by analyzing estimates of emotional connotations of messages. Modern language models for emotion recognition and named entity recognition are explored as tools of controversy detection. The outputs of these models were aggregated by entity to estimate the entity’s emotional connotation. The emotional divergence score based on the dispersion of emotions was proposed to quantify controversy in user content. Then, entities with sufficiently high emotional divergence relative to the domain of discussions were selected as markers of controversy. A case study of Reddit data related to Sri-Lankan 2022 political crisis was conducted, showing the capabilities of emotional divergence score in controversy detection. A total of two datasets were collected with different methodologies: one aimed at collecting earlier messages and another aimed at collecting more recent ones. The collected data contained discussions of policy, public figures, organizations and locations tied to the crisis. When measured on manually annotated data samples, the proposed method achieved a recall value of 0.705 and a precision value close to 0.496 for the first dataset, while recall of 0.716 and precision of 0.436 were recorded for the second dataset. The main factors that limit the precision were found to be the quality of underlying models and false positives: highly discussed non-controversial markers. Lastly, it was identified that a study of regular emotional distribution of social media content may be helpful for improving controversy detection quality.

Рассматривается задача автоматизации коррекции документов в формате LaTeX. Каждый документ представляется в виде синтаксического дерева. С помощью модифицированного алгоритма Zhang-Shasha строится отображение вершин дерева изначального документа в вершины дерева отредактированного документа, соответствующее минимальному редактирующему расстоянию. Отображения вершины в вершину составляют обучающую выборку, по которой генерируются правила замены для автоматической коррекции. Для каждого правила собирается статистика его применимости к отредактированным документам. На ее основе производится оценка качества правил и их улучшение.

The problem is to automate the correction of LaTeX documents. Each document is represented as a parse tree. The modified Zhang-Shasha algorithm is used to construct a mapping of tree vertices of the original document to the tree vertices of the edited document, which corresponds to the minimum editing distance. Vertex to vertex maps form the training set, which is used to generate rules for automatic correction. The statistics of the applicability to the edited documents is collected for each rule. It is used for quality assessment and improvement of the rules.

Цель настоящего исследования заключается в разработке методологии выявления точек разворота на временных рядах, включая в том числе финансовые данные. Теоретической основой исследования послужили работы, посвященные анализу структурных изменений на финансовых рынках, описанию предложенных алгоритмов обнаружения точек разворота и особенностям построения моделей классического и глубокого машинного обучения для решения данного типа задач. Разработка подобного инструментария представляет интерес для инвесторов и других заинтересованных сторон, предоставляя дополнительные подходы к эффективному анализу финансовых рынков и интерпретации доступных данных.

Для решения поставленной задачи была обучена нейронная сеть. В ходе исследования было рассмотрено несколько способов формирования тренировочных выборок, которые различаются характером статистических параметров. Для повышения качества обучения и получения более точных результатов была разработана методология формирования признаков, служащих входными данными для нейронной сети. В свою очередь, эти признаки формируются на основе анализа математического ожидания и стандартного отклонения временных рядов на некоторых интервалах. Также исследуется возможностьих комбинации для достижения более стабильных результатов.

Результаты модельных экспериментов анализируются с целью сравнения эффективности предложенной модели с другими существующими алгоритмами обнаружения точек разворота, получившими широкое применение в решении практических задач. В качестве тренировочных и тестовых данных используется специально созданный датасет, генерация которого осуществляется с использованием собственных методов. Кроме того, обученная на различных признаках модельте стируется на дневных данных индекса S&P 500 в целях проверки ее эффективности в реальном финансовом контексте.

По мере описания принципов работы модели рассматриваются возможности для дальнейшего ее усовершенствования: модернизации структуры предложенного механизма, генерации тренировочных данных и формирования признаков. Кроме того, перед авторами стоит задача развития существующих концепций определения точек изменения в режиме реального времени.

The purpose of this study is to develop a methodology for change points detection in time series, including financial data. The theoretical basis of the study is based on the pieces of research devoted to the analysis of structural changes in financial markets, description of the proposed algorithms for detecting change points and peculiarities of building classical and deep machine learning models for solving this type of problems. The development of such tools is of interest to investors and other stakeholders, providing them with additional approaches to the effective analysis of financial markets and interpretation of available data.

To address the research objective, a neural network was trained. In the course of the study several ways of training sample formation were considered, differing in the nature of statistical parameters. In order to improve the quality of training and obtain more accurate results, a methodology for feature generation was developed for the formation of features that serve as input data for the neural network. These features, in turn, were derived from an analysis of mathematical expectations and standard deviations of time series data over specific intervals. The potential for combining these features to achieve more stable results is also under investigation.

The results of model experiments were analyzed to compare the effectiveness of the proposed model with other existing changepoint detection algorithms that have gained widespread usage in practical applications. A specially generated dataset, developed using proprietary methods, was utilized as both training and testing data. Furthermore, the model, trained on various features, was tested on daily data from the S&P 500 index to assess its effectiveness in a real financial context.

As the principles of the model’s operation are described, possibilities for its further improvement are considered, including the modernization of the proposed model’s structure, optimization of training data generation, and feature formation. Additionally, the authors are tasked with advancing existing concepts for real-time changepoint detection.

Современная цифровизация городов происходит по законам, которые пока не четко определены. Сложность понимания этих законов связана с высокой неопределенностью городских событий и трудностей формирования их адекватных аналитических моделей. Для обоснования целесообразных управляющих решений по цифровизации городов в этих условиях необходимо наличие эффективных методов обработки многомерных временных рядов. Ставится задача по разработке одного из перспективных методов. Основу предлагаемого метода составляют новая модель нейросетевой системы управления и алгоритмы реализации ее основных функций. К отличительным особенностям модели относятся как структурные аспекты, так и новые правила нейросетевого обоснования управляющих решений по цифровизации города с обучением применяемой рекуррентной нейронной сети без учителя. Эта модель предусматривает адаптивное нейросетевое управление цифровизацией города по скользящей программе. Предложены новые правила прямого и обратного преобразования многомерных временных рядов, моделирования работы потоковой импульсной рекуррентной нейронной сети, поиска целесообразных программ цифровизации города. Предложенные правила позволяют исключить потери информации в такой сети и обеспечить ее устойчивое функционирование. Отражены особенности работы этой нейронной сети при обосновании целесообразных программ цифровизации города. Обоснованы требования к программной реализации предложенного метода. Приведены результаты экспериментов на данных по Санкт-Петербургу. В качестве этих данных выступали месячные объемы отгруженных компьютеров, электронных и оптических изделий, а также месячные объемы отгруженной продукции по всем обрабатывающим производствам за вычетом значений первого ряда на интервале с января 2021 года по декабрь 2025 года. Прогнозирование эффективности управляющих решений по цифровизации города осуществлялось по суммарным объемам отгруженной продукции на горизонт с января по декабрь 2026 года. Показано, что применение предложенного метода позволяет расширить возможности по адаптивному обоснованию целесообразных управляющих решений по цифровизации города со снижением затрат на компьютерное моделирование.

The modern digitalization of cities occurs according to laws that are not yet clearly defined. The difficulty in understanding these laws is due to the high uncertainty of urban events and the difficulties in developing adequate analytical models for them. To substantiate management decisions on city digitalization in these conditions, effective methods for processing multidimensional time series are necessary. The objective is to develop a promising method. The proposed method is based on a new model of a neural network control system and algorithms for implementing its main functions. Distinctive features of the model include both structural aspects and new rules for neural network-based substantiation of management decisions on city digitalization, using unsupervised training of the applied recurrent neural network. This model provides for adaptive neural network management of city digitalization according to a sliding program. New rules are proposed for the forward and backward transformation of multidimensional time series, modeling the operation of a streaming recurrent neural network, and identifying feasible programs for city digitalization. By adhering to the proposed rules, it is possible not only to eliminate information loss in such a network but also to ensure its stable operation. The features of this neural network’s operation in substantiating feasible urban digitalization programs are described. The requirements for the software implementation of the proposed method are substantiated. The results of experiments using data for St. Petersburg are presented. These data included monthly volumes of shipped computers, electronic and optical products, as well as monthly volumes of shipped products for all manufacturing industries minus the first-time series values ??for the period from January 2021 to December 2025. The effectiveness of management decisions on the city’s digitalization was predicted based on the total volumes of shipped products to the horizon from January to December 2026. It is shown that the application of the proposed method allows for expanded capabilities for adaptively substantiating feasible management decisions on the city’s digitalization while reducing computer modeling costs.