Все выпуски
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
Метод контрастного семплирования для предсказания библиографических ссылок
Компьютерные исследования и моделирование, 2021, т. 13, № 6, с. 1317-1336В работе рассматривается задача поиска в научной статье фрагментов с недостающими библиографическими ссылками с помощью автоматической бинарной классификации. Для обучения модели предложен метод контрастного семплирования, новшеством которого является рассмотрение контекста ссылки с учетом границ фрагмента, максимально влияющего на вероятность нахождения в нем библиографической ссылки. Обучающая выборка формировалась из автоматически размеченных семплов — фрагментов из трех предложений с метками классов «без ссылки» и «со ссылкой», удовлетворяющих требованию контрастности: семплы разных классов дистанцируются в исходном тексте. Пространство признаков строилось автоматически по статистике встречаемости термов и расширялось за счет конструирования дополнительных признаков — выделенных в тексте сущностей ФИО, чисел, цитат и аббревиатур.
Проведена серия экспериментов на архивах научных журналов «Правоприменение» (273 статьи) и «Журнал инфектологии» (684 статьи). Классификация осуществлялась моделями Nearest Neighbours, RBF SVM, Random Forest, Multilayer Perceptron, с подбором оптимальных гиперпараметров для каждого классификатора.
Эксперименты подтвердили выдвинутую гипотезу. Наиболее высокую точность показал нейросетевой классификатор (95%), уступающий по скорости линейному, точность которого при контрастном семплировании также оказалась высока (91–94 %). Полученные значения превосходят результаты, опубликованные для задач NER и анализа тональности на данных со сравнимыми характеристиками. Высокая вычислительная эффективность предложенного метода позволяет встраивать его в прикладные системы и обрабатывать документы в онлайн-режиме.
Ключевые слова: контрастное семплирование, анализ цитирования, передискретизация данных, предсказание библиографических ссылок, текстовая классификация, искусственные нейронный сети.
Bibliographic link prediction using contrast resampling technique
Computer Research and Modeling, 2021, v. 13, no. 6, pp. 1317-1336The paper studies the problem of searching for fragments with missing bibliographic links in a scientific article using automatic binary classification. To train the model, we propose a new contrast resampling technique, the innovation of which is the consideration of the context of the link, taking into account the boundaries of the fragment, which mostly affects the probability of presence of a bibliographic links in it. The training set was formed of automatically labeled samples that are fragments of three sentences with class labels «without link» and «with link» that satisfy the requirement of contrast: samples of different classes are distanced in the source text. The feature space was built automatically based on the term occurrence statistics and was expanded by constructing additional features — entities (names, numbers, quotes and abbreviations) recognized in the text.
A series of experiments was carried out on the archives of the scientific journals «Law enforcement review» (273 articles) and «Journal Infectology» (684 articles). The classification was carried out by the models Nearest Neighbors, RBF SVM, Random Forest, Multilayer Perceptron, with the selection of optimal hyperparameters for each classifier.
Experiments have confirmed the hypothesis put forward. The highest accuracy was reached by the neural network classifier (95%), which is however not as fast as the linear one that showed also high accuracy with contrast resampling (91–94%). These values are superior to those reported for NER and Sentiment Analysis on comparable data. The high computational efficiency of the proposed method makes it possible to integrate it into applied systems and to process documents online.
-
Исследование гидродинамической активации тромбоцитов в артериовенозных фистулах для гемодиализа
Компьютерные исследования и моделирование, 2023, т. 15, № 3, с. 703-721Методами математического моделирования изучена гидродинамическая активация тромбоцитов в артериовенозных фистулах, используемых для проведения гемодиализа. Цель работы — найти те конфигурации артериовенозных фистул, риск активации в которых снижен при типичных для фистул скоростей течения. В рамках развитого подхода условием гидродинамической активации считалось превышение кумулятивным напряжением сдвига определенного порога. Величина порога зависела от степени мультимерности макромолекул фактора фон Виллебранда, играющих роль гидродинамических сенсоров у тромбоцитов. В работе было изучено влияние ряда представляющих интерес параметров артериовенозных фистул, таких как величина анастомозного угла, интенсивность кровотока, а также мультимерность макромолекул фактора фон Виллебранда, на активацию тромбоцитов. Построены параметрические диаграммы, позволяющие выделять области параметров, соответствующие наличию или отсутствию гидродинамической активации тромбоцитов. Получены скейлинговые соотношения, характеризующие критические кривые на параметрических диаграммах. Анализ влияния величины анастомозного угла на гидродинамическую активацию тромбоцитов показал, что тупые анастомозные углы должны в меньшей мере приводить к активации, чем острые. Исследование различных типов соединения артерий и вен в артериовенозных фистулах показало, что к числу наиболее безопасных относится конфигурация «конец вены в конец артерии». Для всех исследованных конфигураций артериовенозных фистул критические кривые, разделяющие области на параметрических диаграммах, являются монотонно убывающими функциями от степени мультимерности фактора фон Виллебранда. Выяснилось, что интенсивность кровотока через фистульную вену оказывает существенное влияние на вероятность запуска тромбообразования, в то время как направление течения через дистальную артерию значимо не сказывается на активации тромбоцитов. Полученные результаты позволяют определять конфигурации фистул, наиболее безопасные с точки зрения запуска тромбообразования. Авторы полагают, что результаты работы могут представлять интерес для врачей, выполняющих хирургические операции по созданию артериовенозных фистул для гемодиализа. В заключении обсуждается ряд клинических приложений результатов.
Ключевые слова: математическое моделирование, артериовенозная фистула, напряжение сдвига, активация тромбоцитов, фактор фон Виллебранда.
Investigation of shear-induced platelet activation in arteriovenous fistulas for haemodialysis
Computer Research and Modeling, 2023, v. 15, no. 3, pp. 703-721Numerical modeling of shear-induced platelet activation in haemodialysis arteriovenous fistulas was carried out in this work. The goal was to investigate the mechanisms of threshold shear-induced platelet activation in fistulas. For shear-induced platelet activation to take place, shear stress accumulated by platelets along corresponding trajectories in blood flow had to exceed a definite threshold value. The threshold value of cumulative shear stress was supposed to depend on the multimer size of von Willebrand factor macromolecules acting as hydrodynamic sensors for platelets. The effect of arteriovenous fistulas parameters, such as the anastomotic angle, blood flow rate, and the multimer size of von Willebrand factor macromolecules, on platelet activation risk was studied. Parametric diagrams have been constructed that make it possible to distinguish the areas of parameters corresponding to the presence or absence of shear-induced platelet activation. Scaling relations that approximate critical curves on parametric diagrams were obtained. Analysis showed that threshold fistula flow rate is higher for obtuse anastomotic angle than for sharp ones. This means that a fistula with obtuse angle can be used in wider flow rate range without risk of platelet activation. In addition, a study of different anastomosis configurations of arteriovenous fistulas showed that the configuration “end of vein to end of artery” is among the safest. For all the investigated anastomosis configurations, the critical curves on the parametric diagrams were monotonically decreasing functions of von Willebrand factor multimer size. It was shown that fistula flow rate should have a significant impact on the probability of thrombus formation initiation, while the direction of flow through the distal artery did not affect platelet activation. The obtained results allowed to determine the safest fistula configurations with respect to thrombus formation triggering. The authors believe that the results of the work may be of interest to doctors performing surgical operations for creation of arteriovenous fistulas for haemodialysis. In the final section of the work, possible clinical applications of the obtained results by means of mathematical modeling are discussed.
-
Статистический анализ биграмм специализированных текстов
Компьютерные исследования и моделирование, 2020, т. 12, № 1, с. 243-254Метод спектрального анализа стохастической матрицы применяется для построения индикатора, позволяющего определять тематику научных текстов без использования ключевых слов. Эта матрица представляет собой матрицу условных вероятностей биграмм, построенную по статистике используемых в тексте символов алфавита без учета пробелов, цифр и знаков препинания. Научные тексты классифицируются по взаимному расположению инвариантных подпространств матрицы условных вероятностей пар буквосочетаний. Индикатор разделения — величина косинуса угла между правым и левым собственными векторами, отвечающими максимальному и минимальному собственным значениям. Вычислительный алгоритм использует специальное представление параметра дихотомии, в качестве которого выступает интеграл от нормы квадрата резольвенты стохастической матрицы биграмм по окружности заданного радиуса в комплексной плоскости. Стремление интеграла в бесконечность свидетельствует о приближении контура интегрирования к собственному значению матрицы. В работе приведены типовые распределения индикатора идентификации специальностей. Для статистического анализа были проанализированы диссертации по основным 19 специальностям ВАК без учета классификации внутри специальности, по 20 текстов на специальность. Выяснилось, что эмпирические распределения косинуса угла для физико-математических и гуманитарных специальностей не имеют общего носителя, поэтому могут быть формально разделены по значению этого индикатора без ошибки. Хотя корпус текстов был не особенно большой, тем не менее при произвольном отборе диссертаций ошибка идентификации на уровне 2 % представляется очень хорошим результатом по сравнению с методами, основанными на семантическом анализе. Также выяснилось, что можно составить паттерн текста по каждой из специальностей в виде эталонной матрицы биграмм, по близости к которой в норме суммируемых функций можно безошибочно идентифицировать тематику написанного научного произведения, не используя ключевые слова. Предложенный метод можно использовать и в качестве сравнительного индикатора большей или меньшей строгости научного текста или как индикатор соответствия текста определенному научному уровню.
Ключевые слова: стохастическая матрица, спектральный портрет, статистический индикатор, научный текст.
Statistical analysis of bigrams of specialized texts
Computer Research and Modeling, 2020, v. 12, no. 1, pp. 243-254The method of the stochastic matrix spectrum analysis is used to build an indicator that allows to determine the subject of scientific texts without keywords usage. This matrix is a matrix of conditional probabilities of bigrams, built on the statistics of the alphabet characters in the text without spaces, numbers and punctuation marks. Scientific texts are classified according to the mutual arrangement of invariant subspaces of the matrix of conditional probabilities of pairs of letter combinations. The separation indicator is the value of the cosine of the angle between the right and left eigenvectors corresponding to the maximum and minimum eigenvalues. The computational algorithm uses a special representation of the dichotomy parameter, which is the integral of the square norm of the resolvent of the stochastic matrix of bigrams along the circumference of a given radius in the complex plane. The tendency of the integral to infinity testifies to the approximation of the integration circuit to the eigenvalue of the matrix. The paper presents the typical distribution of the indicator of identification of specialties. For statistical analysis were analyzed dissertations on the main 19 specialties without taking into account the classification within the specialty, 20 texts for the specialty. It was found that the empirical distributions of the cosine of the angle for the mathematical and Humanities specialties do not have a common domain, so they can be formally divided by the value of this indicator without errors. Although the body of texts was not particularly large, nevertheless, in the case of arbitrary selection of dissertations, the identification error at the level of 2 % seems to be a very good result compared to the methods based on semantic analysis. It was also found that it is possible to make a text pattern for each of the specialties in the form of a reference matrix of bigrams, in the vicinity of which in the norm of summable functions it is possible to accurately identify the theme of the written scientific work, without using keywords. The proposed method can be used as a comparative indicator of greater or lesser severity of the scientific text or as an indicator of compliance of the text to a certain scientific level.
-
Модели борьбы с силовыми актами в морском пространстве
Компьютерные исследования и моделирование, 2020, т. 12, № 4, с. 907-920Моделирование борьбы с террористическими, пиратскими и разбойными актами на море является актуальной научной задачей в силу распространенности силовых актов и недостаточного количества работ по данной проблематике. Действия пиратов и террористов разнообразны. С использованием судна-базы они могут нападать на суда на удалении до 450–500 миль от побережья. Выбрав цель, они ее преследуют и с применением оружия идут на абордаж. Действия по освобождению судна, захваченного пиратами или террористами, включают: блокирование судна, прогноз мест возможного нахождения пи- ратов на судне, проникновение (с борта на борт, по воздуху или из-под воды) и зачистка помещений судна. Анализ специальной литературы по действиям пиратов и террористов показал, что силовой акт (и действия по его нейтрализации) состоит из двух этапов: во-первых, это блокирование судна, заключающееся в принуждении к его остановке, и, во-вторых, нейтрализация команды (группы террористов, пиратов), включая проникновение на судно (корабль) и его зачистку. Этапам цикла поставлены в соответствие показатели — вероятность блокирования и вероятность нейтрализации. Переменными модели силового акта являются количество судов (кораблей, катеров) у нападающих и обороняющихся, а также численность группы захвата нападающих и экипажа судна — жертвы атаки. Параметры модели (показатели корабельного и боевого превосходства) оценены методом максимального правдоподобия с использованием международной базы по инцидентам на море. Значения названных параметров равны 7.6–8.5. Столь высокие значения параметров превосходства отражают возможности сторон по действиям в силовых актах. Предложен и статистически обоснован аналитический метод расчета параметров превосходства. В модели учитываются следующие показатели: возможности сторон по обнаружению противника, скоростные и маневренные характеристики судов, высота судна и характеристики средств абордажа, характеристики оружия и средств защиты и др. С использованием модели Г. Беккера и теории дискретного выбора оценена вероятность отказа от силового акта. Значимость полученных моделей для борьбы с силовыми актами в морском пространстве заключается в возможности количественного обоснования мер по защите судна от пиратских и террористических атак и мер сдерживания, направленных на предотвращение атак (наличие на борту судна вооруженной охраны, помощь военных кораблей и вертолетов).
Ключевые слова: математическая модель, пираты, морские террористы, силовой акт, блокирование, нейтрализация, вероятностная модель, оценка параметров.
Mathematical models of combat and military operations
Computer Research and Modeling, 2020, v. 12, no. 4, pp. 907-920Modeling the fight against terrorist, pirate and robbery acts at sea is an urgent scientific task due to the prevalence of force acts and the insufficient number of works on this issue. The actions of pirates and terrorists are diverse. Using a base ship, they can attack ships up to 450–500 miles from the coast. Having chosen the target, they pursue it and use the weapons to board the ship. Actions to free a ship captured by pirates or terrorists include: blocking the ship, predicting where pirates might be on the ship, penetrating (from board to board, by air or from under water) and cleaning up the ship’s premises. An analysis of the special literature on the actions of pirates and terrorists showed that the act of force (and actions to neutralize it) consists of two stages: firstly, blocking the vessel, which consists in forcing it to stop, and secondly, neutralizing the team (terrorist groups, pirates), including penetration of a ship (ship) and its cleaning. The stages of the cycle are matched by indicators — the probability of blocking and the probability of neutralization. The variables of the act of force model are the number of ships (ships, boats) of the attackers and defenders, as well as the strength of the capture group of the attackers and the crew of the ship - the victim of the attack. Model parameters (indicators of naval and combat superiority) were estimated using the maximum likelihood method using an international database of incidents at sea. The values of these parameters are 7.6–8.5. Such high values of superiority parameters reflect the parties' ability to act in force acts. An analytical method for calculating excellence parameters is proposed and statistically substantiated. The following indicators are taken into account in the model: the ability of the parties to detect the enemy, the speed and maneuverability characteristics of the vessels, the height of the vessel and the characteristics of the boarding equipment, the characteristics of weapons and protective equipment, etc. Using the Becker model and the theory of discrete choice, the probability of failure of the force act is estimated. The significance of the obtained models for combating acts of force in the sea space lies in the possibility of quantitative substantiation of measures to protect the ship from pirate and terrorist attacks and deterrence measures aimed at preventing attacks (the presence of armed guards on board the ship, assistance from warships and helicopters).
-
Определение автора текста методом сегментации
Компьютерные исследования и моделирование, 2022, т. 14, № 5, с. 1199-1210В работе описывается метод распознавания авторов литературных текстов по близости фрагментов, на которые разделен отдельный текст, к эталону автора. Эталоном является эмпирическое распределение частот буквосочетаний, построенное по обучающей выборке, куда вошли экспертно отобранные достоверно известные произведения данного автора. Совокупность эталонов разных авторов образует библиотеку, внутри которой и решается задача об идентификации автора неизвестного текста. Близость между текстами понимается в смысле нормы в L1 для вектора частот буквосочетаний, который строится для каждого фрагмента и для текста в целом. Автором неизвестного текста назначается тот, эталон которого чаще всего выбирается в качестве ближайшего для набора фрагментов, на которые разделен текст. Длина фрагмента оптимизируется исходя из принципа максимального различия расстояний от фрагментов до эталонов в задаче распознавания «свой–чужой». Тестирование метода проведено на корпусе отечественных и зарубежных (в переводе) авторов. Были собраны 1783 текста 100 авторов суммарным объемом примерно 700 млн знаков. Чтобы исключить тенденциозность отбора авторов, рассматривались авторы, фамилии которых начинались на одну и ту же букву (в данном случае Л). Ошибка идентификации по биграммам составила 12%. Наряду с достаточно высокой точностью данный метод обладает еще одним важным свойством: он позволяет оценить вероятность того, что эталон автора рассматриваемого текста в библиотеке отсутствует. Эта вероятность может быть оценена по результатам статистики ближайших эталонов для малых фрагментов текста. В работе исследуются также статистические цифровые портреты писателей: это совместные эмпирические распределения вероятности того, что некоторая доля текста идентифицируется на заданном уровне доверия. Практическая важность этих статистик в том, что носители соответствующих распределений практически не пересекаются для своих и чужих эталонов, что позволяет распознать эталонное распределение буквосочетаний на высоком уровне доверия.
Ключевые слова: эмпирическое распределение частот, биграммы, идентификация автора, литературный текст, ближайший эталон.
Identification of the author of the text by segmentation method
Computer Research and Modeling, 2022, v. 14, no. 5, pp. 1199-1210The paper describes a method for recognizing authors of literary texts by the proximity of fragments into which a separate text is divided to the standard of the author. The standard is the empirical frequency distribution of letter combinations, built on a training sample, which included expertly selected reliably known works of this author. A set of standards of different authors forms a library, within which the problem of identifying the author of an unknown text is solved. The proximity between texts is understood in the sense of the norm in L1 for the frequency vector of letter combinations, which is constructed for each fragment and for the text as a whole. The author of an unknown text is assigned the one whose standard is most often chosen as the closest for the set of fragments into which the text is divided. The length of the fragment is optimized based on the principle of the maximum difference in distances from fragments to standards in the problem of recognition of «friend–foe». The method was tested on the corpus of domestic and foreign (translated) authors. 1783 texts of 100 authors with a total volume of about 700 million characters were collected. In order to exclude the bias in the selection of authors, authors whose surnames began with the same letter were considered. In particular, for the letter L, the identification error was 12%. Along with a fairly high accuracy, this method has another important property: it allows you to estimate the probability that the standard of the author of the text in question is missing in the library. This probability can be estimated based on the results of the statistics of the nearest standards for small fragments of text. The paper also examines statistical digital portraits of writers: these are joint empirical distributions of the probability that a certain proportion of the text is identified at a given level of trust. The practical importance of these statistics is that the carriers of the corresponding distributions practically do not overlap for their own and other people’s standards, which makes it possible to recognize the reference distribution of letter combinations at a high level of confidence.
-
Оценка качества кластеризации панельных данных с использованием методов Монте-Карло (на примере данных российской региональной экономики)
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1501-1513В работе рассматривается метод исследования панельных данных, основанный на использовании агломеративной иерархической кластеризации — группировки объектов на основании сходства и разли- чия их признаков в иерархию вложенных друг в друга кластеров. Применялись 2 альтернативных способа вычисления евклидовых расстояний между объектами — расстояния между усредненными по интервалу наблюдений значениями и расстояния с использованием данных за все рассматриваемые годы. Сравнивались 3 альтернативных метода вычисления расстояний между кластерами. В первом случае таким расстоянием считается расстояние между ближайшими элементами из двух кластеров, во втором — среднее по парам элементов, в третьем — расстояние между наиболее удаленными элементами. Исследована эффективность использования двух индексов качества кластеризации — индекса Данна и Силуэта для выбора оптимального числа кластеров и оценки статистической значимости полученных решений. Способ оценивания статистической достоверности кластерной структуры заключался в сравнении качества кластеризации, на реальной выборке с качеством кластеризаций на искусственно сгенерированных выборках панельных данных с теми же самыми числом объектов, признаков и длиной рядов. Генерация производилась из фиксированного вероятностного распределения. Использовались способы симуляции, имитирующие гауссов белый шум и случайное блуждание. Расчеты с индексом Силуэт показали, что случайное блуждание характеризуется не только ложной регрессией, но и ложной кластеризацией. Кластеризация принималась достоверной для данного числа выделенных кластеров, если значение индекса на реальной выборке оказывалось больше значения 95%-ного квантиля для искусственных данных. В качестве выборки реальных данных использован набор временных рядов показателей, характеризующих производство в российских регионах. Для этих данных только Силуэт показывает достоверную кластеризацию на уровне $p < 0.05$. Расчеты также показали, что значения индексов для реальных данных в целом ближе к значениям для случайных блужданий, чем для белого шума, но имеют значимые отличия и от тех, и от других. Визуально можно выделить скопления близко расположенных друг от друга в трехмерном признаковом пространстве точек, выделяемые также в качестве кластеров применяемым алгоритмом иерархической кластеризации.
Assessing the validity of clustering of panel data by Monte Carlo methods (using as example the data of the Russian regional economy)
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1501-1513The paper considers a method for studying panel data based on the use of agglomerative hierarchical clustering — grouping objects based on the similarities and differences in their features into a hierarchy of clusters nested into each other. We used 2 alternative methods for calculating Euclidean distances between objects — the distance between the values averaged over observation interval, and the distance using data for all considered years. Three alternative methods for calculating the distances between clusters were compared. In the first case, the distance between the nearest elements from two clusters is considered to be distance between these clusters, in the second — the average over pairs of elements, in the third — the distance between the most distant elements. The efficiency of using two clustering quality indices, the Dunn and Silhouette index, was studied to select the optimal number of clusters and evaluate the statistical significance of the obtained solutions. The method of assessing statistical reliability of cluster structure consisted in comparing the quality of clustering on a real sample with the quality of clustering on artificially generated samples of panel data with the same number of objects, features and lengths of time series. Generation was made from a fixed probability distribution. At the same time, simulation methods imitating Gaussian white noise and random walk were used. Calculations with the Silhouette index showed that a random walk is characterized not only by spurious regression, but also by “spurious clustering”. Clustering was considered reliable for a given number of selected clusters if the index value on the real sample turned out to be greater than the value of the 95% quantile for artificial data. A set of time series of indicators characterizing production in the regions of the Russian Federation was used as a sample of real data. For these data only Silhouette shows reliable clustering at the level p < 0.05. Calculations also showed that index values for real data are generally closer to values for random walks than for white noise, but it have significant differences from both. Since three-dimensional feature space is used, the quality of clustering was also evaluated visually. Visually, one can distinguish clusters of points located close to each other, also distinguished as clusters by the applied hierarchical clustering algorithm.
-
Аддитивная регуляризация тематических моделей с быстрой векторизацией текста
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1515-1528Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.
Ключевые слова: автоматическая обработка текстов, обучение без учителя, тематическое моделирование, аддитивная регуляризация тематических моделей, EM-алгоритм, PLSA, LDA, ARTM, BigARTM, TopicNet.
Additive regularizarion of topic models with fast text vectorizartion
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1515-1528The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.
-
Описание процессов в ансамблях фотосинтетических реакционных центров с помощью кинетической модели типа Монте-Карло
Компьютерные исследования и моделирование, 2020, т. 12, № 5, с. 1207-1221Фотосинтетический аппарат растительной клетки состоит из множества фотосинтетических электронтранспортных цепей (ЭТЦ), каждая из которых участвует в усвоении квантов света, сопряженном с переносом электрона между элементами цепи. Эффективность усвоения квантов света варьирует в зависимости от физиологического состояния растения. Энергия той части квантов, которую не удается усвоить, диссипирует в тепло либо высвечивается в виде флуоресценции. При действии возбуждающего света уровень флуоресценции постепенно растет, доходя до максимума. Кривая роста уровня флуоресценции в ответ на действие возбуждающего света называется кривой индукции флуоресценции (КИФ). КИФ имеет сложную форму, которая претерпевает существенные изменения при различных изменениях состояния фотосинтетического аппарата, что позволяет использовать ее для получения информации о текущем состоянии растения.
В реальном эксперименте, при действии возбуждающего света, мы наблюдаем ответ системы, представляющей собой ансамбль миллионов фотосинтетических ЭТЦ. С целью воспроизведения вероятностной природы процессов в фотосинтетической ЭТЦ разработана кинетическая модель Монте-Карло, в которой для каждой индивидуальной цепи определены вероятности возбуждения молекул светособирающей антенны при попадании кванта света, вероятности захвата энергии либо высвечивания кванта света реакционным центром и вероятности переноса электрона с донора на акцептор в пределах фотосинтетических мультиферментных комплексов в тилакоидной мембране и между этими комплексами и подвижными переносчиками электронов. События, происходящие в каждой из цепей фиксируются, суммируются и формируют кривую индукции флуоресценции и кривые изменения долей различных редокс-состояний переносчиков электрона, входящих в состав фотосинтетической электронтранспортной цепи. В работе описаны принципы построения модели, изучены зависимости кинетики регистрируемых величин от параметров модели, приведены примеры полученных зависимостей, соответствующие экспериментальным данными по регистрации флуоресценции хлорофилла реакционного центра фотосистемы 2 и окислительно-восстановительных превращений фотоактивного пигмента фотосистемы 1 — хлорофилла.
Ключевые слова: кинетический метод Монте-Карло, фотосистема, электронный транспорт, кислород-выделяющий комплекс, пул пластохинонов, модель.
Describing processes in photosynthetic reaction center ensembles using a Monte Carlo kinetic model
Computer Research and Modeling, 2020, v. 12, no. 5, pp. 1207-1221Photosynthetic apparatus of a plant cell consists of multiple photosynthetic electron transport chains (ETC). Each ETC is capable of capturing and utilizing light quanta, that drive electron transport along the chain. Light assimilation efficiency depends on the plant’s current physiological state. The energy of the part of quanta that cannot be utilized, dissipates into heat, or is emitted as fluorescence. Under high light conditions fluorescence levels gradually rise to the maximum level. The curve describing that rise is called fluorescence rise (FR). It has a complex shape and that shape changes depending on the photosynthetic apparatus state. This gives one the opportunity to investigate that state only using the non invasive measuring of the FR.
When measuring fluorescence in experimental conditions, we get a response from millions of photosynthetic units at a time. In order to reproduce the probabilistic nature of the processes in a photosynthetic ETC, we created a Monte Carlo model of this chain. This model describes an ETC as a sequence of electron carriers in a thylakoid membrane, connected with each other. Those carriers have certain probabilities of capturing light photons, transferring excited states, or reducing each other, depending on the current ETC state. The events that take place in each of the model photosynthetic ETCs are registered, accumulated and used to create fluorescence rise and electron carrier redox states accumulation kinetics. This paper describes the model structure, the principles of its operation and the relations between certain model parameters and the resulting kinetic curves shape. Model curves include photosystem II reaction center fluorescence rise and photosystem I reaction center redox state change kinetics under different conditions.
-
Связь между дискретными финансовыми моделями и непрерывными моделями с процессами Винера и Пуассона
Компьютерные исследования и моделирование, 2023, т. 15, № 3, с. 781-795Работа посвящена исследованию связей между дискретными и непрерывными моделями финансовых процессов и их вероятностных характеристик. Во-первых, установлена связь между процессами цен акций, хеджирующего портфеля и опционов в моделях, обусловленных биномиальными возмущениями и предельными для них возмущениями типа броуновского движения. Во-вторых, указаны аналоги в коэффициентах стохастических уравнений с различными случайными процессами, непрерывными и скачкообразными, и в коэффициентах соответствующих детерминированных уравнений для их вероятностных характеристик.
Изложение результатов исследования связей и нахождения аналогий, полученных в настоящей работе, привело к необходимости адекватного изложения предварительных сведений и результатов из финансовой математики, а также описания связанных с ней объектов стохастического анализа.
В работе частично новые и известные результаты изложены в доступной форме для тех, кто не является специалистом по финансовой математике и стохастическому анализу и кому эти результаты важны с точки зрения приложений. Конкретно, представлены следующие разделы.
• В одно- и $n$-периодных биномиальных моделях предложен единый подход к определению на вероятностном пространстве риск-нейтральной меры, с которой дисконтированная цена опциона становится мартингалом. Полученная мартингальная формула для цены опциона пригодна для численного моделирования. В следующих разделах подход на основе риск-нейтральных мер применяется для исследования финансовых процессов в моделях непрерывного времени.
• В непрерывном времени рассмотрены модели цены акций, хеджирующего портфеля и опциона в форме стохастических уравнений с интегралом Ито по броуновскому движению и по компенсированному процессу Пуассона. Изучение свойств процессов, являющихся решениями стохастических уравнений, в этом разделе опирается на один из центральных объектов стохастического анализа — формулу Ито, методике применения которой уделено особое внимание.
• Представлена знаменитая формула Блэка –Шоулза, дающая решение уравнения в частных производных для функции $v(t, x)$, которая при подстановке $x = S (t)$, где $S(t)$ — цена акций в момент времени $t$, дает цену опциона в модели с непрерывным возмущением броуновским движением.
• Предложен аналог формулы Блэка – Шоулза для случая модели со скачкообразным возмущением процессом Пуассона. Вывод этой формулы опирается на технику риск-нейтральных мер и лемму независимости.
Ключевые слова: броуновское движение, процесс Пуассона, биномиальная модель, стохастическое уравнение, дисконтированная цена, мартингал.
Connection between discrete financial models and continuous models with Wiener and Poisson processes
Computer Research and Modeling, 2023, v. 15, no. 3, pp. 781-795The paper is devoted to the study of relationships between discrete and continuous models financial processes and their probabilistic characteristics. First, a connection is established between the price processes of stocks, hedging portfolio and options in the models conditioned by binomial perturbations and their limit perturbations of the Brownian motion type. Secondly, analogues in the coefficients of stochastic equations with various random processes, continuous and jumpwise, and in the coefficients corresponding deterministic equations for their probabilistic characteristics. Statement of the results on the connections and finding analogies, obtained in this paper, led to the need for an adequate presentation of preliminary information and results from financial mathematics, as well as descriptions of related objects of stochastic analysis. In this paper, partially new and known results are presented in an accessible form for those who are not specialists in financial mathematics and stochastic analysis, and for whom these results are important from the point of view of applications. Specifically, the following sections are presented.
• In one- and n-period binomial models, it is proposed a unified approach to determining on the probability space a risk-neutral measure with which the discounted option price becomes a martingale. The resulting martingale formula for the option price is suitable for numerical simulation. In the following sections, the risk-neutral measures approach is applied to study financial processes in continuous-time models.
• In continuous time, models of the price of shares, hedging portfolios and options are considered in the form of stochastic equations with the Ito integral over Brownian motion and over a compensated Poisson process. The study of the properties of these processes in this section is based on one of the central objects of stochastic analysis — the Ito formula. Special attention is given to the methods of its application.
• The famous Black – Scholes formula is presented, which gives a solution to the partial differential equation for the function $v(t, x)$, which, when $x = S (t)$ is substituted, where $S(t)$ is the stock price at the moment time $t$, gives the price of the option in the model with continuous perturbation by Brownian motion.
• The analogue of the Black – Scholes formula for the case of the model with a jump-like perturbation by the Poisson process is suggested. The derivation of this formula is based on the technique of risk-neutral measures and the independence lemma.
-
Точное вычисление апостериорной функции распределения вероятно- сти при помощи вычислительных систем
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 539-542Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.
Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.
В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.
Ключевые слова: распределенные вычислительные системы, виртуальный вычислительный кластер, геофизика.
Exact calculation of a posteriori probability distribution with distributed computing systems
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 539-542Просмотров за год: 3.We'd like to present a specific grid infrastructure and web application development and deployment. The purpose of infrastructure and web application is to solve particular geophysical problems that require heavy computational resources. Here we cover technology overview and connector framework internals. The connector framework links problem-specific routines with middleware in a manner that developer of application doesn't have to be aware of any particular grid software. That is, the web application built with this framework acts as an interface between the user 's web browser and Grid's (often very) own middleware.
Our distributed computing system is built around Gridway metascheduler. The metascheduler is connected to TORQUE resource managers of virtual compute nodes that are being run atop of compute cluster utilizing the virtualization technology. Such approach offers several notable features that are unavailable to bare-metal compute clusters.
The first application we've integrated with our framework is seismic anisotropic parameters determination by inversion of SKS and converted phases. We've used probabilistic approach to inverse problem solution based on a posteriory probability distribution function (APDF) formalism. To get the exact solution of the problem we have to compute the values of multidimensional function. Within our implementation we used brute-force APDF calculation on rectangular grid across parameter space.
The result of computation is stored in relational DBMS and then represented in familiar human-readable form. Application provides several instruments to allow analysis of function's shape by computational results: maximum value distribution, 2D cross-sections of APDF, 2D marginals and a few other tools. During the tests we've run the application against both synthetic and observed data.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"