Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.

Использование алгоритмов, основанных на нейронных сетях, может оказаться неэффективным при малых объемах экспериментальных данных. Авторы статьи рассматривают решение данной проблемы на примере моделирования свойств керамического композита, армированного углеродными нанотрубками, с помощью перцептронного комплекса. Такой подход позволил получить математическое описание объекта исследования при минимальном объеме и неполноте исходной информации, полученной в ходе экспериментов (объем необходимой экспериментальной выборки уменьшился в 2–3.3 раза). В статье рассмотрены различные варианты структур перцептронных комплексов. Выявлено, что наиболее подходящей структурой обладает перцептронный комплекс с проскоком двух входных переменных. Относительная ошибка составила всего 6%. Выбранный перцептронный комплекс показал свою эффективность для предсказания свойств керамического композита. Относительные ошибки по выходным компонентам составили 0.3%, 4.2%, 0.4%, 2.9% и 11.8%.

Use of algorithms based on neural networks can be inefficient for small amounts of experimental data. Authors consider a solution of this problem in the context of modelling of properties of ceramic composite materials reinforced with carbon nanotubes using perceptron complex. This approach allowed us to obtain a mathematical description of the object of study with a minimal amount of input data (the amount of necessary experimental samples decreased 2–3.3 times). Authors considered different versions of perceptron complex structures. They found that the most appropriate structure has perceptron complex with breakthrough of two input variables. The relative error was only 6%. The selected perceptron complex was shown to be effective for predicting the properties of ceramic composites. The relative errors for output components were 0.3%, 4.2%, 0.4%, 2.9%, and 11.8%.

В настоящей работе предложен вариант импорта в систему ANSYS Mechanical APDL модели поведения гибких тканых композиционных материалов с армирующей тканью полотняного переплетения при статическом растяжении вдоль нитей армирования. Импорт осуществлен при помощи использования, разработанного авторами и представленного в текущей работе модуля интеграции, основанного на использовании аналитической модели деформирования исследуемого материала, представленной в опубликованных ранее статьях и учитывающей изменения геометрической структуры, происходящие в армирующем слое материала в процессе деформирования, образование необратимых деформаций и взаимодействие накрест лежащих нитей армирующей ткани. Во введении кратко описаны основные вводимые характеристики полотняного переплетения армирующей ткани и аналитической модели, импортируемой в ANSYS. Аналитическая модель основана на описании процессов деформирования элементарной периодической ячейки исследуемого класса материалов. Входными параметрами модуля являются механические характеристики материалов, входящих в состав композита (связующее и материал нитей армирования), геометрические характеристики переплетения армирующей ткани. Алгоритм импорта модели основан на вычислении и передачи в ANSYS расчетных точек диаграммы деформирования материала при одноосном растяжения вдоль направления армирования и использовании вложенных в систему ANSYS пользовательской моделей материала Multilinear Kinematich Hardening. Аналитическая модель, импортируемая при помощи представленного модуля, позволяет моделировать композиционный материал с армирующей тканью без детального описания геометрии переплетения нитей при моделировании материала в целом. Выполнена верификация импортированной модели. Для верификации были проведены натурные экспериментальные исследования и численное моделирование растяжения образцов из гибких тканых композитов. В экспериментах принимали участие образцы трех марок: VP4126, VP6131 и VP6545. Погрешность импортированной в ANSYS модели составила менее 10 % относительно экспериментальных исследований для всех марок материала. Анализ полученных результатов показал хорошее качественное и количественное согласование расчетов в системе ANSYS с применением импортированной модели и натурных испытаний до величин предельных деформаций, соответствующих разрушению образцов материала для всех исследуемых марок гибких тканых композитов, что позволяет сделать вывод о возможности применения предложенного модуля при моделировании процессов деформирования гибких тканых композитов и конструкций, созданных из таких материалов при статическом одноосном растяжении вдоль нитей армирования.

A variant of import into ANSYS Mechanical APDL system of the model of behavior of flexible woven composite materials with reinforcing weaving cloth of linen at static stretching along the reinforcement yarns is offered. The import was carried out using an integration module based on the use of an analytical model of deformation of the material under study. The model is presented in the articles published earlier and takes into account the changes in the geometric structure occurring in the reinforcing layer of the material during the deformation process, the formation of irreversible deformations and the interaction of cross-lying reinforcing fabric threads. In the introduction input characteristics of the plain weave of the reinforcing fabric and the analytical model imported into ANSYS are briefly described. The input parameters of the module are the mechanical characteristics of the materials that make up the composite (binder and material of reinforcement yarns), the geometric characteristics of the interlacing of the reinforcing fabric. The algorithm for importing the model is based on the calculation and transfer in ANSYS of the calculated points of the material stress-strain diagram for uniaxial stretching along the reinforcement direction and using the Multilinear Kinematich Hardening model material embedded in the ANSYS. The analytical model imported with the help of the presented module allows to model a composite material with reinforcing fabric without a detailed description of the geometry of the interlacing of threads during modeling of the material as a whole. The imported model was verified. For verification full-scale experimental studies and numerical simulation of the stretching of samples from flexible woven composites were carried out. The analysis of the obtained results showed good qualitative and quantitative agreement of calculations.

Гибкие тканые композиты относят к классу высокотехнологичных инновационных материалов. Благодаря совмещению различных компонентов наполнителя и элементов армирования такие материалы применяют в строительстве, оборонной промышленности, судо- и авиастроении и др. В отечественной литературе уделено недостаточное внимание к тканым композитам, изменяющим свою геометрическую структуру армирующего слоя в процессе деформирования. В настоящей работе приводится анализ предложенного ранее комплексного подхода к моделированию поведения гибких тканых композитов при статическом одноосном растяжении для дальнейшего обобщения подхода на двухосное растяжение. Работа нацелена на качественное и количественное описание механических деформационных процессов, протекающих в структуре исследуемых материалов при растяжении, к которым относится распрямления нитей армирующего слоя и увеличение величины взаимного надавливания накрест лежащих нитей армирования. В начале процесса деформирования распрямление нитей и увеличение взаимного надавливания нитей наиболее интенсивны. С увеличением уровня нагрузки изменение указанных параметров замедляется. Например, изгиб нитей армирования переходит в центральное растяжение, а величина нагрузки от взаимного надавливания более не увеличивается (стремится к константе). Для моделирования описанных процессов вводятся основные геометрические и механические параметры материала, влияющие на процесс формоизменения, приводятся необходимая терминология и описание характеристик. В связи с высокой геометрической нелинейностью все процессы описаны в приращениях, так как на начальных значениях нагрузки происходит значительное формоизменение армирующего слоя. Для количественного и качественного описания механических деформационных процессов, протекающих в армирующем слое, выведены аналитические зависимости, позволяющие определить приращение угла распрямления нитей армирования и нагрузки, вызванной взаимным надавливанием накрест лежащих нитей на каждом шаге приращения нагрузки. Для апробации выведенных зависимостей приведен пример их применения для гибких тканых композиционных материалов марок VP4126, VP6131 и VP6545. Результаты моделирования подтвердили предположения о процессах выпрямления нитей и замедления увеличения взаимного надавливания нитей. Приведенные в данной работе результаты и зависимости имеют непосредственное отношение к дальнейшему обобщению предложенных ранее аналитических моделей для двухосного растяжения, так как растяжение в двух направлениях существенно уменьшит выпрямление нитей и увеличит величину взаимного надавливания при аналогичных нагрузках.

Flexible woven composites are classified as high-tech innovative materials. Due to the combination of various components of the filler and reinforcement elements, such materials are used in construction, in the defense industry, in shipbuilding and aircraft construction, etc. In the domestic literature, insufficient attention is paid to woven composites that change their geometric structure of the reinforcing layer during deformation. This paper presents an analysis of the previously proposed complex approach to modeling the behavior of flexible woven composites under static uniaxial tension for further generalization of the approach to biaxial tension. The work is aimed at qualitative and quantitative description of mechanical deformation processes occurring in the structure of the studied materials under tension, which include straightening the strands of the reinforcing layer and increasing the value of mutual pressure of the cross-lying reinforcement strands. At the beginning of the deformation process, the straightening of the threads and the increase in mutual pressure of the threads are most intense. With the increase in the level of load, the change of these parameters slows down. For example, the bending of the reinforcement strands goes into the Central tension, and the value of the load from the mutual pressure is no longer increased (tends to constant). To simulate the described processes, the basic geometrical and mechanical parameters of the material affecting the process of forming are introduced, the necessary terminology and description of the characteristics are given. Due to the high geometric nonlinearity of the all processes described in the increments, as in the initial load values there is a significant deformation of the reinforcing layer. For the quantitative and qualitative description of mechanical deformation processes occurring in the reinforcing layer, analytical dependences are derived to determine the increment of the angle of straightening of reinforcement filaments and the load caused by the mutual pressure of the cross-lying filaments at each step of the load increment. For testing of obtained dependencies shows an example of their application for flexible woven composites brands VP4126, VP6131 and VP6545. The simulation results confirmed the assumptions about the processes of straightening the threads and slowing the increase in mutual pressure of the threads. The results and dependences presented in this paper are directly related to the further generalization of the previously proposed analytical models for biaxial tension, since stretching in two directions will significantly reduce the straightening of the threads and increase the amount of mutual pressure under similar loads.

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

В данной статье предлагается фреймворк sumo-atclib, который предоставляет удобный единообразный интерфейс для апробации разных по ограничениям алгоритмов адаптивного управления, например ограничения на длительности фаз, последовательности фаз, ограничения на минимальное время между управляющими воздействиями, который использует среду микроскопического моделирования транспорта с открытым исходным кодом SUMO. Фреймворк разделяет функционал контроллеров (класс TrafficController) и систему наблюдения и детектирования (класс StateObserver), что повторяет архитектуру реальных светофорных объектов и систем адаптивного управления и упрощает апробацию новыха лгоритмов, так как можно свободно варьировать сочетания разных контроллеров и систем детектирования транспортных средств. Также в отличие от большинства существующих решений добавлен класс дороги Road, который объединяет набор полос, это позволяет, например, определить смежность регулируемых перекрестков, в случаях когда на пути от одного перекрестка к другому количество полос меняется, а следовательно, граф дороги разбивается на несколько ребер. При это сами алгоритмы используют одинаковый интерфейс и абстрагированы от конкретных параметров детекторов, топологии сети, то есть предполагается, что это решение позволит транспортному инженеру протестировать уже готовые алгоритмы для нового сценария, без необходимости их адаптации под новые условия, что ускоряет процесс разработки управляющей системы и снижает накладные расходы на проектирование. В настоящий момент в пакете есть примеры алгоритмов MaxPressure и метода обучения с подкреплением Q-learning, база примеров также пополняется. Также фреймворк включает в себя набор сценариев SUMO для тестирования алгоритмов, в который входят как синтетические карты, так и хорошо верифицированные SUMO-сценарии, такие как Cologne и Ingolstadt. Кроме того, фреймворк предоставляет некоторый набор автоматически подсчитываемых метрик, таких как полное время в пути, время задержки, средняя скорость; также в фреймворке представлен готовый пример для визуализации метрик.

This article proposes the sumo-atclib framework, which provides a convenient uniform interface for testing adaptive control algorithms with different limitations, for example, restrictions on phase durations, phase sequences, restrictions on the minimum time between control actions, which uses the open source microscopic transport modeling environment SUMO. The framework shares the functionality of controllers (class TrafficController) and a monitoring and detection system (class StateObserver), which repeats the architecture of real traffic light objects and adaptive control systems and simplifies the testing of new algorithms, since combinations of different controllers and vehicle detection systems can be freely varied. Also, unlike most existing solutions, the road class Road has been added, which combines a set of lanes, this allows, for example, to determine the adjacency of regulated intersections, in cases when the number of lanes changes on the way from one intersection to another, and therefore the road graph is divided into several edges. At the same time, the algorithms themselves use the same interface and are abstracted from the specific parameters of the detectors, network topologies, that is, it is assumed that this solution will allow the transport engineer to test ready-made algorithms for a new scenario, without the need to adapt them to new conditions, which speeds up the development process of the control system, and reduces design overhead. At the moment, the package contains examples of MaxPressure algorithms and the Q-learning reinforcement learning method, the database of examples is also being updated. The framework also includes a set of SUMO scripts for testing algorithms, which includes both synthetic maps and well-verified SUMO scripts such as Cologne and Ingolstadt. In addition, the framework provides a set of automatically calculated metrics, such as total travel time, delay time, average speed; the framework also provides a ready-made example for visualization of metrics.

Представлен метод моделирования микроструктуры компактной костной ткани. Модельный образец рассматривается как совокупность структурных элементов, содержащих армирующий элемент – остеон и матрицу. Форма структурных элементов определяется расстояниями до соседних остеонов и направлениями расположения соседних остеонов. Проведен расчет напряженно-деформированного состояния модельного образца при растяжении в программном комплексе ANSYS. Результаты расчета показали, что гаверсовы каналы являются концентраторами напряжений.

The method of modelling of a compact bone tissue microstructure is presented. The modelling sample is considered as set of the structural elements containing reinforcing element – osteon and a matrix. The form of structural elements is defined by distances to next osteons and directions of next osteons arrangement. Calculation of the stress and strain state of the modelling sample is carried out at tension in program complex ANSYS. Results of calculation have shown, that haversian canals are stress concentrators.

В этой статье рассматриваются механические свойства платины, армированной углеродной нанотрубкой (УНТ), в условиях одноосной растягивающей нагрузки посредством метода молекулярной динамики. Обзор текущих расчетных и экспериментальных исследований подчеркивает преимущества композитов, армированных углеродными нанотрубками с структурной точки зрения. Однако количественные и качественные исследования влияния углеродной нанотрубки на улучшения свойств композитов все еще редки. Выбор композита обусловлен перспективой применения платиновых сплавов во многих сферах, где они могут подвергаться механическим воздействиям, в том числе и в биосовместимых системах. Армирование платины (Pt) с помощью УНТ может обеспечить дополнительные возможности для вживления имплантатов и при этом достичь требуемых механических характеристик.

Структура композита состояла из кристалла Pt с гранецентрированной кубической решеткой с постоянной 3,92 Å и углеродной нанотрубки. Матрица кристалла платины имеет форму куба с размерами $43,1541 Å \times 43,1541 Å \times 43,1541 Å$. Размер отверстия в середине платиновой матрицы определяется радиусом углеродной нанотрубки типа «зигзаг» (8,0), который составляет 2,6 Å. Углеродная нанотрубка помещается в отверстие радиусом 4,2 Å. При таких параметрах взаимной конфигурации наблюдался минимум энергии взаимодействия. Рассматриваемая модель содержит 320 атомов углерода и 5181 атом платины. Объемная доля углерода в композите Pt-C составляет 5,8%. На первом этапе исследования производились анализ влияния скорости деформации на соотношение «напряжение–деформация» и изменение энергии в процессе одноосного растяжения композита Pt-C.

Анализ влияния скорости деформации показал, что предел текучести при растяжении увеличивается с увеличением скоростей деформации, а модуль упругости имеет, скорее, тенденцию к уменьшению при увеличении скорости деформации. Данная работа также демонстрирует, что по сравнению с чистой платиной модуль Юнга увеличился на 40% для Pt-C, а эластичность композита меньше на 42,3%. В целом подробно рассмотрены механизмы разрушения, включая пластическую деформацию в атомистическом масштабе.

This article discusses the mechanical properties of carbon nanotube (CNT)-reinforced platinum under uniaxial tensile loading using the molecular dynamics method. A review of current computational and experimental studies on the use of carbon nanotube-reinforced composites from a structural point of view. However, quantitative and qualitative studies of CNTs to improve the properties of composites are still rare. Composite selection is a promising application for platinum alloys in many cases where they may be subjected to mechanical stress, including in biocompatibility sources. Pt-reinforced with CNTs may have additional possibilities for implantation of the implant and at the same time obtain the required mechanical characteristics.

The structure of the composite is composed of a Pt crystal with a face-centered cubic lattice with a constant of 3.92 Å and a carbon nanotube. The Pt matrix has the shape of a cube with dimensions of $43.1541 Å \times 43.1541 Å \times 43.1541 Å$. The hole size in the average platinum dimension is the radius of the carbon nanotube of the «zigzag» type (8,0), which is 2.6 Å. A carbon nanotube is placed in a hole with a radius of 4.2 Å. At such parameters, the maximum energy level was mutually observed. The model under consideration is contained in 320 atomic bombs and 5181 atomic platinum. The volume fraction of deaths in the Pt-C composite is 5.8%. At the first stage of the study, the strain rate was analyzed for stress-strain and energy change during uniaxial action on the Pt-C composite.

Analysis of the strain rate study showed that the consumption yield strength increases with high strain rate, and the elasticity has increased density with decreasing strain rate. This work also increased by 40% for Pt-C, the elasticity of the composite decreased by 42.3%. In general, fracture processes are considered in detail, including plastic deformation on an atomistic scale.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

In this paper, we propose an adaptive algorithm that simulates the process of forming the initial behavioral skills on the example of the system ‘eye-arm’ animat. The situation is the formation of the initial behavioral skills occurs, for example, when a child masters the management of their hands by understanding the relationship between baseline unidentified spots on the retina of his eye and the position of the real object. Since the body control skills are not ‘hardcoded’ initially in the brain and the spinal cord at the level of instincts, the human child, like most young of other mammals, it is necessary to develop these skills in search behavior mode. Exploratory behavior begins with trial and error and then its contribution is gradually reduced as the development of the body and its environment. Since the correct behavior patterns at this stage of development of the organism does not exist for now, then the only way to select the right skills is a positive reinforcement to achieve the objective. A key feature of the proposed algorithm is to fix in the imprinting mode, only the final action that led to success, and that is very important, led to the familiar imprinted situation clearly leads to success. Over time, the continuous chain is lengthened right action — maximum use of previous positive experiences and negative ‘forgotten’ and not used.

Thus there is the gradual replacement of the random search purposeful actions that observed in the real young. Thus, the algorithm is able to establish a correspondence between the laws of the world and the ‘inner feelings’, the internal state of the animat. The proposed animat model was used 2 types of neural networks: 1) neural network NET1 to the input current which is fed to the position of the brush arms and the target point, and the output of motor commands, directing ‘brush’ manipulator animat to the target point; 2) neural network NET2 is received at the input of target coordinates and the current coordinates of the ‘brush’ and the output value is formed likelihood that the animat already ‘know’ this situation, and he ‘knows’ how to react to it. With this architecture at the animat has to rely on the ‘experience’ of neural networks to recognize situations where the response from NET2 network of close to 1, and on the other hand, run a random search, when the experience of functioning in this area of the visual field in animat not (response NET2 close to 0).