Об условиях существования сингулярной характеристики уравнения Гамильтона-Якоби-Беллмана

Abstract

В данной работе изучаются свойства минимаксного кусочногладкого решения уравнения Гамильтона-Якоби-Беллмана. Исследованы условия существования сингулярной характеристики, график фазовой компоненты которой лежит в множестве точек недифференцируемости обобщенного кусочно-гладкого решения уравнения Гамильтона-Якоби-Беллмана. Получены необходимые условия существования сингулярной характеристики. Разобраны пример задачи Коши для уравнения Гамильтона-Якоби-Беллмана и соответствующая ему задача оптимального управления, когда существует сингулярная характеристика.

-

Постановка задачи Рассмотрим краевую задачу Коши для уравнения Гамильтона–Якоби–Беллмана + H(t; x; Dx'(t; x)) = 0; '(T; x) = (x); ( 1 ) jjDxH(t; x; s)jj 6 (1 + jjxjj + jjsjj); jjDsH(t; x; s)jj 6 (1 + jjxjj + jjsjj); для любой точки (t; x; s) 2 T Rn. Здесь символ k k обозначает евклидову норму конечномерного вектора.

A4. Функция (x) непрерывно дифференцируема.

Целью работы является изучение структуры решения '( ) задачи ( 1 ). 3 3.1 Основные определения и утверждения

Метод характеристик Коши. Классическое решение При указанных предположениях классическое решение задачи ( 1 ) '( ) может существовать лишь локально в некоторой окрестности краевого многообразия

CT = f(t; x; z) : t = T; x = ; z = ( ); 2 Rng : Это решение '( ) может быть построено с помощью метода характеристик Коши [4]. Выпишем характеристическую систему с краевыми условиями при t = T для задачи ( 1 ): x~_ = DsH(t; x~; s~); s~_ =

DxH(t; x~; s~); z~_ = hs~; DsH(t; x~; s~)i

H(t; x~; s~); x~(T; ) = ; s~(T; ) = Dx ( ); z~(T; ) = ( ); 8 2 Rn: (2) ( 3 ) Символ h ; i обозначает скалярное произведение.

Решения x~, s~, z~ называются, соответственно, фазовыми, импульсными, ценовыми компонентами характеристик уравнения Гамильтона–Якоби–Беллмана ( 1 ).

Заметим, что при выполнении условий A1–A4 решение характеристической системы существует, единственно и продолжимо на отрезок [0; T ], для 2 Rn.

Согласно методу Коши [4] при условии, что якобиан @@x~((tt;; )) отличен от нуля, справедливы формулы x = x~(t; ); '(t; x) = z~(t; ); Dx'(t; x) = s~(t; ): 3.2

Обобщенное решение В дальнейшем будут рассматриваться неклассические, негладкие решения задачи ( 1 ), для описания которых используется следующий инструмент негладкого анализа [5]. Определение 1. Супердифференциалом функции '( ) : T ! R в точке (t0; x0) называется множество D+'(t0; x0) = cof( ; s) 2 Rn+1 : lim sup '(t; x) '(t0; x0) h( ; s); ( t; x)i 6 0g: t!t0;x!x0 j tj + k xk В точках дифференцируемости функции '( ) супердифференциал состоит из единственного элемента, градиента этой функции.

Напомним одно из определений обобщённого решения задачи ( 1 ) [2, 3]. Определение 2. Обобщенным решением задачи ( 1 ) называется локально липшицевая супердифференцируемая функция T 3 (t; x) 7! '(t; x) 2 R такая, что для любой точки (t0; x0) 2 T существуют 0 2 Rn и решения системы (2),( 3 ) x~( ; 0), s~( ; 0), z~( ; 0), удовлетворяющие условию

x~(t0; 0) = x0; z~(t0; 0) = '(t0; x0) и z~(t; 0) = '(t; x~(t; 0)); 8t 2 [t0; T ]: Из результатов работ [2, с. 32; 3, с. 97; 6, с. 42; 7, c. 11; 8, c. 203] вытекает следующее утверждение о связи определения 2 с определениями минимаксного [6, с. 42] и вязкостного решений [7, c. 11]. Утверждение 1. Если в задаче ( 1 ) выполнены условия A1–A4, то существует и единственно обобщенное решение задачи ( 1 ) в смысле определения 2, причем определение 2 эквивалентно определениям минимаксного и вязкостного решений задачи ( 1 ).

Заметим, что в случае, когда гамильтониан является выпуклым, обобщенное решение является субдифференцируемой функцией. 3.3

Сингулярное множество Напомним определение сингулярного множества для обобщенного решения '( ) задачи ( 1 ). Определение 3. Сингулярным множеством Q для обобщенного решения '( ) задачи ( 1 ) называется множество точек (t; x) 2 T , в которых функция ' недифференцируема.

Согласно работам [2, с. 157; 3, с. 97], справедливы следующие утверждения Утверждение 2. Пусть в задаче ( 1 ) выполнены условия A1–A4. Для того чтобы точка (t; x) 2 Q, необходимо и достаточно, чтобы существовали 1; 2 2 Rn, 1 6= 2, для которых выполнены соотношения x~(t; 1) = x~(t; 2) = x; z~(t; 1) = z~(t; 2) = '(t; x); s~(t; 1) 6= s~(t; 2); где x~( ; i), s~( ; i), z~( ; i), i = 1; 2

решения характеристической системы (2), ( 3 ). Утверждение 3. Если множество сингулярности Q содержит кривую, описываемую дифференцируемой функцией t 7! x(t), 0 < t0 < t 6 T , то справедливо соотношение s~(t; 1) s~(t; 2); dx(t) dt

= H(t; x(t); s~(t; 1)) H(t; x(t); s~(t; 2)); 8t 2 (t0; T ] : Это соотношение обобщает известное условие Ранкина–Гюгонио на случай n-мерной фазовой переменной x. 3.4

Класс кусочно-гладких функций В данной работе рассматриваются обобщенные решения '( ) задачи ( 1 ) из класса кусочно-гладких функций (см., например, [6, с. 55]). Определение 4. Функция '( ) : T ! R называется кусочно-гладкой в T , если ( 1 ) Область определения этой функции T имеет следующую структуру

T = [ Mi; Mi \ Mj = ?; если i 6= j; i; j 2 I; I = f1; 2; :::N g ;

i2I где Mi дифференцируемые подмногообразия в T .

(2) Сужение кусочно-гладкой функции '( ; ) на M j, j 2 J, является непрерывно дифференцируемой функцией, где

J := fi 2 I : Mi (n + 1) -мерное многообразиеg; символ M j означает замыкание множества Mj.

( 3 ) Для любых i 2 I, (t1; x1), (t2; x2) 2 Mi выполнено J(t1; x1) = J(t2; x2), где

J(t; x) := fj 2 J : (t; x) 2 M jg: Выбор для исследования класса кусочно-гладких решений уравнения Гамильтона–Якоби–Беллмана мотивирован тем, что в практических задачах, как правило, решения содержатся в классе кусочно-гладких функций. Сингулярное множество Q в этом классе выглядит следующим образом: Q = Sj2InJ Mj, где Mi T Mj = ?; i 6= j; i; j 2 I n J.

Сингулярная характеристика уравнения Гамильтона–Якоби–Беллмана Определение 5. Сингулярной характеристикой называется характеристика, для которой ее график фазовой компоненты x( ; ) на некотором интервале времени принадлежит сингулярному множеству Q.

Согласно [9, 10], справедливы следующие утверждения 4 и 5. Утверждение 4. Если в задаче ( 1 ) выполнены условия A1 A4, гамильтониан H = H(t; s) и существует сингулярная характеристика, то скорости фазовой компоненты характеристик на сингулярном множестве совпадают со скоростью фазовой компоненты сингулярной характеристики. Доказательство. Пусть в точке (t; x) 2 Q пересекаются графики k + 1 фазовых компонент характеристик x( ; i), i 2 1; k + 1. Пусть одна из этих характеристик с фазовой компонентой x( ; k+1) = x( ; ) является сингулярной. Из того, что точка (t; x), в которой пересеклись фазовые характеристики, принадлежит сингулярному множеству, согласно утверждению 2 и определению 5, следует, что выполнены k условий Ранкина–Гюгонио:

h(s~(t; i) s~(t; )); DsH(t; s~(t; ))i = H(t; s~(t; i)) H(t; s~(t; )); где i 2 1; k. Перепишем равенства (4) в виде скалярного произведения (n + 1)-мерных векторов: h(s~(t; i) s~(t; ); H(t; s~(t; i)) H(t; s~(t; ))); (DsH(t; s~(t; )); 1)i = 0: (4) (5) Запишем выпуклую комбинацию из скалярных произведений (5): k+1 X ai h(s~(t; i) s~(t; ); H(t; s~(t; i)) H(t; s~(t; ))); (DsH(t; s~(t; )); 1)i = 0; i=1 где ai > 0 и Pik=+11 ai = 1. Из билинейности скалярного произведения получим *k+1 +

X ai(s~(t; i) s~(t; ); H(t; s~(t; i)) H(t; s~(t; ))); (DsH(t; s~(t; )); 1) = 0: i=1 Введем следующие обозначения: s = Pik=+11 ais~(t; i), H = Pik=+11 aiH(t; s~(t; i)). Получим следующее равенство: h(s s~(t; ); H

H(t; s~(t; ))); (DsH(t; s~(t; )); 1)i = 0: Из вогнутости гамильтониана H( ) по s следует неравенство c другой стороны,

k+1 H > X aiH(t; s~(t; i)); i=1 k+1 H = X aiH(t; s~(t; i))

i=1 при ai > 0 и Pik=+11 ai = 1. Отсюда следует, что точка (s ; H ) принадлежит графику функции H( ) в точке (t; s ), а значит H = H(t; s ). В силу того что вектор (s s ; H(t; s ) H(t; s )) ортогонален вектору (DsH(t; s ); 1), получаем, что не только точка (s ; H(t; s )) принадлежит графику H( ), но и вся касательная гиперплоскость к графику с нормалью (DsH(t; s ); 1), точки которой получены через выпуклую комбинацию точек следующего вида (s~(t; i); H(t; s~(t; i))) при i 2 1; k + 1.

Из гладкости гамильтониана H( ) по переменной s следует, что нормаль

(DsH(t; s ); 1) = (DsH(t; s~(t; i)); 1): Вспомним, что x_ = DsH(t; s~(t; i)) при i 2 1; k + 1. Утверждение 4 доказано. Утверждение 5. Если в задаче ( 1 ) выполнены условия A1 ствует сингулярной характеристики.

A4, гамильтониан H = H(s), то не сущеДоказательство. Для того чтобы доказать утверждение 5, необходимо провести аналогичные выкладки доказательства утверждения 4 для случая, когда H = H(s).

В случае когда H = H(s), из условия, что s_ = DxH(s) = 0, получаем s~(t; i) = Dx ( i), i 2 1; k + 1. Из утверждения 2 и условия (DsH(Dx ( i)); 1) = (DsH(Dx ( )); 1), следует, что обе части тождества равны (N; 1). Отсюда следует, что для фазовых характеристик выполнено

Z T x = x(t) = i

DsH(Dx ( i)) d =

DsH(Dx ( )) d : t Иначе это равенство можно переписать в следующем виде:

Z T

t x = x(t) = i

N d =

N d : Z T t Z T t Получили противоречие в виде i = , чего не может быть, так как у двух различных характеристик должны быть различные начальные значения фазовых компонент характеристик. Утверждение 5 доказано. 4.2 Основной результат. Необходимое условие существования сингулярной характеристики уравнения Гамильтона–Якоби–Беллмана Покажем необходимое условие существования сингулярной характеристики и его связь со структурой гамильтониана. Теорема 1. Пусть выполнены условия A1 A4 и существует сингулярная характеристика, график фазовой компоненты которой принадлежит сингулярному множеству Q. Тогда существует [a ; b ) [0; T ] и существует многозначное отображение t ! G(t) 2 Rn, множество значений которого является выпуклым, компактным и 8t 2 [a ; b ) 8s 2 G(t) 8" > 0 B_ (s; ") \ G(t) 6= ?. При этом существуют отображения t ! N (t) 2 Rn непрерывно дифференцируемое по каждой компоненте и t ! c(t) 2 R непрерывно дифференцируемое и такие, что H(t; s) = N (t)s + c(t), 8t 2 [a ; b ), 8s 2 G(t).

Здесь B_ (s; ") – n-мерный шар радиуса " с выколотым центром в точке s. Доказательство. Из того, что существует сингулярная характеристика, а значит утверждение 4 и утверждение 2 справедливы, следует, что для любой точки (t ; x ) 2 Q, t 2 [a ; b ) выполнены следующие условия: существует по крайней мере два параметра 1 и 2, где 1 6= 2, такие, что x~(t ; 1) = x~(t ; 2) = x ; z~(t ; 1) = z~(t ; 2) = '(t ; x ); s~(t ; 1) 6= s~(t ; 2);

DsH(t ; s~(t ; 1)) = DsH(t ; s~(t ; 2)) = N (t ); где x~( ; i), s~( ; i), z~( ; i), i = 1; 2, решения характеристической системы (2), ( 3 ).

Из того, что на полуинтервале времени [a ; b ) существует сингулярная характеристика, чей график фазовой компоненты принадлежит сингулярному множеству Q, следует, что сингулярное множество Q на полуинтервале [a ; b ) содержит непрерывно дифференцируемую кривую t 7! x(t), у которой dx(t) = N (t), dt t 2 [a ; b ).

Из утверждения 3 следует, что выполнено обобщенное условие Ранкина–Гюгонио hs~(t ; 1) s~(t ; 2); N (t )i = H(t ; s~(t ; 1)) H(t ; s~(t ; 2)); 8t 2 [a ; b ) :

Введем обозначение где x_ = 0 = DsH(t; s) = 2(s + T t): ортогонален вектору (N (t ); 1). Пусть – гиперплоскость, имеющая нормаль (N (t ); 1) и проходящая через точки (s~(t ; 1); H(t ; s~(t ; 1))) и (s~(t ; 2); H(t ; s~(t ; 2))) графика функции H( ). Из того, что функция H = H(t ; s) является вогнутой по переменной s, следует, что гиперплоскость в точках (s ; H(t ; s )), где 2 [0; 1], является также и опорной к графику функции H( ) в каждой из этих точек. Отсюда следует, что точки вида (s ; H(t ; s )), где 2 [0; 1], принадлежат графику функции H( ).

Из гладкости функции H(t ; s) по переменной s следует, что гиперплоскость является касательной во всех точках вида (s ; H(t ; s )), следовательно (N (t); 1) является нормалью к графику функции H(t; s) во всех точках (s ; H(t ; s )), где 2 [0; 1].

Отсюда следует, что кандидатом на множество G(t ) в этом случае является множество, состоящее из s , где 2 [0; 1].

Нетрудно заметить, что множество G(t ) является выпуклым и замкнутым, а также имеет непустую внутренность, так как s~(t ; 1) 6= s~(t ; 2).

Известно, что для любого момента t 2 [a ; b ): DsH(t ; s) = N (t ) при s 2 G(t ). Проинтегрируем по переменной s равенство DsH(t; s) = N (t), получим H(t; s) = N (t)s+c(t), при s 2 G(t) и t 2 [a ; b ). Теорема доказана.

Множество G(t) может иметь более сложную структуру, чем в разобранном случае, и оно может быть не единственным, но оно всегда будет замкнутым, выпуклым и иметь непустую внутренность. 5 5.1 Пример Краевая задача уравнения Гамильтона–Якоби–Беллмана, в которой существует сингулярная характеристика В случае когда H = H(s), справедливо утверждение 5, то есть не существует сингулярной характеристики. Отсюда следует, что нужно рассмотреть гамильтониан, зависящий не только от импульсной переменной s. Исследуем пример [10], иллюстрирующий случай, когда гамильтониан H = H(t; s), t 2 [0; T ], s 2 R существует сингулярная характеристика. Для того чтобы показать существование сингулярной характеристики, покажем не только существование гамильтониана, удовлетворяющего утверждению теоремы 1, но и согласованного с ним краевого условия ( ).

H(t; s) = ( (jsj T + t)2; jsj > T t; 0; jsj 6 T t: Построим по гамильтониану (8) согласованное с ним краевое условие. Так как гамильтониан симметричен относительно s = 0, мы будем искать симметричное относительно = 0 краевое условие ( ). Предположим, что выполнено s(T; 0) = Dx (0) = 0. В силу того что графики фазовых компонент характеристик являются чётными функциями по переменной относительно x = 0, можно ограничиться лишь x > 0 и > 0.

Кандидатом на сингулярное множество, в этом примере, является множество (t; x) : x = 0; t 2 [0; T ). ( 1 ) Выпишем дифференциальное уравнение для фазовой компоненты характеристики: x_ = DsH(t; s) = ( 2(s + T t); s 6 T + t; 0; (7) (8) Отсюда следует, что момент пересечения характеристики, чья импульсная компонента равна s, с сингулярной характеристикой равен t = s + T .

(2) С другой стороны, по условию Ранкина–Гюгонио, на сингулярном множестве выполняется условие 0 = H(t; 0) H(t; s) = 0 + (s T + t)2: При этом из s_ = DxH(t; s) = 0 следует s = Dx ( ).

Выпишем дифференциальное уравнение для ценовой компоненты характеристики: z_ = sDsH(t; s) H(t; s) = ( (T t)2

s2; s 6 T + t; 0; x_ 2 4 H (t; x_ ) = ( T + t)x_ ; x_ > 0:

T + t. Получим H (t; x_ ) = ( T + t)x_ . Данная функция является непрерывной, но недифференцируемой в точках x = 0, t 2 [0; T ). 6 Заключение Благодарности

В данной работе получены условия на структуру гамильтониана, необходимые для существования сингулярной характеристики уравнения Гамильтона–Якоби–Беллмана. Приведен пример задачи оптимального управления, для которой соответствующее уравнение Беллмана имеет сингулярню характеристику. Построен оптимальный синтез. матРиачбеосткаивеызпаодланчеинсаопврриемпеондндоейржтекоерРииФуФпИра(вплреонеикят\№(п1р4о-0е1к-т00№16388)7-и20п1р5о-г0р0а7м5)м. ы Президиума РАН "МатеСписок литературы [10] A.S. Rodin. Existence of the singular characteristic of the piecewise-smooth minimax solution of the Hamilton–Jacobi–Bellman equation. Sborn. nauch. trud. Inf. shkoly mol. uchen., 5:287–292, 2015 (in Russian). = А.С. Родин. Существование сингулярной характеристики кусочно-гладкого минимаксного решения уравнения Гамильтона–Якоби–Беллмана. Сборник научных трудов информационной школы мол. уч., 5:287–291, 2015.

Conditions for the existence of a singular characteristic Hamilton–Jacobi–Bellman equation of the Aleksei S. Rodin Ural Federal University (Yekaterinburg, Russia) Krasovskii Institute of Mathematics and Mechanics (Yekaterinburg, Russia)

The properties of the minimax piecewise smooth solution of the Hamilton–Jacobi–Bellman equation are studied in this paper. The conditions of existence of singular characteristics are studied. Singular characteristic is characteristic of which the graph of the phase components lies in the set of nondifferentiability points generalized piecewise smooth solution of the Hamilton–Jacobi–Bellman equation. Necessary conditions for the existence of the singular characteristics are obtained. We analysed an example of the Cauchy problem for the Hamilton– Jacobi–Bellman equation and the corresponding optimal control problem when there is a singular characteristic.

References

3б. Рассмотрим случай, когда минимум достигается при s =

Таким образом , получаем, что [1] A.A. Melikyan , Generalized Characteristics of First Order PDEs: Applications in Optimal Control and

Differential Games . Birkhauser, Boston, 1998 . [2] N.N. Subbotina , E.A. Kolpakova , T.B. Tokmantsev , and L.G. Shagalova. The Method of Characteristics for

Hamilton-Jacobi-Bellman equations . RIO UrO RAN , Yekaterinburg, 2013 (in Russian). = Н .Н. Субботина,

Якоби-Беллмана . Екатеринбург: УрО РАН , 2013 . [3] E.A. Kolpakova . The generalized method of characteristics in the theory of Hamilton-Jacobi equations and

conservation laws . Trudy Inst. Mat. i Mekh . UrO RAN 16 ( 5 ): 95 - 102 , 2010 . [4] I.G. Petrovskii. Lectures on the Theory of Ordinary Differential Equations . Mosk. Gos. Univ., Moscow,

1984 (in Russian) . = И .Г. Петровский Лекции по теории обыкновенных дифференциальных уравнений .

Москва: Изд-во Моск . ун-та, 1984 . [5] R. Rockafellar . Convex Analysis . Princeton Univ., Princeton, 1970 . [6] A.I. Subbotin . Generalized Solutions of First-Order PDEs . The Dynamical Optimization Perspective.

Birkha user, 1995 . [7] M.G. Crandall and P.L. Lions . Viscosity solutions of Hamilton-Jacobi equations , Trans. Amer. Math. Soc.

277 ( 1 ): 1 - 42 , 1983 . [8] N.N. Subbotina and E.A. Kolpakova . On the structure of locally Lipschitz minimax solutions of the

Hamilton-Jacobi-Bellman equation in terms of classical characteristics . Proc. Steklov Inst. Math . 268 ( Suppl .

1): S222 - S239 , 2010 . [9] A.S. Rodin . Singular characteristics of the piecewise-smooth minimax solution of the Hamilton-Jacobi-

Bellman equation . Izvest. Inst. Mat. Inform . Udmurt. Univ., 2 ( 46 ): 149 - 154 , 2015 (in Russian). = А .С. Ро-