=Paper=
{{Paper
|id=Vol-1662/opt7
|storemode=property
|title=Об условиях существования сингулярной характеристики уравнения Гамильтона-Якоби-Беллмана(Conditions for the existence of a singular characteristic of the Hamilton-Jacobi-Bellman equation)
|pdfUrl=https://ceur-ws.org/Vol-1662/opt7.pdf
|volume=Vol-1662
|authors=Aleksei S. Rodin
}}
==Об условиях существования сингулярной характеристики уравнения Гамильтона-Якоби-Беллмана(Conditions for the existence of a singular characteristic of the Hamilton-Jacobi-Bellman equation)==
https://ceur-ws.org/Vol-1662/opt7.pdf
Об условиях существования сингулярной
характеристики уравнения
Гамильтона–Якоби–Беллмана
А.С. Родин
alexey.rodin.ekb@gmail.com
УрФУ (Екатеринбург) ИММ УрО РАН (Екатеринбург)
Аннотация
В данной работе изучаются свойства минимаксного кусочно-
гладкого решения уравнения Гамильтона–Якоби–Беллмана. Иссле-
дованы условия существования сингулярной характеристики, гра-
фик фазовой компоненты которой лежит в множестве точек недиф-
ференцируемости обобщенного кусочно-гладкого решения уравне-
ния Гамильтона–Якоби–Беллмана. Получены необходимые усло-
вия существования сингулярной характеристики. Разобраны при-
мер задачи Коши для уравнения Гамильтона–Якоби–Беллмана и
соответствующая ему задача оптимального управления, когда су-
ществует сингулярная характеристика.
1 Введение
В данной работе изучаются свойства предложенного А. И. Субботиным обобщенного (минимаксного) ре-
шения уравнения Гамильтона–Якоби–Беллмана. В статье ставится краевая задача уравнения Гамильтона–
Якоби–Беллмана, а также введены основные определения и утверждения, связанные с обобщенным
кусочно-гладким решением этой задачи и связанным с ним сингулярным множеством. Приведены вспомо-
гательные утверждения, описывающие свойства сингулярной характеристики. Основным результатом дан-
ной работы является необходимое условие существования сингулярной характеристики в терминах струк-
турных особенностей гамильтониана. Приведен пример краевой задачи уравнения Гамильтона–Якоби–
Беллмана, в котором существует сингулярная характеристика. Рассмотрена задача оптимального управ-
ления, относящаяся к этому примеру. Построен ее оптимальный синтез.
Одной из близких работ в этой области является книга А. А. Меликяна [1], в которой изучаются урав-
нения в частных производных первого порядка. Решения данных уравнений рассматриваются в классах
непрерывно дифференцируемых функций и кусочно-гладких функций. Одним из привлекательных мето-
дов построения вязкостного решения в этой работе является метод характеристик. Работа [1] в основном
посвящена вопросу усовершенствования метода характеристик и его дальнейшего применения к построе-
нию решения в следующих случаях: а) обобщенное вязкостное решение негладкое, тогда как гамильтониан
является гладкой или негладкой функцией; б) решение является гладким, но гамильтониан не гладкий.
При изучении сингулярных характеристик в работе [1] использовано понятие скобок Пуассона.
Copyright c by the paper’s authors. Copying permitted for private and academic purposes.
In: A.A. Makhnev, S.F. Pravdin (eds.): Proceedings of the 47th International Youth School-conference “Modern Problems in
Mathematics and its Applications”, Yekaterinburg, Russia, 02-Feb-2016, published at http://ceur-ws.org
100
2 Постановка задачи
Рассмотрим краевую задачу Коши для уравнения Гамильтона–Якоби–Беллмана
∂ϕ(t, x)
+ H(t, x, Dx ϕ(t, x)) = 0, ϕ(T, x) = σ(x), (1)
∂t
где t ∈ [0, T ], x ∈ Rn , Dx ϕ(t, x) = ∂ϕ(t,x) ∂ϕ(t,x) ∂ϕ(t,x)
∂x1 , ∂x2 , . . . , ∂xn = s.
Обозначим ΠT = {(t, x) : t ∈ [0, T ] , x ∈ Rn }.
Задача (1) рассматривается при следующих предположениях:
A1. Функция H(t, x, s) непрерывно дифференцируема по переменным t, x, s, вогнута по переменной s.
A2. Функции Ds H(t, x, s) и Dx H(t, x, s) являются локально липшицевыми по переменным x и s, для
любого компакта D ⊂ Rn × Rn существуют константы L1 > 0, L2 > 0:
||Ds H(t, x0 , s0 ) − Ds H(t, x00 , s00 )|| 6 L1 (||x0 − x00 || + ||s0 − s00 ||),
||Dx H(t, x0 , s0 ) − Dx H(t, x00 , s00 )|| 6 L2 (||x0 − x00 || + ||s0 − s00 ||),
для любых (x0 , s0 ), (x00 , s00 ) ∈ D, ∀t ∈ [0, T ].
A3. Выполнены условия подлинейного роста: существуют такие α > 0, β > 0, что выполняются условия
||Dx H(t, x, s)|| 6 α(1 + ||x|| + ||s||), ||Ds H(t, x, s)|| 6 β(1 + ||x|| + ||s||),
для любой точки (t, x, s) ∈ ΠT ×Rn . Здесь символ k·k обозначает евклидову норму конечномерного вектора.
A4. Функция σ(x) непрерывно дифференцируема.
Целью работы является изучение структуры решения ϕ(·) задачи (1).
3 Основные определения и утверждения
3.1 Метод характеристик Коши. Классическое решение
При указанных предположениях классическое решение задачи (1) ϕ(·) может существовать лишь ло-
кально в некоторой окрестности краевого многообразия
C T = {(t, x, z) : t = T, x = ξ, z = σ(ξ); ξ ∈ Rn } .
Это решение ϕ(·) может быть построено с помощью метода характеристик Коши [4]. Выпишем характери-
стическую систему с краевыми условиями при t = T для задачи (1):
x̃˙ = Ds H(t, x̃, s̃), s̃˙ = −Dx H(t, x̃, s̃), z̃˙ = hs̃, Ds H(t, x̃, s̃)i − H(t, x̃, s̃), (2)
n
x̃(T, ξ) = ξ, s̃(T, ξ) = Dx σ(ξ), z̃(T, ξ) = σ(ξ), ∀ξ ∈ R . (3)
Символ h·, ·i обозначает скалярное произведение.
Решения x̃, s̃, z̃ называются, соответственно, фазовыми, импульсными, ценовыми компонентами харак-
теристик уравнения Гамильтона–Якоби–Беллмана (1).
Заметим, что при выполнении условий A1–A4 решение характеристической системы существует, един-
ственно и продолжимо на отрезок [0, T ], для ξ ∈ Rn .
Согласно методу Коши [4] при условии, что якобиан ∂∂(t,ξ)
x̃(t,ξ)
отличен от нуля, справедливы формулы
x = x̃(t, ξ), ϕ(t, x) = z̃(t, ξ), Dx ϕ(t, x) = s̃(t, ξ).
3.2 Обобщенное решение
В дальнейшем будут рассматриваться неклассические, негладкие решения задачи (1), для описания
которых используется следующий инструмент негладкого анализа [5].
Определение 1. Супердифференциалом функции ϕ(·) : ΠT → R в точке (t0 , x0 ) называется множество
ϕ(t, x) − ϕ(t0 , x0 ) − h(α, s), (∆t, ∆x)i
D+ ϕ(t0 , x0 ) = co{(α, s) ∈ Rn+1 : lim sup 6 0}.
t→t0 ,x→x0 |∆t| + k∆xk
101
В точках дифференцируемости функции ϕ(·) супердифференциал состоит из единственного элемента,
градиента этой функции.
Напомним одно из определений обобщённого решения задачи (1) [2, 3].
Определение 2. Обобщенным решением задачи (1) называется локально липшицевая супердифференци-
руемая функция ΠT 3 (t, x) 7→ ϕ(t, x) ∈ R такая, что для любой точки (t0 , x0 ) ∈ ΠT существуют ξ0 ∈ Rn
и решения системы (2),(3) x̃(·, ξ0 ), s̃(·, ξ0 ), z̃(·, ξ0 ), удовлетворяющие условию
x̃(t0 , ξ0 ) = x0 , z̃(t0 , ξ0 ) = ϕ(t0 , x0 ) и z̃(t, ξ0 ) = ϕ(t, x̃(t, ξ0 )), ∀t ∈ [t0 , T ].
Из результатов работ [2, с. 32; 3, с. 97; 6, с. 42; 7, c. 11; 8, c. 203] вытекает следующее утверждение о
связи определения 2 с определениями минимаксного [6, с. 42] и вязкостного решений [7, c. 11].
Утверждение 1. Если в задаче (1) выполнены условия A1–A4, то существует и единственно обоб-
щенное решение задачи (1) в смысле определения 2, причем определение 2 эквивалентно определениям
минимаксного и вязкостного решений задачи (1).
Заметим, что в случае, когда гамильтониан является выпуклым, обобщенное решение является субдиф-
ференцируемой функцией.
3.3 Сингулярное множество
Напомним определение сингулярного множества для обобщенного решения ϕ(·) задачи (1).
Определение 3. Сингулярным множеством Q для обобщенного решения ϕ(·) задачи (1) называется
множество точек (t, x) ∈ ΠT , в которых функция ϕ недифференцируема.
Согласно работам [2, с. 157; 3, с. 97], справедливы следующие утверждения
Утверждение 2. Пусть в задаче (1) выполнены условия A1–A4. Для того чтобы точка (t, x) ∈ Q, необ-
ходимо и достаточно, чтобы существовали ξ1 , ξ2 ∈ Rn , ξ1 6= ξ2 , для которых выполнены соотношения
x̃(t, ξ1 ) = x̃(t, ξ2 ) = x, z̃(t, ξ1 ) = z̃(t, ξ2 ) = ϕ(t, x), s̃(t, ξ1 ) 6= s̃(t, ξ2 ),
где x̃(·, ξi ), s̃(·, ξi ), z̃(·, ξi ), i = 1, 2 — решения характеристической системы (2), (3).
Утверждение 3. Если множество сингулярности Q содержит кривую, описываемую дифференцируе-
мой функцией t 7→ x(t), 0 < t0 < t 6 T , то справедливо соотношение
dx(t)
s̃(t, ξ1 ) − s̃(t, ξ2 ), = H(t, x(t), s̃(t, ξ1 )) − H(t, x(t), s̃(t, ξ2 )), ∀t ∈ (t0 , T ] .
dt
Это соотношение обобщает известное условие Ранкина–Гюгонио на случай n-мерной фазовой перемен-
ной x.
3.4 Класс кусочно-гладких функций
В данной работе рассматриваются обобщенные решения ϕ(·) задачи (1) из класса кусочно-гладких функ-
ций (см., например, [6, с. 55]).
Определение 4. Функция ϕ(·) : ΠT → R называется кусочно-гладкой в ΠT , если
(1) Область определения этой функции ΠT имеет следующую структуру
[ \
ΠT = Mi , Mi Mj = ∅, если i 6= j, i, j ∈ I, I = {1, 2, ...N } ,
i∈I
где Mi — дифференцируемые подмногообразия в ΠT .
(2) Сужение кусочно-гладкой функции ϕ(·, ·) на M j , j ∈ J, является непрерывно дифференцируемой
функцией, где
J := {i ∈ I : Mi − (n + 1) -мерное многообразие},
символ M j означает замыкание множества Mj .
(3) Для любых i ∈ I, (t1 , x1 ), (t2 , x2 ) ∈ Mi выполнено J(t1 , x1 ) = J(t2 , x2 ), где
J(t, x) := {j ∈ J : (t, x) ∈ M j }.
102
Выбор для исследования класса кусочно-гладких решений уравнения Гамильтона–Якоби–Беллмана мо-
тивирован тем, что в практических задачах, как правило, решения содержатся в классе кусочно-гладких
S
функций. Сингулярное множество Q в этом классе выглядит следующим образом: Q = j∈I\J Mj , где
T
Mi Mj = ∅, i 6= j, i, j ∈ I \ J.
4 Сингулярная характеристика уравнения Гамильтона–Якоби–Беллмана
4.1 Предварительные результаты
Введем следующее определение
Определение 5. Сингулярной характеристикой называется характеристика, для которой ее график
фазовой компоненты x(·, ξ) на некотором интервале времени принадлежит сингулярному множеству
Q.
Согласно [9, 10], справедливы следующие утверждения 4 и 5.
Утверждение 4. Если в задаче (1) выполнены условия A1−A4, гамильтониан H = H(t, s) и существует
сингулярная характеристика, то скорости фазовой компоненты характеристик на сингулярном множе-
стве совпадают со скоростью фазовой компоненты сингулярной характеристики.
Доказательство. Пусть в точке (t, x) ∈ Q пересекаются графики k + 1 фазовых компонент характеристик
x(·, ξi ), i ∈ 1, k + 1. Пусть одна из этих характеристик с фазовой компонентой x(·, ξk+1 ) = x(·, ξ∗ ) являет-
ся сингулярной. Из того, что точка (t, x), в которой пересеклись фазовые характеристики, принадлежит
сингулярному множеству, согласно утверждению 2 и определению 5, следует, что выполнены k условий
Ранкина–Гюгонио:
h(s̃(t, ξi ) − s̃(t, ξ∗ )), Ds H(t, s̃(t, ξ∗ ))i = H(t, s̃(t, ξi )) − H(t, s̃(t, ξ∗ )), (4)
где i ∈ 1, k. Перепишем равенства (4) в виде скалярного произведения (n + 1)-мерных векторов:
h(s̃(t, ξi ) − s̃(t, ξ∗ ), H(t, s̃(t, ξi )) − H(t, s̃(t, ξ∗ ))), (Ds H(t, s̃(t, ξ∗ )), −1)i = 0. (5)
Запишем выпуклую комбинацию из скалярных произведений (5):
k+1
X
ai h(s̃(t, ξi ) − s̃(t, ξ∗ ), H(t, s̃(t, ξi )) − H(t, s̃(t, ξ∗ ))), (Ds H(t, s̃(t, ξ∗ )), −1)i = 0,
i=1
Pk+1
где ai > 0 и i=1 ai = 1. Из билинейности скалярного произведения получим
*k+1 +
X
ai (s̃(t, ξi ) − s̃(t, ξ∗ ), H(t, s̃(t, ξi )) − H(t, s̃(t, ξ∗ ))), (Ds H(t, s̃(t, ξ∗ )), −1) = 0.
i=1
Pk+1 Pk+1
Введем следующие обозначения: s∗ = ∗
i=1 ai s̃(t, ξi ), H = i=1 ai H(t, s̃(t, ξi )). Получим следующее
равенство:
h(s∗ − s̃(t, ξ∗ ), H ∗ − H(t, s̃(t, ξ∗ ))), (Ds H(t, s̃(t, ξ∗ )), −1)i = 0.
Из вогнутости гамильтониана H(·) по s следует неравенство
k+1
X
H∗ > ai H(t, s̃(t, ξi )),
i=1
c другой стороны,
k+1
X
H∗ = ai H(t, s̃(t, ξi ))
i=1
Pk+1
при ai > 0 и i=1 ai = 1. Отсюда следует, что точка (s∗ , H ∗ ) принадлежит графику функции H(·) в точке
(t, s∗ ), а значит H ∗ = H(t, s∗ ).
103
В силу того что вектор (s∗ − s∗ , H(t, s∗ ) − H(t, s∗ )) ортогонален вектору (Ds H(t, s∗ ), −1), получаем, что
не только точка (s∗ , H(t, s∗ )) принадлежит графику H(·), но и вся касательная гиперплоскость к графику с
нормалью (Ds H(t, s∗ ), −1), точки которой получены через выпуклую комбинацию точек следующего вида
(s̃(t, ξi ), H(t, s̃(t, ξi ))) при i ∈ 1, k + 1.
Из гладкости гамильтониана H(·) по переменной s следует, что нормаль
(Ds H(t, s∗ ), −1) = (Ds H(t, s̃(t, ξi )), −1).
Вспомним, что ẋ = Ds H(t, s̃(t, ξi )) при i ∈ 1, k + 1. Утверждение 4 доказано.
Утверждение 5. Если в задаче (1) выполнены условия A1 − A4, гамильтониан H = H(s), то не суще-
ствует сингулярной характеристики.
Доказательство. Для того чтобы доказать утверждение 5, необходимо провести аналогичные выкладки
доказательства утверждения 4 для случая, когда H = H(s).
В случае когда H = H(s), из условия, что ṡ = −Dx H(s) = 0, получаем s̃(t, ξi ) = Dx σ(ξi ), i ∈ 1, k + 1.
Из утверждения 2 и условия (Ds H(Dx σ(ξi )), −1) = (Ds H(Dx σ(ξ∗ )), −1), следует, что обе части тождества
равны (N, −1). Отсюда следует, что для фазовых характеристик выполнено
Z T Z T
x = x(t) = ξi − Ds H(Dx σ(ξi )) dτ = ξ∗ − Ds H(Dx σ(ξ∗ )) dτ.
t t
Иначе это равенство можно переписать в следующем виде:
Z T Z T
x = x(t) = ξi − N dτ = ξ∗ − N dτ.
t t
Получили противоречие в виде ξi = ξ∗ , чего не может быть, так как у двух различных характеристик
должны быть различные начальные значения фазовых компонент характеристик. Утверждение 5 доказано.
4.2 Основной результат. Необходимое условие существования сингулярной характеристики
уравнения Гамильтона–Якоби–Беллмана
Покажем необходимое условие существования сингулярной характеристики и его связь со структурой
гамильтониана.
Теорема 1. Пусть выполнены условия A1 − A4 и существует сингулярная характеристика, график
фазовой компоненты которой принадлежит сингулярному множеству Q. Тогда существует [a∗ , b∗ ) ⊂
[0, T ] и существует многозначное отображение t → G(t) ∈ Rn , множество значений которого является
выпуклым, компактным и ∀t ∈ [a∗ , b∗ ) ∀s ∈ G(t) ∀ε > 0 Ḃ(s, ε) ∩ G(t) 6= ∅. При этом существуют
отображения t → N (t) ∈ Rn непрерывно дифференцируемое по каждой компоненте и t → c(t) ∈ R
непрерывно дифференцируемое и такие, что H(t, s) = N (t)s + c(t), ∀t ∈ [a∗ , b∗ ), ∀s ∈ G(t).
Здесь Ḃ(s, ε) – n-мерный шар радиуса ε с выколотым центром в точке s.
Доказательство. Из того, что существует сингулярная характеристика, а значит утверждение 4 и утвер-
ждение 2 справедливы, следует, что для любой точки (t∗ , x∗ ) ∈ Q, t∗ ∈ [a∗ , b∗ ) выполнены следующие
условия: существует по крайней мере два параметра ξ1 и ξ2 , где ξ1 6= ξ2 , такие, что
x̃(t∗ , ξ1 ) = x̃(t∗ , ξ2 ) = x∗ , z̃(t∗ , ξ1 ) = z̃(t∗ , ξ2 ) = ϕ(t∗ , x∗ ), s̃(t∗ , ξ1 ) 6= s̃(t∗ , ξ2 ),
Ds H(t∗ , s̃(t∗ , ξ1 )) = Ds H(t∗ , s̃(t∗ , ξ2 )) = N (t∗ ),
где x̃(·, ξi ), s̃(·, ξi ), z̃(·, ξi ), i = 1, 2, — решения характеристической системы (2), (3).
Из того, что на полуинтервале времени [a∗ , b∗ ) существует сингулярная характеристика, чей график
фазовой компоненты принадлежит сингулярному множеству Q, следует, что сингулярное множество Q на
полуинтервале [a∗ , b∗ ) содержит непрерывно дифференцируемую кривую t 7→ x(t), у которой dx(t) dt = N (t),
t ∈ [a∗ , b∗ ).
Из утверждения 3 следует, что выполнено обобщенное условие Ранкина–Гюгонио
hs̃(t∗ , ξ1 ) − s̃(t∗ , ξ2 ), N (t∗ )i = H(t∗ , s̃(t∗ , ξ1 )) − H(t∗ , s̃(t∗ , ξ2 )), ∀t∗ ∈ [a∗ , b∗ ) .
104
Перепишем это условие в следующем виде
h(s̃(t∗ , ξ1 ) − s̃(t∗ , ξ2 ), H(t∗ , s̃(t∗ , ξ1 )) − H(t∗ , s̃(t∗ , ξ2 ))), (N (t∗ ), −1)i = 0, ∀t∗ ∈ [a∗ , b∗ ) . (6)
Введем обозначение
sα = (α)s̃(t∗ , ξ1 ) + (1 − α)s̃(t∗ , ξ2 ),
где α ∈ [0, 1].
Из условия (6) видно, что вектор
(s̃(t∗ , ξ1 ) − s̃(t∗ , ξ2 ), H(t∗ , s̃(t∗ , ξ1 )) − H(t∗ , s̃(t∗ , ξ2 ))) (7)
ортогонален вектору (N (t∗ ), −1). Пусть Γ – гиперплоскость, имеющая нормаль (N (t∗ ), −1) и проходящая
через точки (s̃(t∗ , ξ1 ), H(t∗ , s̃(t∗ , ξ1 ))) и (s̃(t∗ , ξ2 ), H(t∗ , s̃(t∗ , ξ2 ))) графика функции H(·). Из того, что функ-
ция H = H(t∗ , s) является вогнутой по переменной s, следует, что гиперплоскость Γ в точках (sα , H(t∗ , sα )),
где α ∈ [0, 1], является также и опорной к графику функции H(·) в каждой из этих точек. Отсюда следует,
что точки вида (sα , H(t∗ , sα )), где α ∈ [0, 1], принадлежат графику функции H(·).
Из гладкости функции H(t∗ , s) по переменной s следует, что гиперплоскость Γ является касательной во
всех точках вида (sα , H(t∗ , sα )), следовательно (N (t), −1) является нормалью к графику функции H(t, s)
во всех точках (sα , H(t∗ , sα )), где α ∈ [0, 1].
Отсюда следует, что кандидатом на множество G(t∗ ) в этом случае является множество, состоящее из
sα , где α ∈ [0, 1].
Нетрудно заметить, что множество G(t∗ ) является выпуклым и замкнутым, а также имеет непустую
внутренность, так как s̃(t∗ , ξ1 ) 6= s̃(t∗ , ξ2 ).
Известно, что для любого момента t∗ ∈ [a∗ , b∗ ): Ds H(t∗ , s) = N (t∗ ) при s ∈ G(t∗ ). Проинтегрируем по
переменной s равенство Ds H(t, s) = N (t), получим H(t, s) = N (t)s+c(t), при s ∈ G(t) и t ∈ [a∗ , b∗ ). Теорема
доказана.
Множество G(t) может иметь более сложную структуру, чем в разобранном случае, и оно может быть
не единственным, но оно всегда будет замкнутым, выпуклым и иметь непустую внутренность.
5 Пример
5.1 Краевая задача уравнения Гамильтона–Якоби–Беллмана, в которой существует сингу-
лярная характеристика
В случае когда H = H(s), справедливо утверждение 5, то есть не существует сингулярной характеристи-
ки. Отсюда следует, что нужно рассмотреть гамильтониан, зависящий не только от импульсной перемен-
ной s. Исследуем пример [10], иллюстрирующий случай, когда гамильтониан H = H(t, s), t ∈ [0, T ], s ∈ R
существует сингулярная характеристика. Для того чтобы показать существование сингулярной характе-
ристики, покажем не только существование гамильтониана, удовлетворяющего утверждению теоремы 1,
но и согласованного с ним краевого условия σ(ξ).
(
−(|s| − T + t)2 , |s| > T − t;
H(t, s) = (8)
0, |s| 6 T − t.
Построим по гамильтониану (8) согласованное с ним краевое условие.
Так как гамильтониан симметричен относительно s = 0, мы будем искать симметричное относительно
ξ = 0 краевое условие σ(ξ). Предположим, что выполнено s(T, 0) = Dx σ(0) = 0. В силу того что графики
фазовых компонент характеристик являются чётными функциями по переменной ξ относительно x = 0,
можно ограничиться лишь x > 0 и ξ > 0.
Кандидатом на сингулярное множество, в этом примере, является множество (t, x) : x = 0, t ∈ [0, T ).
(1) Выпишем дифференциальное уравнение для фазовой компоненты характеристики:
(
−2(s + T − t), s 6 −T + t;
ẋ = Ds H(t, s) =
0, −T + t 6 s 6 0.
Из утверждения 4 следует, что в точках сингулярного множества выполнено
ẋ = 0 = Ds H(t, s) = −2(s + T − t).
105
Отсюда следует, что момент пересечения характеристики, чья импульсная компонента равна s, с сингу-
лярной характеристикой равен t = s + T .
(2) С другой стороны, по условию Ранкина–Гюгонио, на сингулярном множестве выполняется условие
0 = H(t, 0) − H(t, s) = 0 + (s − T + t)2 .
При этом из ṡ = −Dx H(t, s) = 0 следует s = Dx σ(ξ).
Выпишем дифференциальное уравнение для ценовой компоненты характеристики:
(
(T − t)2 − s2 , s 6 −T + t;
ż = sDs H(t, s) − H(t, s) =
0, −T + t 6 s 6 0.
(3) Выпишем уравнения Коши для фазовой и ценовой компонент характеристики:
Z t
x(t) = ξ − 2 (s + T − τ )dτ = ξ + (T − t)(2s + T − t),
T
Z t
(T − t)3
z(t) = σ(ξ) + (τ − T )2 − s2 dτ = σ(ξ) + s2 (T − t) − .
T 3
Из утверждения 2, учитывая, что у сингулярной характеристики с параметром ξ = 0 фазовая компо-
нента x(t) ≡ 0 и ценовая компонента z(t) ≡ σ(0), при t ∈ [0, T ], с учетом пунктов (1) и (3), получим
2
0 = ξ − s2 , σ(0) = σ(ξ) − s3 .
3
√
Из того, что мы рассматриваем случай x > 0, ξ > 0 и s 6 0, получим
√ s = − ξ, σ(ξ) = σ(0) + 23 s3 .
Для случая x 6 0, ξ 6 0 и s > 0 аналогично получаем s = −ξ, σ(ξ) = σ(0) − 32 s3 .
3
Объединяя полученные результаты, имеем σ(ξ) = σ(0) − 32 |ξ| 2 . Проверим, что Dx σ(ξ) = s:
p
Dx σ(ξ) = −sign(ξ) |ξ| = s.
В рассмотренном примере сингулярное множество Q имеет вид {(t, x) : x = 0, t ∈ [0, T )}, краевая
функция
2 3
σ(ξ) = σ(0) − |ξ| 2 . (9)
3
Данный пример можно модифицировать на случай s ∈ Rn , заменив модуль на евклидову норму.
5.2 Двойственная задача к краевой задаче уравнения Гамильтона–Якоби–Беллмана
Построим задачу вариационного исчисления, двойственную к краевой задаче уравнения Гамильтона–
Якоби–Беллмана вида (8), (9).
Рассмотрим три случая для нахождения сопряженной функции H ∗ (t, ẋ):
1) H ∗ (t, ẋ) = min|s|6T −t sẋ = (t − T )|ẋ|;
2) H ∗ (t, ẋ) = mins>T −t sẋ + (s − T + t)2
2а. Рассмотрим случай, когда минимум достигается в вершине параболы.
Продифференцируем по переменной s выражение sẋ + (s − T + t)2 , получим ẋ + 2(s − T + t) = 0, при
этом s = T − t − ẋ2 > T − t, следовательно в этом случае
ẋ2
H ∗ (t, ẋ) = (T − t)ẋ − , ẋ 6 0.
4
2б. Рассмотрим случай, когда минимум достигается при s = T − t. Получим H ∗ (t, ẋ) = (T − t)ẋ.
3) H ∗ (t, ẋ) = mins6−T +t sẋ + (s + T − t)2
3а. Рассмотрим случай, когда минимум достигается в вершине параболы
Продифференцируем по переменной s выражение sẋ + (s + T − t)2 , получим ẋ + 2(s + T − t) = 0, при
этом s = −T + t − ẋ2 6 −T + t, следовательно в этом случае
ẋ2
H ∗ (t, ẋ) = (−T + t)ẋ − , ẋ > 0.
4
106
3б. Рассмотрим случай, когда минимум достигается при s = −T + t. Получим H ∗ (t, ẋ) = (−T + t)ẋ.
Таким образом, получаем, что
ẋ2 ẋ2 ẋ2
H ∗ (t, ẋ) = min (T − t)ẋ − , (−T + t)ẋ − , (T − t)ẋ, (−T + t)ẋ = (−T + t)|ẋ| − .
4 4 4
Рассмотрим двойственную задачу на минимизацию интегрально-терминального функционала вида
Z T
2 3 ẋ2
I(t0 , x0 ) = σ(0) − |x(T )| 2 + g(t, ẋ)dt → min, g(t, ẋ) = −H ∗ (t, ẋ) = (T − t)|ẋ| + .
3 t0 4
5.3 Задача оптимального управления
На основе предыдущего примера сформулируем следующую задачу оптимального управления:
ẋ = u, x ∈ R, C ∈ R>0 , u ∈ U (t) = [−2(t + C), 2(t + C)] , t ∈ [0, T ] . (10)
В качестве допустимых управлений рассматриваются измеримые по t функции u(·) : [0, T ] 3 t → U (t).
Пусть U – множество допустимых управлений.
При этом минимизируется функционал в форме Больца
Z T
u2
2 3
I(t0 , x0 ) = − |x(T )| 2 + (T − t)|u(τ )| + (τ ) dτ → min . (11)
3 t0 4 u(·)∈U
Рассмотрим задачу в области
x ∈ −(t + C)2 , (t + C)2 .
t ∈ [0, T ] ,
Построим гамильтониан для задачи (10),(11):
u2
H(t, s) = min {us + (T − t)|u| + }.
u∈U (t) 4
Получим
2
−2st + 2T t − t ,
при s > T + C
2
−(s − T + t) , при T − t 6 s 6 T + C
H(t, s) = 0, при |s| < T − t
−(s + T − t)2 , при − T − C 6 s 6 −T + t
2st + 2T t − t2 ,
при s 6 −T − C.
Для данной задачи можно явно найти оптимальное позиционное управление
( p
2 sign(x) |x|, x ∈ −(t + C)2 , (t + C)2 ;
u(t, x) =
/ −(t + C)2 , (t + C)2 .
2 sign(x)(t + C), x ∈
Данная функция является непрерывной, но недифференцируемой в точках x = 0, t ∈ [0, T ).
6 Заключение
В данной работе получены условия на структуру гамильтониана, необходимые для существования син-
гулярной характеристики уравнения Гамильтона–Якоби–Беллмана. Приведен пример задачи оптималь-
ного управления, для которой соответствующее уравнение Беллмана имеет сингулярню характеристику.
Построен оптимальный синтез.
Благодарности
Работа выполнена при поддержке РФФИ (проект №14-01-00168) и программы Президиума РАН Мате-
”
матические задачи современной теории управления“ (проект №387-2015-0075).
107
Список литературы
[1] A.A. Melikyan, Generalized Characteristics of First Order PDEs: Applications in Optimal Control and
Differential Games. Birkhäuser, Boston, 1998.
[2] N.N. Subbotina, E.A. Kolpakova, T.B. Tokmantsev, and L.G. Shagalova. The Method of Characteristics for
Hamilton–Jacobi–Bellman equations. RIO UrO RAN, Yekaterinburg, 2013 (in Russian). = Н.Н. Субботина,
Е.А. Колпакова, Т.Б. Токманцев, Л.Г. Шагалова. Метод характеристик для уравнения Гамильтона–
Якоби–Беллмана. Екатеринбург: УрО РАН, 2013.
[3] E.A. Kolpakova. The generalized method of characteristics in the theory of Hamilton–Jacobi equations and
conservation laws. Trudy Inst. Mat. i Mekh. UrO RAN 16 (5):95–102, 2010.
[4] I.G. Petrovskii. Lectures on the Theory of Ordinary Differential Equations. Mosk. Gos. Univ., Moscow,
1984 (in Russian). = И.Г. Петровский Лекции по теории обыкновенных дифференциальных уравнений.
Москва: Изд-во Моск. ун-та, 1984.
[5] R. Rockafellar. Convex Analysis. Princeton Univ., Princeton, 1970.
[6] A.I. Subbotin. Generalized Solutions of First-Order PDEs. The Dynamical Optimization Perspective.
Birkhäuser, 1995.
[7] M.G. Crandall and P.L. Lions. Viscosity solutions of Hamilton–Jacobi equations, Trans. Amer. Math. Soc.
277 (1):1–42, 1983.
[8] N.N. Subbotina and E.A. Kolpakova. On the structure of locally Lipschitz minimax solutions of the
Hamilton–Jacobi–Bellman equation in terms of classical characteristics. Proc. Steklov Inst. Math. 268(Suppl.
1):S222–S239, 2010.
[9] A.S. Rodin. Singular characteristics of the piecewise-smooth minimax solution of the Hamilton–Jacobi–
Bellman equation. Izvest. Inst. Mat. Inform. Udmurt. Univ., 2(46):149–154, 2015 (in Russian). = А.С. Ро-
дин. Сингулярные характеристики кусочно-гладкого минимаксного решения уравнения Гамильтона–
Якоби–Беллмана. Известия Института математики и информатики Удмуртского университета,
2(46):149–154, 2015.
[10] A.S. Rodin. Existence of the singular characteristic of the piecewise-smooth minimax solution of the
Hamilton–Jacobi–Bellman equation. Sborn. nauch. trud. Inf. shkoly mol. uchen., 5:287–292, 2015 (in
Russian). = А.С. Родин. Существование сингулярной характеристики кусочно-гладкого минимакс-
ного решения уравнения Гамильтона–Якоби–Беллмана. Сборник научных трудов информационной
школы мол. уч., 5:287–291, 2015.
108
Conditions for the existence of a singular characteristic of the
Hamilton–Jacobi–Bellman equation
Aleksei S. Rodin
Ural Federal University (Yekaterinburg, Russia)
Krasovskii Institute of Mathematics and Mechanics (Yekaterinburg, Russia)
Keywords: Hamilton–Jacobi–Bellman equation, minimax solution, singular set, piecewise smooth solution,
singular characteristic, conjugate function, Rankin–Hugoniot’s condition.
The properties of the minimax piecewise smooth solution of the Hamilton–Jacobi–Bellman equation are
studied in this paper. The conditions of existence of singular characteristics are studied. Singular characteristic is
characteristic of which the graph of the phase components lies in the set of nondifferentiability points generalized
piecewise smooth solution of the Hamilton–Jacobi–Bellman equation. Necessary conditions for the existence of
the singular characteristics are obtained. We analysed an example of the Cauchy problem for the Hamilton–
Jacobi–Bellman equation and the corresponding optimal control problem when there is a singular characteristic.
109