=Paper=
{{Paper
|id=Vol-1662/opt4
|storemode=property
|title=О тауберовых теоремах и функциях цены(On value functions and Tauberian theorems)
|pdfUrl=https://ceur-ws.org/Vol-1662/opt4.pdf
|volume=Vol-1662
|authors=Dmitry V. Khlopin
}}
==О тауберовых теоремах и функциях цены(On value functions and Tauberian theorems)==
https://ceur-ws.org/Vol-1662/opt4.pdf
О тауберовых теоремах и функциях цены
Д.В. Хлопин
khlopin@imm.uran.ru
ИММ УрО РАН (Екатеринбург) УрФУ (Екатеринбург)
Аннотация
В работе обсуждаются асимптотические свойства цен в динамиче-
ских играх и соответствующие им тауберовы теоремы. Рассматри-
ваются предел функций цены в играх с усредненным по большо-
му промежутку платежом при стремлении длины промежутка к
бесконечности и предел функций цены в играх с дисконтирован-
ным платежом, если ставка дисконта стремится к нулю. Вся ди-
намика игры интерпретируется как отображение, сопоставляющее
каждой платежной функции цену соответствующей игры. Анонси-
руется равномерная тауберова теорема для таких функций цены:
при слабых предположениях на отображение, из равномерной схо-
димости функций цены для одного из семейств (усредненные по
промежутку или усредненные с дисконтом) следует равномерная
сходимость функций цены для другого семейства, и к тому же пре-
делу. Соответствующее доказательство основано на принципе оп-
тимальности Беллмана. В работе также имеется обширный обзор
результатов, полученных для таких пределов.
1 Введение
Тауберовы теоремы возникли в математическом анализе, и изначально под ними понимались теоремы,
устанавливающие условия сходимости одного метода суммирования из сходимости другого метода. Первые
результаты такого рода были показаны Абелем и Таубером: для сходящихся рядов суммирование по Абелю
дает ту же сумму [1], при выполнении некоторых асимптотик если ряд суммируем по Абелю, то этот ряд
обязан сходиться и к тому же числу [2]. Само название “Тауберова теорема” было впервые использовано
Харди (см., например, [3]), установившего следующее соответствие между суммированием по Абелю и
суммированием по Чезаро: для ограниченной последовательности из ai , если один из пределов
n n
1X X
lim ai , lim λ (1 − λ)i−1 ai
n→∞ n λ↓0
i=1 i=1
существует, то существует и другой, и они равны. Теоремы такого типа позволяют, в частности, получать
хорошие приближения для суммы ряда, используя более быстрые методы суммирования. О дальнейшем
исследовании методов суммирования, как в функциональных, так и в топологических пространствах, см.
[4, 7, 16, 36].
Copyright c by the paper’s authors. Copying permitted for private and academic purposes.
In: A.A. Makhnev, S.F. Pravdin (eds.): Proceedings of the 47th International Youth School-conference “Modern Problems in
Mathematics and its Applications”, Yekaterinburg, Russia, 02-Feb-2016, published at http://ceur-ws.org
73
Чуть более общий взгляд позволяет посмотреть на тауберовы теоремы как на теоремы, связывающие
асимптотики образа интегрального преобразования с асимптотиками прообраза [37], [21, Ch.8]. Такая ин-
терпретация позволила тауберовым теоремам стать базовым инструментом при доказательстве предельных
теорем в теории вероятности и в теории случайных процессов (см. [6, Ch 13], [21, Ch.8], [41]); в частности, с
помощью таких теорем был показан асимптотический закон распределения простых чисел [37, 78]. На этом
пути удалось обобщить такие теоремы на локально компактные группы [10]. Еще одна область применения
— эргодическая теория [8].
Указанная выше тауберова теорема для последовательностей может быть обобщена на функции (см.,
например, [5, Sect. 6.8]): для ограниченной функции h имеет место равенство пределов среднего по проме-
жутку и среднего с дисконтом (среднее по Абелю, Abel mean, и среднее по Чезаро, Cesaro mean)
Z ∞
1 T
Z
lim h(t) dt, lim λ e−λt h(t) dt,
T →∞ T 0 λ→0 0
если хотя бы один из этих пределов существует. Нас будут интересовать аналоги этих двух тауберовых
теорем уже для игровых постановок, равно как и асимптотики цен (оптимальных средних), если усреднение
ведется по одной из указанных выше формул.
Интерес именно к этим асимптотикам объясняется следующими соображениями. В случае когда гори-
зонт планирования потенциально неограничен, оптимизировать нужно некоторую асимптотику функци-
онала качества, при этом лучше, если эта асимптотика будет числовой характеристикой, в частности —
окажется конечной. Уже в случае ограниченноcти функции g (фукнции мгновенной полезности), нельзя
гарантировать для всех допустимых траекторий z конечность интеграла от h(t) = g(z(t)) при интегриро-
вании по всей положительной оси, то есть нельзя обеспечить и конечность соответствующих цен. С другой
стороны, хотя бы верхние и нижние частичные пределы указанных выше выражений для h(t) = g(z(t))
заведомо существуют и конечны. Но тогда именно их и следует оптимизировать.
Эти пределы как объект оптимизации впервые были рассмотрены для марковских управляемых процес-
сов в [11]. В случае конечного числа состояний было показано как существование предела цен (для дискон-
тированных средних), так и существование стратегии, близкой к оптимальной (Blackwell optimality) сразу
при всех достаточно малых дисконтах. Отсюда автоматически, в силу указанной выше тауберовой теоре-
мы, следовало, что такие стратегии близки к оптимальным и для усредненных по промежутку платежей,
оптимальные средние по промежутку (цены для усредненных по промежутку платежей) сходятся к тому
же пределу. Показать, что предел существует пытались неоднократно, в том числе с помощью уже имею-
щихся на тот момент тауберовых теорем (см. [9, 13]). Для дисконтированных платежей в стохастических
играх с конечным числом состояний и действий существование было показано [14] с использованием весь-
ма нетривиального математического аппарата (разложение в ряд Пюизё при помощи принципа Тарского о
неподвижной точке). В 1981 наконец была доказана [15] тауберова теорема для стохастической игры двух
лиц с конечным числом состояний и действий: оптимальные средние по промежутку и оптимальные сред-
ние с дисконтом имеют общий предел. Тем самым для стохастических игр с конечным числом состояний
и действий было доказано существование предела оптимальных средних по промежутку.
На этом интерес к тауберовой теореме со стороны игр не затих. В частности, показанные еще во времена
Харди утверждения и (контр)примеры были найдены, подробно изучены и опубликованы снова [24, 66] вме-
сте с доказательствами в той форме, что была удобна для исследования стохастических игр. Тауберова тео-
рема оказалась для стохастических игр удобным инструментом при доказательстве существования почти
оптимальных стратегий, алгоритмов их построения, ограничимся здесь лишь обзорами [23, 33, 45, 67, 88].
Последние результаты в этой области см. в [65, 71, 87].
Еще один смежный для таких постановок вопрос: асимптотические свойства оптимальных и близких
к оптимальным стратегий при усредненных по большому промежутку и/или с малым дисконтированием
платежах, в частности, возникающие при этом теоремы о магистрали (turnpike phenomenon). Ограничимся
в этой связи лишь ссылками на [56, 68, 74].
При исследовании процессов с непрерывным временем, в теории управления и смежных с ней обла-
стях, вопрос существования пределов оптимальных средних (по большому промежутку и/или с малым
дисконтированием) возникал неоднократно: стохастические уравнения [12], управление с малым парамет-
ром [18], асимптотики уравнений Гамильтона–Якоби [17], теория возмущений [19], задачи управления на
бесконечном промежутке [20, 22].
С конца 1990-х гг. условия существования пределов оптимальных средних стали исследоваться особенно
активно. Несколькими группами, независимо, они были показаны методами слабой КАМ теории (weak
74
KAM-theory) [30, 32]; методами теории управления [35]; через условия нерезонансности [29]. Примерно
тогда же была доказана первая тауберова теорема для управляемых процессов с непрерывным временем:
цены при усреднении с малым дисконтом сходятся равномерно на инвариантном компактном множестве к
некоторой константе тогда и только тогда, когда цены при усреднении по большому промежутку сходятся
к той же константе равномерно на том же множестве [28].
В эргодическом случае такие пределы существуют и действительно равны константе, сама константа
называется при этом критическим значением (additive eigenvalue, или Man̂e critical value) соответствую-
щего гамильтониана, подробнее см. в [47, 58, 62, 83]. Условие эргодичности можно ослабить, при этом
накладываются условия типа коэрцитивности (или равномерной эллиптичности) гамильтониана, управля-
емости и/или диссипативности самой системы (nonexpansive-like case); не претендуя на полноту, ограни-
чимся лишь [29, 34, 44, 46, 47, 48]. В эргодическом случае тауберова теорема была показана также и для
дифференциальных игр [42].
Отметим, что цены могут не сходиться к константе даже в задачах управления уже в самых простых
случаях [31, 52]. Последние результаты о существовании таких пределов цен (прежде всего в случае неэр-
годичности, но в рамках nonexpansive-like case) см. также в [52, 61], [65, Sect. 3.4], [77].
В случае дифференциальных игр пока существование пределов показано или при очень сильных тре-
бованиях на систему [39, 40, 42, 47, 53, 77] или для систем конкретного вида [49].
Как было отмечено в обзоре [50] пятилетней давности, «The existence of a limit for large time differential
games is certainly one of the main challenges in differential games theory». Любопытно, что в то же самое
время, уже в обзоре [51], посвященном дифференциальным играм как методу построения оптимальных
решений в повторяющихся играх (идея не нова, смотрите, например, в [26]), в отдельный параграф были
выделены найденные на тот момент условия для существования (у различных модификаций стохастиче-
ских игр, у управляемых процессов с дискретным временем) равномерных пределов оптимальных средних.
Более свежие результаты о существовании оптимальных средних, о тауберовых теоремах для процессов с
дискретным временем см. в [75].
Хотя тауберова теорема для управляемых процессов с дискретным временем – достаточно старый ре-
зультат [25], на задачи управления с непрерывным временем она была перенесена существенно позже [60].
Полученный в [60] результат примечателен тем, что он показан в максимально общей абстрактной по-
становке. Фактически [85, 86], доказано следующее: пусть для некоторого фазового пространства Ω есть
некоторое множество процессов z, замкнутое относительно конкатенации, причем каждое сужение процес-
са (на бесконечный вправо интервал) также является процессом; пусть также для ограниченной функции
g (функции мгновенной полезности), для всякого процесса z можно гарантировать, что реализующийся
вдоль него платеж g(z(·)) измерим; если, в этих условиях, хотя бы один предел оптимальных средних
(по большому промежутку или при малом дисконтировании) существует при всяком начальном (для z)
условии из Ω и равномерен по Ω, то существует и другой предел и эти пределы равны.
Впрочем, как отмечено в [60] для игр, в том числе и дифференциальных: «When the dynamic is controlled
by two players with opposite goals, a Tauberian theorem is given in the ergodic case by Theorem 2.1 in [42].
However, the general, non ergodic case is still an open problem in both the discrete and the continuous settings».
За прошедшие со времен публикации [60] три года ситуация существенно изменилась, были доказаны
тауберовы теоремы:
• для абстрактных динамических игр с нулевой суммой [69],
• для стохастических игр с нулевой суммой [71],
• для антагонистических дифференциальных игр [73],
• для рекурсивных игр (с нулевой суммой) со счетным числом состояний и конечным числом действий
для каждого состояния [75] (следует из результата [71]).
В [69] для заданной в духе [60] абстрактной динамической игры был введен ряд аксиом, гарантирую-
щих, в частности, выполнение принципа оптимальности Беллмана и существование близких к оптималь-
ным стратегий. Далее, в явном виде, по близким к оптимальным стратегиям в играх одного семейства
(при усреднении по большому промежутку или усреднении с малым дисконтом), строились стратегии
для игр другого семейства, гарантирующие там (в случае существования соответствующего равномерного
предела) тот же результат. Поскольку существование седловой точки также предполагалось, отсюда авто-
матически следовала тауберова теорема для таких игр. В [73] тауберова теорема для дифференциальных
75
игр была показана также прямым конструированием соответствующих стратегий (в классе однозначных
неупреждающих операторов [38]), соответствующие гарантии также были показаны прямыми оценками.
В [71] рассматривался более любопытный подход. В стохастических играх цена является неподвижной
точкой оператора Шепли соответствующей игры (фактически, это пошаговый вариант принципа оптималь-
ности Беллмана). Параметризованные (дисконтом или длиной промежутка) семейства соответствующих
операторов Шепли были погружены в некоторые липшицевые семейства нерасширяющихся операторов,
для неподвижных точек которых и была показана соответствующая тауберова теорема.
Все указанные выше тауберовы теоремы требовали от игр существования седловой точки. Анонсируе-
мый ниже результат не требует этого.
2 Анонсируемый результат
Пусть даны
• непустое множество Ω состояний,
• функция мгновенной полезности g : Ω 7→ [0, 1],
• непустое множество K функций-процессов из R>0 в Ω.
Пусть также отображение t 7→ g(z(t)) измеримо по Борелю для всякого z ∈ K.
Определим средний по промежутку платеж vT : K → R и средний с дисконтом платеж wλ : K → R
правилами:
Z T Z ∞
4 1 4
vT (z) = g(z(t)) dt, wλ (z) = λ e−λt g(z(t)) dt ∀T, λ > 0, z ∈ K.
T 0 0
Через C и V обозначим множество всех ограниченных функций-платежей c : K → R и множество всех
ограниченных функций-цен u : Ω → R соответственно. Рассмотрим отображение V : C → V, удовлетворя-
ющее условиям:
1) V [Ac + B] ≡ AV [c] + B для всех c ∈ C, A > 0, B ∈ R;
2) V [c1 ](ω) 6 V [c2 ](ω) для всех ω ∈ Ω, если для платежей c1 , c2 ∈ C выполнено c1 (z) 6 c2 (z) при всех z ∈ K.
Будем говорить, что отображение V удовлетворяет принципу динамического программирования для
платежей vT (T > 0), если для всех положительных T, h значение V для платежа
Z h
1 T
g(z(t)) dt + V [vT +h ](z(h))
T +h 0 T +h
совпадает с V [vT +h ].
Будем говорить, что отображение V удовлетворяет принципу динамического программирования для
платежей wλ (λ > 0), если для всех положительных λ, h значение V для платежа
Z h
λ e−λt g(z(t)) dt + e−λh V [wλ ](z(h))
0
совпадает с V [wλ ].
Доказательство следующей теоремы смотрите в [89].
Теорема. Предположим, что как для платежей vT (T > 0), так и для платежей wλ (λ > 0), отобра-
жение V удовлетворяет принципу динамического программирования.
Тогда, если по крайней мере один из пределов цен
lim V [vT ](ω), lim V [wλ ](ω) ∀ω ∈ Ω
T ↑∞ λ↓0
существует и равномерен на Ω, то и второй предел существует, равномерен на Ω и совпадает с первым.
Например, пусть для всех ω ∈ Ω заданы непустые множества L(ω), M(ω). Пусть всякому ω ∈ Ω, каждой
паре (l, m) ∈ L(ω) × M(ω) соответствует единственный процесс z[ω, l, m] ∈ K. Мы можем ввести V : C → V,
используя любое из следующих правил:
4 4
∀c ∈ C, ω ∈ Ω.
V1 [c](ω) = sup inf c z[ω, l, m] , V2 [c](ω) = sup c z[ω, l, m]
l∈L(ω)m∈M(ω) l∈L(ω),m∈M(ω)
76
Анонсируемая выше теорема и ее модификации влекут с V = V1 , V = V2 тауберовы теоремы для абстракт-
ной задачи управления [60], для дифференциальных игр [73], для абстрактной динамической игры [69],
для стохастических игр [64].
3 Открытые вопросы
На текущий момент можно сформулировать несколько достаточно масштабных целей при исследовании
тауберовых теорем для игр.
• Получение общих теорем, связывающих сходимость цен для одного семейства плотностей, со сходи-
мостью к тому же пределу цен с другим семейством вероятностных распределений.
Пока все упомянутые выше результаты касались случая, когда усреднение велось для семейств плотно-
стей T1 1[0,T ] (усреднение по большому промежутку), λe−λt (усреднение с дисконтом). Однако, вообще
говоря, можно рассматривать произвольные направленные семейства вероятностных распределений,
лишь бы платеж за любой фиксированный промежуток времени в пределе был пренебрежимо мал.
Особенно полезны в этом отношении самоподобные семейства плотностей (см. [21, Ch 8.5]). Для дис-
кретного случая в [63] получены некоторые условия существования равномерного предела, не завися-
щего от выбора вероятностных распределений. В [27] было замечено, что если плотность не возрастает,
то для случая одного игрока функция платы может быть выражена как выпуклая комбинация средних
по Чезаро. Следовательно, что и было там доказано для управляемых процессов с дискретным вре-
менем, существует равномерный предел цен, соответствующим этим распределениям, и он совпадает
с равномерным пределом цен при усреднении по большому промежутку, лишь бы последний предел
существовал и был равномерен. Подобный подход использовался в [55, 64] для повторяющихся игр. В
[72, 76] было показана общая тауберова теорема — из существования равномерного предела цен для
самоподобного семейства плотностей следует существование такого же предела для цен по любому
направленному семейству плотностей из достаточно широкого класса. О последних результатах для
задач управления в non-expansive case смотрите [79, 82, 84]. В стохастических играх с конечным числом
состояний и действий вопрос решен совсем недавно, см. [87].
Для теории суммирования соответствующая общая теория была построена в статье [7]. Для задач
управления, для игровых постановок, подобные результаты пока несут частный характер.
• Получение для игровых постановок условий, при которых существует стратегия, гарантирующая ту
же асимптотику, что и предел оптимальных цен.
Такая стратегия была бы нечувствительна к выбору достаточно малого параметра дисконтирования
и/или достаточно большого промежутка времени. В случае задач управления в non-expansive case
имеется стратегия, нечувствительная также и к выбору вероятностного распределения [84]. В стоха-
стических играх такая постановка известна, текущее состояние вопроса хорошо разобрано в [67, 87, 88].
• Подбор в формулировке игровых вариантов тауберовых теорем слабейшей топологии для предела цен.
На текущий момент имеется масса примеров, в которых из существования поточечного предела для
одного из оптимальных средних не следует существование предела для другого оптимального среднего
[54, 71]. При этом, в отличие от некоторых стохастических постановок, в детерминированных задачах
существующие примеры позволяют надеяться на тауберову теорему для поточечной сходимости почти
всюду [27, 60]. С другой стороны, например в эргодическом случае, принципиальное значение (ср.
[43, 58]) имела бы тауберова теорема для равномерной сходимости на каждом компакте.
• Тауберовы теоремы для игр с ненулевой суммой (кооперативные игры, равновесие по Штакельбергу,
равновесие по Нэшу).
На данный момент максимальное продвижение — для стохастических игр с конечным числом состоя-
ний и действий рассмотрены равновесие по Нэшу для двух лиц [57] и кооперативные игры [80].
• Распространие тауберовых теорем на задачи, описываемые различными обобщениями уравнения
Гамильтона–Якоби, например на игры среднего поля.
Пока полученные результаты требуют эргодичность (см. [58, 59, 70, 81, 83]).
77
Благодарности
Работа частично поддержана Программой Президиума РАН «Математические задачи современной тео-
рии управления» и грантом РФФИ № 15-01-07909.
Список литературы
m(m−1) 2
[1] N. H. Abel. Untersuchungen uber die Reihe: 1 + m
1x+ 1·2 x + m(m−1)(m−2)
1·2·3 x3 + . . . u.s.w., J. Reine
Angew. Math., 1:311-339, 1826.
[2] A. Tauber. Ein Satz aus der Theorie der unendichen Reihen, Monatsh. Math. Phys., 8(1):273–277, 1887.
[3] G. H. Hardy, J. E. Littlewood. Tauberian theorems concerning power series and Dirichlet’s series whose
coefficients are positive. Proc London Math Soc. 13:174–191, 1914.
[4] A. L. Brudno. Summation of bounded sequences by matrices. Matematicheskii Sbornik, 58(2):191–247, 1945.
(In Russian) = A. Л. Брудно. Суммирование ограниченных последовательностей матрицами. Мат.
Сборник, 58(2):191–247. 1945.
[5] G. H. Hardy. Divergent series, Clarendon Press, Oxford, 1949.
[6] W. Feller. An Introduction to Probability Theory and its Applications, V. II, John Wiley, New York, 1952.
[7] W. Orlicz. Linear operations in Saks spaces (II). Studia Mathematica, 1(15):1–25, 1955.
[8] E. Hill, R. S. Phillips, Functional analysis and semigroups, Amer. Math. Soc, 1957.
[9] D. Gillette Stochastic games with zero stop probabilities, contributions to the theory of games, vol 3.,
Princeton University Press, Princeton, 1957.
[10] M. A. Naimark. Normed Rings, Nordhoff, Groningen, 1960.
[11] D. Blackwell. Discrete dynamic programming, Ann Math Statist, 33(2):719–726, 1962.
[12] R. Z. Khasminskii. On the averaging principle for Ito stochastic equations. Kybernetika, 4(3):260–279, 1968.
(in Russian) = Р. З. Хасьминский О принципе усреднения для стохастических дифференциальных
уравнений. Кибернетика, 4(3):260–279, 1968.
[13] T. M. Liggett, S. A. Lippman. Stochastic games with perfect information and time average payoff. SIAM
Review, 11(4):604–607, 1969.
[14] T. Bewley, E. Kohlberg. The asymptotic theory of stochastic games. Math Oper Res, 1:197–208, 1976.
[15] J. F. Mertens, A. Neyman. Stochastic Games. Int J of Game Theory, 10(2):53–66, 1981.
[16] F. Terpe. On a new application of topology in summation theory. Proc. Steklov Inst. Math., 154:233–238,
1984.
[17] P. Lions, G. Papanicolaou, S. R. S. Varadhan. Homogenization of Hamilton-Jacobi Equations, unpublished
work, 1986.
[18] V. G. Gaitsgori. Use of the averaging method in control problems. Differential Equations, 22(11):1290–1299,
1986.
[19] A. Bensoussan. Perturbation Methods in Optimal Control, Wiley/Gauthiers-Villas, Chichester, 1988.
[20] F. Colonius, W. Kliemann. Infinite time optimal control and periodicity. Appl. Math. Optim., 20:113—130,
1989.
[21] N. H. Bingham, C. M. Goldie, J. L. Teugels. Regular variation, Cambridge Univ. Press, Cambridge. 1989.
[22] D. A. Carlson, A. B. Haurie, A. Leizarowitz. Optimal Control on Infinite Time Horizon, Springer, Berlin,
1991.
78
[23] T. E. S. Raghavan, J. A. Filar. Algorithms for stochastic games —– a survey. Zeitschrift fur Operations
Research, 35(6):437–472, 1991.
[24] R. Sznajder, J. A. Filar. Some comments on a theorem of Hardy and Littlewood. Journal of Optimization
Theory and Applications, 75(1):201–208, 1992.
[25] E. Lehrer, S. Sorin. A uniform Tauberian theorem in dynamic programming. Math Oper Res 17(2):303–307,
1992.
[26] N. Vieille. Weak approachability. Math Oper Res, 17(4):781–791, 1992.
[27] D. Monderer, S. Sorin. Asymptotic properties in Dynamic Programming. Int J of Game Theory, 22:1–11,
1993.
[28] M. Arisawa. Ergodic problem for the Hamilton-Jacobi-Bellman equation II. Ann Inst Henri Poincare,
15:1–24, 1998.
[29] M. Arisawa, P. Lions. On ergodic stochastic control. Com in partial differential equations, 23(11-12):2187–
2217, 1998.
[30] A. Fathi. Sur la convergence du semi-groupe de Lax-Oleinik. Comptes Rendus de l’Academie des Sciences-
Series I-Mathematics, 327(3):267–270, 1998.
[31] L. Grune. On the Relation between Discounted and Average Optimal Value Functions. J Diff Eq, 148:65–99,
1998.
[32] G. Namah, J.-M. Roquejoffre. Remarks on the long time behaviour of the solutions of Hamilton–Jacobi
equations, Comm. Partial Differential Equations, 24(5–6):883—893, 1999.
[33] J. Flesch, F. Thuijsman, O. J. Vrieze. Average-discounted equilibria in stochastic games. European journal
of operational research, 112(1):187–195, 1999.
[34] Z. Artstein, V. Gaitsgory. The value function of singularly perturbed control systems. Appl Math Optim,
41(3):425–445, 2000.
[35] G. Barles, P. E. Souganidis. On the large time behavior of solutions of Hamilton–Jacobi equations, SIAM
J. Math. Anal., 31(4):925-–939, 2000.
[36] J. Boos, F. P. Cass. Classical and modern methods in summability. Clarendon Press, 2000.
[37] J. Korevaar. A century of complex Tauberian theory. Bulletin of the American Mathematical Society,
39(4):475–531, 2002.
[38] A. G. Chentsov. On a relation between different versions of the method of programmed iterations: a
positional version. Cybernet Systems Anal, 38(3):422–43, 2002.
[39] P. Bettiol. On ergodic problem for Hamilton-Jacobi-Isaacs equations. ESAIM: Control, Optimisation and
Calculus of Variations, 11(04):522–541, 2005.
[40] M. K. Ghosh, K. S. M. Rao. Differential games with ergodic payoff. SIAM J Control Optim, 43:2020–2035,
2005.
[41] A. L. Yakymiv. Stochastic applications of Tauberian theorems Fizmatlit, Moscow. 2005. (in Russian) =
А. Л.Якымив Вероятностные приложения тауберовых теорем Физматлит, Москва, 2005.
[42] O. Alvarez, M. Bardi. Ergodic problems in differential games, In: Advances in dynamic game theory,
Birkhäuser, Boston. pp.131–152, 2007.
[43] N. Ichihara, H. Ishii. Asymptotic solutions of Hamilton–Jacobi equations with semi-periodic Hamiltonians.
Communications in Partial Differential Equations, 33(5):784–807, 2008.
[44] M. Bardi. On differential games with long-time-average cost. In: Advances in dynamic games and their
applications, Birkhäuser, Boston. pp. 3–18, 2009.
79
[45] E. Solan. Stochastic games. In: Encyclopedia of Complexity and Systems Science, Springer New York. pp.
8698–8708, 2009.
[46] V. Gaitsgory, M. Quincampoix. Linear programming approach to deterministic infinite horizon optimal
control problems with discounting. SIAM J Control Optim 48(4):2480-2512, 2009.
[47] O. Alvarez, M. Bardi. Ergodicity, stabilization, and singular perturbations for Bellman-Isaacs equations.
Mem Am Math Soc, 960:1–90, 2010.
[48] Z. Artstein, I. Bright. Periodic optimization suffices for infinite horizon planar optimal control. SIAM J
Control Optim, 48(8):4963-4986, 2010.
[49] P. Cardaliaguet. Ergodicity of Hamilton-Jacobi equations with a non coercive non convex Hamiltonian in
R2 /Z2 . Ann. l‘Inst. Henri Poincare(C) Non Linear Anal, 27(3):837–856, 2010.
[50] R. Buckdahn, P. Cardaliaguet, M. Quincampoix. Some Recent Aspects of Differential Game Theory. Dyn
Games Appl, 1(1):74–114, 2011.
[51] S. Sorin. Zero-sum repeated games: recent advances and new links with differential games. Dyn Games and
Appl, 1(1):172–207, 2011.
[52] M. Quincampoix, J. Renault. On the existence of a limit value in some non expansive optimal control
problems. SIAM J Control Optim, 49(5):2118–2132, 2011.
[53] W. H. Fleming, D. Hernandez-Hernandez. On the value of stochastic differential games. Commun. Stoch.
Anal, 5(2):341–351, 2011.
[54] G. Vigeral. A zero-sum stochastic game with compact action sets and no asymptotic value. Dyn Games and
Appl, 3(2):172–186, 2011.
[55] P. Cardaliaguet, R. Laraki, S. Sorin. A Continuous Time Approach for the Asymptotic Value in Two-Person
Zero-Sum Repeated Games. SIAM J Cont Optim, 50:1573–1596, 2012.
[56] V. Kolokoltsov, W. Yang. Turnpike theorems for Markov games. Dyn Games Appl, 2(3):294–312, 2012.
[57] A. Neyman, C. d’Aspremont, J. F. Mertens. Continuous-time stochastic games. preprint DP 616, Center
for the Study of Rationality, Hebrew University, Jerusalem, 2012.
[58] G. Barles. An introduction to the theory of viscosity solutions for first-order Hamilton–Jacobi equations and
applications. In Hamilton-Jacobi equations: approximations, numerical analysis and applications, Springer
Berlin Heidelberg, pp. 49–109, 2013.
[59] H. Ishii. A short introduction to viscosity solutions and the large time behavior of solutions of
Hamilton–Jacobi equations. In: Hamilton-Jacobi Equations: Approximations, Numerical Analysis and
Applications, Springer Berlin Heidelberg. pp. 111-249, 2013.
[60] M. Oliu-Barton, G. Vigeral. A uniform Tauberian theorem in optimal control. In: Advances in Dynamic
Games, Birkhäuser, Boston, pp. 199-215, 2013.
[61] V. Gaitsgory, M. Quincampoix. On sets of occupational measures generated by a deterministic control
system on an infinite time horizon. Nonlinear Analysis:Theory, Methods & Applications, 88:27–41, 2013.
[62] F. Cagnetti, D. Gomes, H. Mitake, H. V. Tran. A new method for large time behavior of degenerate viscous
Hamilton–Jacobi equations with convex Hamiltonians. In: Annales de l’Institut Henri Poincare (C) Non
Linear Analysis, Elsevier Masson, 2013.
[63] J. Renault. General limit value in Dynamic Programming, arXiv preprint arXiv:1301.0451, 2013.
[64] B. Ziliotto. Zero-sum repeated games: counterexamples to the existence of the asymptotic value and the
conjecture max min = lim v(n). arXiv preprint arXiv:1305.4778, 2013.
80
[65] R. Buckdahn, D. Goreac, M. Quincampoix. Existence of asymptotic values for nonexpansive stochastic
control systems. Appl Math Optim, 70(1):1–28, 2014.
[66] C. J. Bishop, E. A. Feinberg, J. Zhang. Examples concerning Abel and Cesaro limits. Journal of
Mathematical Analysis and Applications, 420(2):1654-1661, 2014.
[67] R. Laraki, S. Sorin. Recursive games. Eds: P.Young and S.Zamir. Handbook of Game Theory, pp.27-95,
2014.
[68] A. J. Zaslavski. Turnpike phenomenon and infinite horizon optimal control. NY, Springer International
Publishing. 2014.
[69] D. V. Khlopin. On uniform Tauberian theorems for dynamic games, arXiv preprint arXiv:1412.7331, 2014.
[70] H. Mitake, H. V. Tran. Dynamical properties of Hamilton–Jacobi equations via the nonlinear adjoint
method: Large time behavior and Discounted approximation, 2015.
[71] B. Ziliotto. A Tauberian theorem for nonexpansive operators and applications to zero-sum stochastic games.
arXiv preprint arXiv:1501.0652, 2015.
[72] D. V. Khlopin. On Asymptotic Value for Dynamic Games with Saddle Point. Eds: C.Bonnet, B.Pasik-
Duncan, H.Ozbay and Q.Zhang. 2015 Proceedings of the Conference on Control and Its Applications, SIAM,
pp.282–289, 2015.
[73] D. V. Khlopin. Uniform Tauberian theorem for differential games. Automation and Remote Control,
77(4):734–750, 2016.
[74] L. Grune, M. A. Muller. On the relation between strict dissipativity and the turnpike property. Universitat
Bayreuth. 2015.
[75] X. Li, X. Venel. Recursive games: uniform value, Tauberian theorem and the Mertens conjecture “max min =
lim vn = lim vλ . International Journal of Game Theory, 45(1):1–35, 2015.
[76] D. V. Khlopin. On asymptotic value function for dynamic games with long- time-average payoff. In: Papers of
the International Conference “Systems Dynamics and Control Processes” dedicated to the 90th Anniversary
of Academician N.N.Krasovskii. Pp. 341-348, 2015 (In Russian) = Д. В. Хлопин. Об асимптотике цен
в дифференциальных играх при усреднении платежей по большим промежуткам. Динамика систем
и процессы управления (SDCP-2014): Труды Междунар. конф., посвящ. 90-летию со дня рождения
акад. Н.Н. Красовского. Изд-во УМЦ УПИ, Екатеринбург. C. 341-348, 2015
[77] P. Cannarsa, M. Quincampoix. Vanishing Discount Limit and Nonexpansive Optimal Control and
Differential Games. SIAM Journal on Control and Optimization, 53(4):1789-1814, 2015.
[78] G. Tenenbaum. Introduction to analytic and probabilistic number theory, American Mathematical Soc.,
2015.
[79] D. Goreac, A note on general Tauberian-type results for controlled stochastic dynamics, Electronic
Communications in Probability, 20:1–12, 2015.
[80] E. Kohlberg, A. Neyman. The Cooperative Solution of Stochastic Games. Harvard Business School Working
Paper, No. 15-071, March 2015.
[81] A. Davini, A. Fathi, R. Iturriaga, M. Zavidovique. Convergence of the solutions of the discounted
Hamilton–Jacobi equation. 2015.
[82] X. Li, M. Quincampoix, J. Renault. Limit value for optimal control with general means, Discrete and
Continuous Dynamical Systems. Series A, 36:2113–2132, 2016.
[83] H. Ishii, H. Mitake, H. V. Tran. The vanishing discount problem and viscosity Mather measures. Part 1:
the problem on a torus. arXiv preprint arXiv:1603.01051, 2016.
81
[84] X. Li. Uniform value for some nonexpansive optimal control problems with general evaluations. arXiv
preprint arXiv:1603.03936, 2016.
[85] M. Oliu-Barton, G. Vigeral. A uniform Tauberian theorem in optimal control. Erratum. HAL preprint
hal:00661833v3, 2016.
[86] D. V. Khlopin. On an example for the Uniform Tauberian theorem in abstract control systems. arXiv
preprint arXiv:1604.07111, 2016.
[87] B. Ziliotto. General limit value in zero-sum stochastic games. International Journal of Game Theory,
45:353-374, 2016.
[88] A. Jaśkiewicz, A. S Nowak. Zero-Sum Stochastic Games, preprint, 2016.
[89] D. V. Khlopin. Tauberian theorem for value functions. arXiv preprint arXiv:1607.06067, 2016.
82
On value functions and Tauberian theorems
Dmitry V. Khlopin
Krasovskii Institute of Mathematics and Mechanics (Yekaterinburg, Russia)
Ural Federal University (Yekaterinburg, Russia)
Keywords: game theory, Tauberian theorems, dynamic games, Bellman’s principle.
The paper deals with dynamic games and Tauberian theorems for their value function. We study the limit
of value functions of games with long run average costs as the time horizon tends to infinity, and the limit of
value functions of discounted games as the discount tends to zero. We treat a dynamics as a map from payoffs
to value functions. Under weak assumptions on this map, we announced Uniform Tauberian Theorem for value
functions: the uniform convergence of value functions for one of these families (either long-run, or discounted
averages) implies the uniform convergence for the other family to the same limit. Its proof is based on Bellman’s
principle. Also, this paper contains an extensive survey of results obtained for these limits.
83