О тауберовых теоремах и функциях цены Д.В. Хлопин khlopin@imm.uran.ru 73 83

В работе обсуждаются асимптотические свойства цен в динамических играх и соответствующие им тауберовы теоремы. Рассматриваются предел функций цены в играх с усредненным по большому промежутку платежом при стремлении длины промежутка к бесконечности и предел функций цены в играх с дисконтированным платежом, если ставка дисконта стремится к нулю. Вся динамика игры интерпретируется как отображение, сопоставляющее каждой платежной функции цену соответствующей игры. Анонсируется равномерная тауберова теорема для таких функций цены: при слабых предположениях на отображение, из равномерной сходимости функций цены для одного из семейств (усредненные по промежутку или усредненные с дисконтом) следует равномерная сходимость функций цены для другого семейства, и к тому же пределу. Соответствующее доказательство основано на принципе оптимальности Беллмана. В работе также имеется обширный обзор результатов, полученных для таких пределов.

 -

lim 1 Xn ai; n!1 n i=1 lim #0 n X(1 i=1 )i 1ai Чуть более общий взгляд позволяет посмотреть на тауберовы теоремы как на теоремы, связывающие асимптотики образа интегрального преобразования с асимптотиками прообраза [ 37 ], [21, Ch.8]. Такая интерпретация позволила тауберовым теоремам стать базовым инструментом при доказательстве предельных теорем в теории вероятности и в теории случайных процессов (см. [6, Ch 13], [21, Ch.8], [ 41 ]); в частности, с помощью таких теорем был показан асимптотический закон распределения простых чисел [ 37, 78 ]. На этом пути удалось обобщить такие теоремы на локально компактные группы [ 10 ]. Еще одна область применения эргодическая теория [ 8 ].

Указанная выше тауберова теорема для последовательностей может быть обобщена на функции (см., например, [5, Sect. 6.8]): для ограниченной функции h имеет место равенство пределов среднего по промежутку и среднего с дисконтом (среднее по Абелю, Abel mean, и среднее по Чезаро, Cesaro mean) lim T !1 T 0 1 Z T h(t) dt; lim !0

Z 1 0 e th(t) dt; если хотя бы один из этих пределов существует. Нас будут интересовать аналоги этих двух тауберовых теорем уже для игровых постановок, равно как и асимптотики цен (оптимальных средних), если усреднение ведется по одной из указанных выше формул.

Интерес именно к этим асимптотикам объясняется следующими соображениями. В случае когда горизонт планирования потенциально неограничен, оптимизировать нужно некоторую асимптотику функционала качества, при этом лучше, если эта асимптотика будет числовой характеристикой, в частности окажется конечной. Уже в случае ограниченноcти функции g (фукнции мгновенной полезности), нельзя гарантировать для всех допустимых траекторий z конечность интеграла от h(t) = g(z(t)) при интегрировании по всей положительной оси, то есть нельзя обеспечить и конечность соответствующих цен. С другой стороны, хотя бы верхние и нижние частичные пределы указанных выше выражений для h(t) = g(z(t)) заведомо существуют и конечны. Но тогда именно их и следует оптимизировать.

Эти пределы как объект оптимизации впервые были рассмотрены для марковских управляемых процессов в [ 11 ]. В случае конечного числа состояний было показано как существование предела цен (для дисконтированных средних), так и существование стратегии, близкой к оптимальной (Blackwell optimality) сразу при всех достаточно малых дисконтах. Отсюда автоматически, в силу указанной выше тауберовой теоремы, следовало, что такие стратегии близки к оптимальным и для усредненных по промежутку платежей, оптимальные средние по промежутку (цены для усредненных по промежутку платежей) сходятся к тому же пределу. Показать, что предел существует пытались неоднократно, в том числе с помощью уже имеющихся на тот момент тауберовых теорем (см. [ 9, 13 ]). Для дисконтированных платежей в стохастических играх с конечным числом состояний и действий существование было показано [ 14 ] с использованием весьма нетривиального математического аппарата (разложение в ряд Пюизё при помощи принципа Тарского о неподвижной точке). В 1981 наконец была доказана [ 15 ] тауберова теорема для стохастической игры двух лиц с конечным числом состояний и действий: оптимальные средние по промежутку и оптимальные средние с дисконтом имеют общий предел. Тем самым для стохастических игр с конечным числом состояний и действий было доказано существование предела оптимальных средних по промежутку.

На этом интерес к тауберовой теореме со стороны игр не затих. В частности, показанные еще во времена Харди утверждения и (контр)примеры были найдены, подробно изучены и опубликованы снова [ 24, 66 ] вместе с доказательствами в той форме, что была удобна для исследования стохастических игр. Тауберова теорема оказалась для стохастических игр удобным инструментом при доказательстве существования почти оптимальных стратегий, алгоритмов их построения, ограничимся здесь лишь обзорами [ 23, 33, 45, 67, 88 ]. Последние результаты в этой области см. в [ 65, 71, 87 ].

Еще один смежный для таких постановок вопрос: асимптотические свойства оптимальных и близких к оптимальным стратегий при усредненных по большому промежутку и/или с малым дисконтированием платежах, в частности, возникающие при этом теоремы о магистрали (turnpike phenomenon). Ограничимся в этой связи лишь ссылками на [ 56, 68, 74 ].

При исследовании процессов с непрерывным временем, в теории управления и смежных с ней областях, вопрос существования пределов оптимальных средних (по большому промежутку и/или с малым дисконтированием) возникал неоднократно: стохастические уравнения [ 12 ], управление с малым параметром [ 18 ], асимптотики уравнений Гамильтона–Якоби [ 17 ], теория возмущений [ 19 ], задачи управления на бесконечном промежутке [ 20, 22 ].

С конца 1990-х гг. условия существования пределов оптимальных средних стали исследоваться особенно активно. Несколькими группами, независимо, они были показаны методами слабой КАМ теории (weak KAM-theory) [ 30, 32 ]; методами теории управления [ 35 ]; через условия нерезонансности [ 29 ]. Примерно тогда же была доказана первая тауберова теорема для управляемых процессов с непрерывным временем: цены при усреднении с малым дисконтом сходятся равномерно на инвариантном компактном множестве к некоторой константе тогда и только тогда, когда цены при усреднении по большому промежутку сходятся к той же константе равномерно на том же множестве [ 28 ].

В эргодическом случае такие пределы существуют и действительно равны константе, сама константа называется при этом критическим значением (additive eigenvalue, или Manˆe critical value) соответствующего гамильтониана, подробнее см. в [ 47, 58, 62, 83 ]. Условие эргодичности можно ослабить, при этом накладываются условия типа коэрцитивности (или равномерной эллиптичности) гамильтониана, управляемости и/или диссипативности самой системы (nonexpansive-like case); не претендуя на полноту, ограничимся лишь [ 29, 34, 44, 46, 47, 48 ]. В эргодическом случае тауберова теорема была показана также и для дифференциальных игр [ 42 ].

Отметим, что цены могут не сходиться к константе даже в задачах управления уже в самых простых случаях [ 31, 52 ]. Последние результаты о существовании таких пределов цен (прежде всего в случае неэргодичности, но в рамках nonexpansive-like case) см. также в [ 52, 61 ], [65, Sect. 3.4], [ 77 ].

В случае дифференциальных игр пока существование пределов показано или при очень сильных требованиях на систему [ 39, 40, 42, 47, 53, 77 ] или для систем конкретного вида [ 49 ].

Как было отмечено в обзоре [ 50 ] пятилетней давности, ¾The existence of a limit for large time differential games is certainly one of the main challenges in differential games theory¿. Любопытно, что в то же самое время, уже в обзоре [ 51 ], посвященном дифференциальным играм как методу построения оптимальных решений в повторяющихся играх (идея не нова, смотрите, например, в [ 26 ]), в отдельный параграф были выделены найденные на тот момент условия для существования (у различных модификаций стохастических игр, у управляемых процессов с дискретным временем) равномерных пределов оптимальных средних. Более свежие результаты о существовании оптимальных средних, о тауберовых теоремах для процессов с дискретным временем см. в [ 75 ].

Хотя тауберова теорема для управляемых процессов с дискретным временем – достаточно старый результат [ 25 ], на задачи управления с непрерывным временем она была перенесена существенно позже [ 60 ]. Полученный в [ 60 ] результат примечателен тем, что он показан в максимально общей абстрактной постановке. Фактически [ 85, 86 ], доказано следующее: пусть для некоторого фазового пространства есть некоторое множество процессов z, замкнутое относительно конкатенации, причем каждое сужение процесса (на бесконечный вправо интервал) также является процессом; пусть также для ограниченной функции g (функции мгновенной полезности), для всякого процесса z можно гарантировать, что реализующийся вдоль него платеж g(z( )) измерим; если, в этих условиях, хотя бы один предел оптимальных средних (по большому промежутку или при малом дисконтировании) существует при всяком начальном (для z) условии из и равномерен по , то существует и другой предел и эти пределы равны.

Впрочем, как отмечено в [ 60 ] для игр, в том числе и дифференциальных: ¾When the dynamic is controlled by two players with opposite goals, a Tauberian theorem is given in the ergodic case by Theorem 2.1 in [ 42 ]. However, the general, non ergodic case is still an open problem in both the discrete and the continuous settings¿.

За прошедшие со времен публикации [ 60 ] три года ситуация существенно изменилась, были доказаны тауберовы теоремы: для абстрактных динамических игр с нулевой суммой [ 69 ], для стохастических игр с нулевой суммой [ 71 ], для антагонистических дифференциальных игр [ 73 ], для рекурсивных игр (с нулевой суммой) со счетным числом состояний и конечным числом действий для каждого состояния [ 75 ] (следует из результата [ 71 ]).

В [ 69 ] для заданной в духе [ 60 ] абстрактной динамической игры был введен ряд аксиом, гарантирующих, в частности, выполнение принципа оптимальности Беллмана и существование близких к оптимальным стратегий. Далее, в явном виде, по близким к оптимальным стратегиям в играх одного семейства (при усреднении по большому промежутку или усреднении с малым дисконтом), строились стратегии для игр другого семейства, гарантирующие там (в случае существования соответствующего равномерного предела) тот же результат. Поскольку существование седловой точки также предполагалось, отсюда автоматически следовала тауберова теорема для таких игр. В [ 73 ] тауберова теорема для дифференциальных игр была показана также прямым конструированием соответствующих стратегий (в классе однозначных неупреждающих операторов [ 38 ]), соответствующие гарантии также были показаны прямыми оценками.

В [ 71 ] рассматривался более любопытный подход. В стохастических играх цена является неподвижной точкой оператора Шепли соответствующей игры (фактически, это пошаговый вариант принципа оптимальности Беллмана). Параметризованные (дисконтом или длиной промежутка) семейства соответствующих операторов Шепли были погружены в некоторые липшицевые семейства нерасширяющихся операторов, для неподвижных точек которых и была показана соответствующая тауберова теорема.

Все указанные выше тауберовы теоремы требовали от игр существования седловой точки. Анонсируемый ниже результат не требует этого. 2

Анонсируемый результат Пусть даны непустое множество

состояний, функция мгновенной полезности g : 7! [0; 1], непустое множество K функций-процессов из R>0 в . Пусть также отображение t 7! g(z(t)) измеримо по Борелю для всякого z 2 K.

Определим средний по промежутку платеж vT : K ! R и средний с дисконтом платеж w : K ! R правилами: vT (z) =4 1 Z T g(z(t)) dt; w (z) =4

T 0

Z 1 e tg(z(t)) dt

8T; > 0; z 2 K: 0 Через C и V обозначим множество всех ограниченных функций-платежей c : K ! R и множество всех ограниченных функций-цен u : ! R соответственно. Рассмотрим отображение V : C ! V, удовлетворяющее условиям: 1) V [Ac + B] AV [c] + B для всех c 2 C; A > 0; B 2 R; 2) V [c1](!) 6 V [c2](!) для всех ! 2 , если для платежей c1; c2 2 C выполнено c1(z) 6 c2(z) при всех z 2 K.

Будем говорить, что отображение V удовлетворяет принципу динамического программирования для платежей vT (T > 0), если для всех положительных T; h значение V для платежа 1

Z h T + h 0

Z h 0

T

T + h g(z(t)) dt +

V [vT +h](z(h)) e tg(z(t)) dt + e hV [w ](z(h)) совпадает с V [vT +h].

Будем говорить, что отображение V удовлетворяет принципу динамического программирования для платежей w ( > 0), если для всех положительных ; h значение V для платежа совпадает с V [w ].

Доказательство следующей теоремы смотрите в [89].

Теорема. Предположим, что как для платежей vT (T > 0), так и для платежей w ( > 0), отображение V удовлетворяет принципу динамического программирования.

Тогда, если по крайней мере один из пределов цен lim V [vT ](!); lim V [w ](!) T "1 #0 8! 2 существует и равномерен на ; то и второй предел существует, равномерен на и совпадает с первым.

Например, пусть для всех ! 2 заданы непустые множества L(!); M(!): Пусть всякому ! 2 , каждой паре (l; m) 2 L(!) M(!) соответствует единственный процесс z[!; l; m] 2 K. Мы можем ввести V : C ! V, используя любое из следующих правил:

V1[c](!) =4 sup inf l2L(!)m2M(!) c z[!; l; m] ; V2[c](!) =4

sup l2L(!);m2M(!) c z[!; l; m]

8c 2 C; ! 2 : Анонсируемая выше теорема и ее модификации влекут с V = V1, V = V2 тауберовы теоремы для абстрактной задачи управления [ 60 ], для дифференциальных игр [ 73 ], для абстрактной динамической игры [ 69 ], для стохастических игр [64]. 3

Открытые вопросы На текущий момент можно сформулировать несколько достаточно масштабных целей при исследовании тауберовых теорем для игр.

Получение общих теорем, связывающих сходимость цен для одного семейства плотностей, со сходимостью к тому же пределу цен с другим семейством вероятностных распределений. Пока все упомянутые выше результаты касались случая, когда усреднение велось для семейств плотностей T1 1[0;T ] (усреднение по большому промежутку), e t (усреднение с дисконтом). Однако, вообще говоря, можно рассматривать произвольные направленные семейства вероятностных распределений, лишь бы платеж за любой фиксированный промежуток времени в пределе был пренебрежимо мал. Особенно полезны в этом отношении самоподобные семейства плотностей (см. [21, Ch 8.5]). Для дискретного случая в [ 63 ] получены некоторые условия существования равномерного предела, не зависящего от выбора вероятностных распределений. В [ 27 ] было замечено, что если плотность не возрастает, то для случая одного игрока функция платы может быть выражена как выпуклая комбинация средних по Чезаро. Следовательно, что и было там доказано для управляемых процессов с дискретным временем, существует равномерный предел цен, соответствующим этим распределениям, и он совпадает с равномерным пределом цен при усреднении по большому промежутку, лишь бы последний предел существовал и был равномерен. Подобный подход использовался в [ 55, 64 ] для повторяющихся игр. В [ 72, 76 ] было показана общая тауберова теорема из существования равномерного предела цен для самоподобного семейства плотностей следует существование такого же предела для цен по любому направленному семейству плотностей из достаточно широкого класса. О последних результатах для задач управления в non-expansive case смотрите [ 79, 82, 84 ]. В стохастических играх с конечным числом состояний и действий вопрос решен совсем недавно, см. [ 87 ]. Для теории суммирования соответствующая общая теория была построена в статье [ 7 ]. Для задач управления, для игровых постановок, подобные результаты пока несут частный характер. Получение для игровых постановок условий, при которых существует стратегия, гарантирующая ту же асимптотику, что и предел оптимальных цен. Такая стратегия была бы нечувствительна к выбору достаточно малого параметра дисконтирования и/или достаточно большого промежутка времени. В случае задач управления в non-expansive case имеется стратегия, нечувствительная также и к выбору вероятностного распределения [84]. В стохастических играх такая постановка известна, текущее состояние вопроса хорошо разобрано в [ 67, 87, 88 ]. Подбор в формулировке игровых вариантов тауберовых теорем слабейшей топологии для предела цен. На текущий момент имеется масса примеров, в которых из существования поточечного предела для одного из оптимальных средних не следует существование предела для другого оптимального среднего [ 54, 71 ]. При этом, в отличие от некоторых стохастических постановок, в детерминированных задачах существующие примеры позволяют надеяться на тауберову теорему для поточечной сходимости почти всюду [ 27, 60 ]. С другой стороны, например в эргодическом случае, принципиальное значение (ср. [ 43, 58 ]) имела бы тауберова теорема для равномерной сходимости на каждом компакте. Тауберовы теоремы для игр с ненулевой суммой (кооперативные игры, равновесие по Штакельбергу, равновесие по Нэшу). На данный момент максимальное продвижение для стохастических игр с конечным числом состояний и действий рассмотрены равновесие по Нэшу для двух лиц [ 57 ] и кооперативные игры [80]. Распространие тауберовых теорем на задачи, описываемые различными обобщениями уравнения Гамильтона–Якоби, например на игры среднего поля. Пока полученные результаты требуют эргодичность (см. [ 58, 59, 70, 81, 83 ]). Список литературы

Работа частично поддержана Программой Президиума РАН ¾Математические задачи современной теории управления¿ и грантом РФФИ № 15-01-07909. [1] N. H. Abel. Untersuchungen uber die Reihe: 1 + m1 x + m(m 1) x2 + m(m 1)(m 2) x3 + : : : u:s:w:, J. Reine 1 2 1 2 3

Angew. Math., 1:311-339, 1826. [64] B. Ziliotto. Zero-sum repeated games: counterexamples to the existence of the asymptotic value and the conjecture max min = lim v(n). arXiv preprint arXiv:1305.4778, 2013.

 Electronic

[80] E. Kohlberg, A. Neyman. The Cooperative Solution of Stochastic Games. Harvard Business School Working

Paper, No. 15-071, March 2015.

Convergence of the solutions of the discounted [84] X. Li. Uniform value for some nonexpansive optimal control problems with general evaluations. arXiv preprint arXiv:1603.03936, 2016. [89] D. V. Khlopin. Tauberian theorem for value functions. arXiv preprint arXiv:1607.06067, 2016. On value functions and Tauberian theorems

 Dmitry V. Khlopin

Krasovskii Institute of Mathematics and Mechanics (Yekaterinburg, Russia) Ural Federal University (Yekaterinburg, Russia)

The paper deals with dynamic games and Tauberian theorems for their value function. We study the limit of value functions of games with long run average costs as the time horizon tends to infinity, and the limit of value functions of discounted games as the discount tends to zero. We treat a dynamics as a map from payoffs to value functions. Under weak assumptions on this map, we announced Uniform Tauberian Theorem for value functions: the uniform convergence of value functions for one of these families (either long-run, or discounted averages) implies the uniform convergence for the other family to the same limit. Its proof is based on Bellman’s principle. Also, this paper contains an extensive survey of results obtained for these limits.

 [2] A. Tauber . Ein Satz aus der Theorie der unendichen Reihen , Monatsh. Math. Phys. , 8 ( 1 ): 273 - 277 , 1887 . [3] G. H. Hardy , J. E. Littlewood . Tauberian theorems concerning power series and Dirichlet's series whose coefficients are positive . Proc London Math Soc . 13 : 174 - 191 , 1914 . [4] A. L. Brudno . Summation of bounded sequences by matrices . Matematicheskii Sbornik , 58 ( 2 ): 191 - 247 , 1945 . (In Russian) = A. Л. Брудно. Суммирование ограниченных последовательностей матрицами . Мат. Сборник , 58 ( 2 ): 191 - 247 . 1945 . [5] G. H. Hardy . Divergent series, Clarendon Press, Oxford, 1949 . [6] W. Feller . An Introduction to Probability Theory and its Applications , V. II , John Wiley, New York, 1952 . [7] W. Orlicz . Linear operations in Saks spaces (II) . Studia Mathematica , 1 ( 15 ): 1 - 25 , 1955 . [8] E. Hill , R. S. Phillips , Functional analysis and semigroups , Amer. Math. Soc , 1957 . [9] D. Gillette Stochastic games with zero stop probabilities, contributions to the theory of games , vol 3 ., Princeton University Press, Princeton, 1957 . [10] M. A. Naimark . Normed Rings, Nordhoff, Groningen, 1960 . [11] D. Blackwell . Discrete dynamic programming , Ann Math Statist , 33 ( 2 ): 719 - 726 , 1962 . [12] R. Z. Khasminskii . On the averaging principle for Ito stochastic equations . Kybernetika , 4 ( 3 ): 260 - 279 , 1968 . (in Russian) = Р. З. Хасьминский О принципе усреднения для стохастических дифференциальных уравнений . Кибернетика , 4 ( 3 ): 260 - 279 , 1968 . [13] T. M. Liggett , S. A. Lippman . Stochastic games with perfect information and time average payoff . SIAM Review , 11 ( 4 ): 604 - 607 , 1969 . [14] T. Bewley , E. Kohlberg. The asymptotic theory of stochastic games . Math Oper Res , 1 : 197 - 208 , 1976 . [15] J. F. Mertens , A. Neyman. Stochastic Games . Int J of Game Theory , 10 ( 2 ): 53 - 66 , 1981 . [16] F. Terpe . On a new application of topology in summation theory . Proc. Steklov Inst. Math. , 154 : 233 - 238 , 1984 . [17] P. Lions , G. Papanicolaou, S. R. S. Varadhan . Homogenization of Hamilton-Jacobi Equations, unpublished work, 1986 . [18] V. G. Gaitsgori . Use of the averaging method in control problems . Differential Equations , 22 ( 11 ): 1290 - 1299 , 1986 . [19] A. Bensoussan . Perturbation Methods in Optimal Control, Wiley/Gauthiers-Villas, Chichester, 1988 . [20] F. Colonius , W. Kliemann . Infinite time optimal control and periodicity . Appl. Math. Optim., 20 : 113 130, 1989 . [21] N. H. Bingham , C. M. Goldie , J. L. Teugels . Regular variation, Cambridge Univ. Press, Cambridge. 1989 . [22] D. A. Carlson , A. B. Haurie , A. Leizarowitz . Optimal Control on Infinite Time Horizon , Springer, Berlin, 1991 . [23] T. E. S. Raghavan , J. A. Filar . Algorithms for stochastic games Research , 35 ( 6 ): 437 - 472 , 1991 . [24] R. Sznajder , J. A. Filar . Some comments on a theorem of Hardy and Littlewood . Journal of Optimization Theory and Applications , 75 ( 1 ): 201 - 208 , 1992 . [25] E. Lehrer , S. Sorin . A uniform Tauberian theorem in dynamic programming . Math Oper Res 17 ( 2 ): 303 - 307 , 1992 . [26] N. Vieille . Weak approachability. Math Oper Res , 17 ( 4 ): 781 - 791 , 1992 . [27] D. Monderer , S. Sorin . Asymptotic properties in Dynamic Programming . Int J of Game Theory , 22 : 1 - 11 , 1993 . [28] M. Arisawa . Ergodic problem for the Hamilton-Jacobi-Bellman equation II . Ann Inst Henri Poincare , 15 : 1 - 24 , 1998 . [29] M. Arisawa , P. Lions . On ergodic stochastic control . Com in partial differential equations , 23 ( 11 -12): 2187 - 2217 , 1998 . [30] A. Fathi . Sur la convergence du semi-groupe de Lax-Oleinik. Comptes Rendus de l'Academie des SciencesSeries I-Mathematics, 327 ( 3 ): 267 - 270 , 1998 . [31] L. Grune . On the Relation between Discounted and Average Optimal Value Functions . J Diff Eq , 148 : 65 - 99 , 1998 . [32] G. Namah , J.-M. Roquejoffre . Remarks on the long time behaviour of the solutions of Hamilton-Jacobi equations , Comm. Partial Differential Equations , 24 ( 5-6 ): 883 893 , 1999 . [33] J. Flesch , F. Thuijsman , O. J. Vrieze . Average-discounted equilibria in stochastic games . European journal of operational research , 112 ( 1 ): 187 - 195 , 1999 . [34] Z. Artstein , V. Gaitsgory . The value function of singularly perturbed control systems . Appl Math Optim , 41 ( 3 ): 425 - 445 , 2000 . [35] G. Barles , P. E. Souganidis . On the large time behavior of solutions of Hamilton-Jacobi equations , SIAM J. Math. Anal. , 31 ( 4 ): 925 -- 939 , 2000 . [36] J. Boos , F. P. Cass . Classical and modern methods in summability . Clarendon Press, 2000 . [37] J. Korevaar . A century of complex Tauberian theory . Bulletin of the American Mathematical Society , 39 ( 4 ): 475 - 531 , 2002 . [38] A. G. Chentsov . On a relation between different versions of the method of programmed iterations: a positional version . Cybernet Systems Anal , 38 ( 3 ): 422 - 43 , 2002 . [39] P. Bettiol . On ergodic problem for Hamilton-Jacobi-Isaacs equations . ESAIM: Control, Optimisation and Calculus of Variations , 11 ( 04 ): 522 - 541 , 2005 . [40] M. K. Ghosh , K. S. M. Rao. Differential games with ergodic payoff . SIAM J Control Optim , 43 : 2020 - 2035 , 2005 . [41] A. L. Yakymiv . Stochastic applications of Tauberian theorems Fizmatlit , Moscow. 2005 . (in Russian) = А. Л.Якымив Вероятностные приложения тауберовых теорем Физматлит , Москва, 2005 . [42] O. Alvarez , M. Bardi . Ergodic problems in differential games, In: Advances in dynamic game theory, Birkha¨user , Boston. pp. 131 - 152 , 2007 . [43] N. Ichihara , H. Ishii . Asymptotic solutions of Hamilton-Jacobi equations with semi-periodic Hamiltonians . Communications in Partial Differential Equations , 33 ( 5 ): 784 - 807 , 2008 . [44] M. Bardi . On differential games with long-time-average cost . In: Advances in dynamic games and their applications , Birkha¨user, Boston. pp. 3 - 18 , 2009 . [45] E. Solan . Stochastic games . In: Encyclopedia of Complexity and Systems Science , Springer New York. pp. 8698 - 8708 , 2009 . [46] V. Gaitsgory , M. Quincampoix . Linear programming approach to deterministic infinite horizon optimal control problems with discounting . SIAM J Control Optim 48 ( 4 ): 2480 - 2512 , 2009 . [47] O. Alvarez , M. Bardi . Ergodicity, stabilization, and singular perturbations for Bellman-Isaacs equations . Mem Am Math Soc , 960 : 1 - 90 , 2010 . [48] Z. Artstein , I. Bright. Periodic optimization suffices for infinite horizon planar optimal control . SIAM J Control Optim , 48 ( 8 ): 4963 - 4986 , 2010 . [49] P. Cardaliaguet . Ergodicity of Hamilton-Jacobi equations with a non coercive non convex Hamiltonian in R2=Z2 . Ann. l'Inst. Henri Poincare(C) Non Linear Anal , 27 ( 3 ): 837 - 856 , 2010 . [50] R. Buckdahn , P. Cardaliaguet , M. Quincampoix . Some Recent Aspects of Differential Game Theory. Dyn Games Appl , 1 ( 1 ): 74 - 114 , 2011 . [51] S. Sorin . Zero-sum repeated games: recent advances and new links with differential games . Dyn Games and Appl , 1 ( 1 ): 172 - 207 , 2011 . [52] M. Quincampoix , J. Renault . On the existence of a limit value in some non expansive optimal control problems . SIAM J Control Optim , 49 ( 5 ): 2118 - 2132 , 2011 . [53] W. H. Fleming , D. Hernandez-Hernandez. On the value of stochastic differential games . Commun. Stoch. Anal , 5 ( 2 ): 341 - 351 , 2011 . [54] G. Vigeral . A zero-sum stochastic game with compact action sets and no asymptotic value . Dyn Games and Appl , 3 ( 2 ): 172 - 186 , 2011 . [55] P. Cardaliaguet , R. Laraki , S. Sorin . A Continuous Time Approach for the Asymptotic Value in Two-Person Zero-Sum Repeated Games . SIAM J Cont Optim , 50 : 1573 - 1596 , 2012 . [56] V. Kolokoltsov , W. Yang . Turnpike theorems for Markov games . Dyn Games Appl , 2 ( 3 ): 294 - 312 , 2012 . [57] A. Neyman , C. d'Aspremont, J. F. Mertens . Continuous-time stochastic games . preprint DP 616 , Center for the Study of Rationality , Hebrew University, Jerusalem, 2012 . [58] G. Barles. An introduction to the theory of viscosity solutions for first-order Hamilton-Jacobi equations and applications . In Hamilton-Jacobi equations: approximations, numerical analysis and applications , Springer Berlin Heidelberg, pp. 49 - 109 , 2013 . [59] H. Ishii . A short introduction to viscosity solutions and the large time behavior of solutions of Hamilton-Jacobi equations . In: Hamilton-Jacobi Equations: Approximations, Numerical Analysis and Applications , Springer Berlin Heidelberg. pp. 111 - 249 , 2013 . [60] M. Oliu-Barton , G. Vigeral . A uniform Tauberian theorem in optimal control . In: Advances in Dynamic Games , Birkha¨user, Boston, pp. 199 - 215 , 2013 . [61] V. Gaitsgory , M. Quincampoix . On sets of occupational measures generated by a deterministic control system on an infinite time horizon . Nonlinear Analysis:Theory, Methods & Applications , 88 : 27 - 41 , 2013 . [62] F. Cagnetti , D. Gomes , H. Mitake , H. V. Tran . A new method for large time behavior of degenerate viscous Hamilton-Jacobi equations with convex Hamiltonians . In: Annales de l'Institut Henri Poincare (C) Non Linear Analysis , Elsevier Masson, 2013 . [63] J. Renault . General limit value in Dynamic Programming , arXiv preprint arXiv:1301.0451 , 2013 . [65] R. Buckdahn , D. Goreac , M. Quincampoix . Existence of asymptotic values for nonexpansive stochastic control systems . Appl Math Optim , 70 ( 1 ): 1 - 28 , 2014 . [66] C. J. Bishop , E. A. Feinberg , J. Zhang. Examples concerning Abel and Cesaro limits . Journal of Mathematical Analysis and Applications , 420 ( 2 ): 1654 - 1661 , 2014 . [67] R. Laraki , S. Sorin . Recursive games. Eds: P. Young and S. Zamir . Handbook of Game Theory , pp. 27 - 95 , 2014 . [68] A. J. Zaslavski . Turnpike phenomenon and infinite horizon optimal control . NY , Springer International Publishing. 2014 . [69] D. V. Khlopin . On uniform Tauberian theorems for dynamic games , arXiv preprint arXiv:1412.7331 , 2014 . [70] H. Mitake , H. V. Tran . Dynamical properties of Hamilton-Jacobi equations via the nonlinear adjoint method: Large time behavior and Discounted approximation , 2015 . [71] B. Ziliotto . A Tauberian theorem for nonexpansive operators and applications to zero-sum stochastic games . arXiv preprint arXiv:1501.0652 , 2015 . [72] D. V. Khlopin . On Asymptotic Value for Dynamic Games with Saddle Point . Eds: C. Bonnet , B. PasikDuncan , H. Ozbay and Q. Zhang . 2015 Proceedings of the Conference on Control and Its Applications , SIAM, pp. 282 - 289 , 2015 . [73] D. V. Khlopin . Uniform Tauberian theorem for differential games . Automation and Remote Control , 77 ( 4 ): 734 - 750 , 2016 . [74] L. Grune , M. A. Muller . On the relation between strict dissipativity and the turnpike property . Universitat Bayreuth . 2015 . [75] X. Li , X. Venel . Recursive games: uniform value, Tauberian theorem and the Mertens conjecture “ max min = lim vn = lim v . International Journal of Game Theory , 45 ( 1 ): 1 - 35 , 2015 . [76] D. V. Khlopin . On asymptotic value function for dynamic games with long- time-average payoff . In: Papers of the International Conference “Systems Dynamics and Control Processes” dedicated to the 90th Anniversary of Academician N.N.Krasovskii . Pp. 341 - 348 , 2015 (In Russian) = Д. В. Хлопин. Об асимптотике цен в дифференциальных играх при усреднении платежей по большим промежуткам. Динамика систем и процессы управления (SDCP- 2014 ): Труды Междунар . конф., посвящ. 90 -летию со дня рождения акад . Н.Н. Красовского. Изд-во УМЦ УПИ , Екатеринбург . C. 341 - 348 , 2015 [77] P. Cannarsa , M. Quincampoix . Vanishing Discount Limit and Nonexpansive Optimal Control and Differential Games . SIAM Journal on Control and Optimization , 53 ( 4 ): 1789 - 1814 , 2015 . [78] G. Tenenbaum . Introduction to analytic and probabilistic number theory , American Mathematical Soc. , 2015 . [79] D. Goreac , A note on general Tauberian-type results for controlled stochastic dynamics , Communications in Probability , 20 : 1 - 12 , 2015 . [81] A. Davini , A. Fathi , R. Iturriaga , M. Zavidovique. Hamilton-Jacobi equation. 2015 . [82] X. Li , M. Quincampoix , J. Renault . Limit value for optimal control with general means , Discrete and Continuous Dynamical Systems. Series A , 36 : 2113 - 2132 , 2016 . [83] H. Ishii , H. Mitake , H. V. Tran . The vanishing discount problem and viscosity Mather measures. Part 1: the problem on a torus . arXiv preprint arXiv:1603.01051 , 2016 . [85] M. Oliu-Barton , G. Vigeral . A uniform Tauberian theorem in optimal control . Erratum. HAL preprint hal:00661833v3 , 2016 . [86] D. V. Khlopin . On an example for the Uniform Tauberian theorem in abstract control systems . arXiv preprint arXiv:1604.07111 , 2016 . [87] B. Ziliotto . General limit value in zero-sum stochastic games . International Journal of Game Theory , 45 : 353 - 374 , 2016 . [88] A. Ja ´skiewicz, A. S Nowak. Zero-Sum Stochastic Games , preprint, 2016 .