Comptes Rendus
no. 7
Optimal Control
Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
[Consistance d'un schéma multidimensionnel simple pour les équations de Hamilton–Jacobi–Bellman]

Présenté par : Pierre-Louis Lions

Rémi Munos1 ; Hasnaa Zidani2
1 Centre de mathématiques appliquées, École polytechnique, 91128 Palaiseau cedex, France
2 Laboratoire de mathématiques appliquées, ENSTA, 32, boulevard Victor, 75739 Paris cedex 15, France
Comptes Rendus. Mathématique, Volume 340 (2005) no. 7, pp. 499-502.

Cette Note présente un schéma d'approximation pour les équations de Hamilton–Jacobi–Bellman qui apparaissent en contrôle optimal stochastique. Le schéma est construit selon une méthode d'approximation par chaîne de Markov. Il s'implémente facilement en n'importe quelle dimension. La consistance du schéma est prouvée, ce qui garantit sa convergence.

This Note presents an approximation scheme for second-order Hamilton–Jacobi–Bellman equations arising in stochastic optimal control. The scheme is based on a Markov chain approximation method. It is easy to implement in any dimension. The consistency of the scheme is proved, which guarantees its convergence.

Reçu le :
Accepté le :
Publié le :
DOI : 10.1016/j.crma.2005.02.001

Rémi Munos 1 ; Hasnaa Zidani 2

1 Centre de mathématiques appliquées, École polytechnique, 91128 Palaiseau cedex, France
2 Laboratoire de mathématiques appliquées, ENSTA, 32, boulevard Victor, 75739 Paris cedex 15, France 
@article{CRMATH_2005__340_7_499_0,
     author = {R\'emi Munos and Hasnaa Zidani},
     title = {Consistency of a simple multidimensional scheme for {Hamilton{\textendash}Jacobi{\textendash}Bellman} equations},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {499--502},
     publisher = {Elsevier},
     volume = {340},
     number = {7},
     year = {2005},
     doi = {10.1016/j.crma.2005.02.001},
     language = {en},
}
TY  - JOUR
AU  - Rémi Munos
AU  - Hasnaa Zidani
TI  - Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
JO  - Comptes Rendus. Mathématique
PY  - 2005
SP  - 499
EP  - 502
VL  - 340
IS  - 7
PB  - Elsevier
DO  - 10.1016/j.crma.2005.02.001
LA  - en
ID  - CRMATH_2005__340_7_499_0
ER  - 
%0 Journal Article
%A Rémi Munos
%A Hasnaa Zidani
%T Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
%J Comptes Rendus. Mathématique
%D 2005
%P 499-502
%V 340
%N 7
%I Elsevier
%R 10.1016/j.crma.2005.02.001
%G en
%F CRMATH_2005__340_7_499_0
Rémi Munos; Hasnaa Zidani. Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations. Comptes Rendus. Mathématique, Volume 340 (2005) no. 7, pp. 499-502. doi : 10.1016/j.crma.2005.02.001. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/j.crma.2005.02.001/

[1] F. Bonnans; H. Zidani Consistency of generalized finite difference schemes for the stochastic HJB equation, SIAM J. Numer. Anal., Volume 41 (2003) no. 3, pp. 1008-1021

[2] F. Bonnans; E. Ottenwaelter; H. Zidani A fast algorithm for the two dimensional HJB equation of stochastic control, Math. Model. Numer. Anal., Volume 38 (2004) no. 4, pp. 723-735

[3] F. Camilli; M. Falcone An approximation scheme for the optimal control of diffusion processes, Math. Model. Numer. Anal., Volume 29 (1995) no. 1, pp. 97-122

[4] H.J. Kushner; P.G. Dupuis Numerical Methods for Stochastic Control Problems in Continuous Time, Appl. Math., vol. 24, Springer-Verlag, New York, 2001

[5] P.-L. Lions; B. Mercier Approximation numérique des équations de Hamilton–Jacobi–Bellman, RAIRO Anal. Numér., Volume 14 (1980) no. 14, pp. 369-393

[6] R. Munos; A. Moore Variable resolution discretization in optimal control, Mach. Learn., Volume 49 (2002) no. 2–3, pp. 291-323

Cité par Sources :

Commentaires - Politique