Un usage de l'approximation stochastique pour l'estimation récursive

Kengy Barty; Jean-Sébastien Roy; Cyrille Strugarek

doi:10.1016/j.crma.2006.11.007

Statistique

Un usage de l'approximation stochastique pour l'estimation récursive
[On the use of stochastic approximation in recursive estimation]

Presented by: Paul Deheuvels

Kengy Barty ¹; Jean-Sébastien Roy ²; Cyrille Strugarek ²

¹ CERMICS, École nationale des ponts et chaussées, 6–8, avenue Blaise-Pascal, cité Descartes, 77455 Marne la Vallée cedex 2, France
² EDF R&D, 1, avenue du Général de Gaulle, 92141 Clamart cedex, France

Comptes Rendus. Mathématique, Volume 344 (2007) no. 3, pp. 199-204.

Abstract
Résumé

We propose in this Note a way to study the convergence of statistical recursive estimates. As an illustration, we provide a convergence proof for the well-known recursive density estimate introduced by Wagner and Wolverton. This alternative proof is based on results on Hilbert-valued stochastic approximation schemes, and provides an insight on recursive density estimation seen as minimization problems. Indeed, recursive statistical estimates such as Wagner–Wolverton's estimate can be seen as stochastic algorithms with values in a functional space which turns out to be here an Hilbert space. Hence, we can embed the field of recursive statistical estimation into the field of Hilbert-valued stochastic approximation and propose a systematic approach to prove the convergence of statistical recursive estimates, like density estimates or regression function estimates. Moreover, this systematic approach enables to take into account various constraints on the estimates like bounds or measurability.

Cette Note a pour objet de présenter une technique générique de démonstration de la convergence d'une large classe d'estimateurs récursifs, par l'usage de techniques d'approximation stochastique. À titre d'illustration de cette méthode, on donne une preuve alternative de convergence de l'estimateur de densité introduit par Wagner et Wolverton. La preuve proposée part de résultats généraux sur les algorithmes stochastiques à valeurs dans un espace de Hilbert. Puis, on montre comment cette nouvelle preuve peut être facilement réutilisée pour montrer la convergence d'estimateurs récursifs de la densité ou de fonctions de régression y compris en présence de contraintes.

Received: 2005-10-06
Accepted: 2006-11-03
Published online: 2007-01-18

DOI: 10.1016/j.crma.2006.11.007

Author's affiliations:

Kengy Barty ¹; Jean-Sébastien Roy ²; Cyrille Strugarek ²

¹ CERMICS, École nationale des ponts et chaussées, 6–8, avenue Blaise-Pascal, cité Descartes, 77455 Marne la Vallée cedex 2, France
² EDF R&D, 1, avenue du Général de Gaulle, 92141 Clamart cedex, France

@article{CRMATH_2007__344_3_199_0,
     author = {Kengy Barty and Jean-S\'ebastien Roy and Cyrille Strugarek},
     title = {Un usage de l'approximation stochastique pour l'estimation r\'ecursive},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {199--204},
     publisher = {Elsevier},
     volume = {344},
     number = {3},
     year = {2007},
     doi = {10.1016/j.crma.2006.11.007},
     language = {fr},
}

TY  - JOUR
AU  - Kengy Barty
AU  - Jean-Sébastien Roy
AU  - Cyrille Strugarek
TI  - Un usage de l'approximation stochastique pour l'estimation récursive
JO  - Comptes Rendus. Mathématique
PY  - 2007
SP  - 199
EP  - 204
VL  - 344
IS  - 3
PB  - Elsevier
DO  - 10.1016/j.crma.2006.11.007
LA  - fr
ID  - CRMATH_2007__344_3_199_0
ER  -

%0 Journal Article
%A Kengy Barty
%A Jean-Sébastien Roy
%A Cyrille Strugarek
%T Un usage de l'approximation stochastique pour l'estimation récursive
%J Comptes Rendus. Mathématique
%D 2007
%P 199-204
%V 344
%N 3
%I Elsevier
%R 10.1016/j.crma.2006.11.007
%G fr
%F CRMATH_2007__344_3_199_0

Kengy Barty; Jean-Sébastien Roy; Cyrille Strugarek. Un usage de l'approximation stochastique pour l'estimation récursive. Comptes Rendus. Mathématique, Volume 344 (2007) no. 3, pp. 199-204. doi : 10.1016/j.crma.2006.11.007. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/j.crma.2006.11.007/

References
Cited by

[1] K. Barty, J.-S. Roy, C. Strugarek, Hilbert valued perturbed subgradient algorithms, Math. Oper. Res. (2005), in press

[2] P. Deheuvels Sur l'estimation séquentielle de la densité, C. R. Acad. Sci. Paris Ser. A-B, Volume 276 (1973), pp. 1119-1121

[3] P. Deheuvels Conditions nécessaires et suffisantes de convergence ponctuelle presque sûre et uniforme presque sûre des estimateurs de la densité, C. R. Acad. Sci. Paris Ser. A, Volume 278 (1974), pp. 1217-1220

[4] P. Deheuvels Sur une famille d'estimateurs de la densité d'une variable aléatoire, C. R. Acad. Sci. Paris Ser. A, Volume 276 (1974), pp. 1013-1015

[5] P. Deheuvels Estimation séquentielle de la densité, Contribuciones en Probabilidad y Estadistica Matematica Enseñanza de la Matematica y Analysis, Grindley, Granada, Espagne, 1979, pp. 156-168

[6] L. Devroye On the pointwise and the integral convergence of recursive kernel estimates of probability densities, Utilitas Mathematica, Volume 15 (1979), pp. 113-128

[7] L. Devroye A Course in Density Estimation, Birkhäuser, Boston, 1987

[8] J.-B. Hiriart-Urruty Algorithmes de résolution d'équations et d'inéquations variationnelles, Z. Wahr. Verw. Gebiete, Volume 33 (1975), pp. 167-186

[9] E. Parzen On estimating of a probability density and mode, Ann. Math. Statist., Volume 35 (1962), pp. 1065-1076

[10] P. Révész Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes, I, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 391-398

[11] P. Révész Robbins–Monro procedure in a Hilbert space, II, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 469-472

[12] P. Révész How to apply the method of stochastic approximation in the non-parametric estimation of a regression function, Math. Operationsforsch. Statist. Ser. Statistics, Volume 8 (1977) no. 1, pp. 119-126

[13] M. Rosenblatt Remarks on some nonparametric estimates of a density function, Ann. Math. Statist., Volume 27 (1956), pp. 832-837

[14] A. Tsybakov Introduction à l'estimation non-paramétrique, Springer-Verlag, 2004

[15] T.J. Wagner; C.T. Wolverton Recursive estimates of probability densities, IEEE Trans. Syst. Man. Cybern., Volume 5 (1969), p. 307

[16] G. Yin; Y.M. Zhu On H-valued Robbins–Monro processes, J. Multivariate Anal., Volume 34 (1990), pp. 116-140

Cited by Sources:

Comments - Politique