Sur l'estimation de l'entropie des lois à support dénombrable

Amor Keziou

doi:10.1016/S1631-073X(02)02559-1

Sur l'estimation de l'entropie des lois à support dénombrable

Amor Keziou ¹

¹ LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France

Comptes Rendus. Mathématique, Volume 335 (2002) no. 9, pp. 763-766.

Résumé
Abstract

Soit P une loi de probabilité discrète sur un espace infini dénombrable $𝒳$ . On étudie la vitesse de convergence presque sûre de l'estimateur « plug-in » de l'entropie H :=H(P) de la loi de probabilité inconnue P. On démontre aussi la convergence presque sûre de l'estimateur pour des variables aléatoires stationnaires ergodiques, et pour des variables aléatoires stationnaires α-mélangeantes sous une condition faible sur la queue de distribution de la loi P.

Suppose P is a discrete distribution on an infinite countable space $𝒳$ . We study the almost surely convergence rate of the ‘plug-in’ estimate of the entropy H:=H(P) of the arbitrary distribution P. We prove also the consistency of the estimate for ergodic stationary random variables and for α-mixing stationary random variables under weak assumptions on the tail of the distribution P.

Reçu le : 2002-03-08
Révisé le : 2002-09-03
Publié le : 2002-10-01

DOI : 10.1016/S1631-073X(02)02559-1

Affiliations des auteurs :

Amor Keziou ¹

¹ LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France

@article{CRMATH_2002__335_9_763_0,
     author = {Amor Keziou},
     title = {Sur l'estimation de l'entropie des lois \`a support d\'enombrable},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {763--766},
     publisher = {Elsevier},
     volume = {335},
     number = {9},
     year = {2002},
     doi = {10.1016/S1631-073X(02)02559-1},
     language = {fr},
}

TY  - JOUR
AU  - Amor Keziou
TI  - Sur l'estimation de l'entropie des lois à support dénombrable
JO  - Comptes Rendus. Mathématique
PY  - 2002
SP  - 763
EP  - 766
VL  - 335
IS  - 9
PB  - Elsevier
DO  - 10.1016/S1631-073X(02)02559-1
LA  - fr
ID  - CRMATH_2002__335_9_763_0
ER  -

%0 Journal Article
%A Amor Keziou
%T Sur l'estimation de l'entropie des lois à support dénombrable
%J Comptes Rendus. Mathématique
%D 2002
%P 763-766
%V 335
%N 9
%I Elsevier
%R 10.1016/S1631-073X(02)02559-1
%G fr
%F CRMATH_2002__335_9_763_0

Amor Keziou. Sur l'estimation de l'entropie des lois à support dénombrable. Comptes Rendus. Mathématique, Volume 335 (2002) no. 9, pp. 763-766. doi : 10.1016/S1631-073X(02)02559-1. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/S1631-073X(02)02559-1/

Bibliographie
Cité par

[1] A. Antos; I. Kontoyiannis Convergence properties of functional estimates for discrete distributions, Random Structures Algorithms, Volume 1 (2001), pp. 163-193

[2] A. Antos; I. Kontoyiannis Estimating the entropy of discrete distributions, IEEE Internat. Sympos. Inform. Theory, Volume 1 (2001), pp. 45-51

[3] G.P. Bas̆arin On a statistical estimate for the entropy of a sequence of independent random variables, Theory Probab. Appl., Volume 4 (1959), pp. 333-336

[4] E. Guerre, Méthodes non paramétriques d'analyse des séries temporelles multivariées : estimation de mesures de dépendance, Doc. d'univ., Math., Paris 6, 1993

[5] D. Pollard Convergence of Stochastic Processes, Springer-Verlag, 1984

[6] E. Rio Théorie asymptotique des processus aléatoires faiblement dépendants, Springer-Verlag, 2000

[7] S. Verdú Fifty years of Shannon theory, IEEE Trans. Inform. Theory, Volume 44 (1998) no. 6, pp. 2057-2078 (Information theory: 1948–1998)

[8] E.H. Yang; Y. Jia Universal lossless coding of sources with large or unbounded alphabets (I. Althfor et al., eds.), Numbers, Information and Complexity, Kluwer Academic, 2000, pp. 421-442

Cité par Sources :

Commentaires - Politique