Comptes Rendus
no. 9
Sur l'estimation de l'entropie des lois à support dénombrable
Amor Keziou1
1 LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France
Comptes Rendus. Mathématique, Volume 335 (2002) no. 9, pp. 763-766.

Soit P une loi de probabilité discrète sur un espace infini dénombrable 𝒳. On étudie la vitesse de convergence presque sûre de l'estimateur « plug-in » de l'entropie H :=H(P) de la loi de probabilité inconnue P. On démontre aussi la convergence presque sûre de l'estimateur pour des variables aléatoires stationnaires ergodiques, et pour des variables aléatoires stationnaires α-mélangeantes sous une condition faible sur la queue de distribution de la loi P.

Suppose P is a discrete distribution on an infinite countable space 𝒳. We study the almost surely convergence rate of the ‘plug-in’ estimate of the entropy H:=H(P) of the arbitrary distribution P. We prove also the consistency of the estimate for ergodic stationary random variables and for α-mixing stationary random variables under weak assumptions on the tail of the distribution P.

Reçu le :
Révisé le :
Publié le :
DOI : 10.1016/S1631-073X(02)02559-1
Amor Keziou 1

1 LSTA, boîte courrier 158, 8A, Université Paris-6, 175, rue du Chevaleret, 75013 Paris, France 
@article{CRMATH_2002__335_9_763_0,
     author = {Amor Keziou},
     title = {Sur l'estimation de l'entropie des lois \`a support d\'enombrable},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {763--766},
     publisher = {Elsevier},
     volume = {335},
     number = {9},
     year = {2002},
     doi = {10.1016/S1631-073X(02)02559-1},
     language = {fr},
}
TY  - JOUR
AU  - Amor Keziou
TI  - Sur l'estimation de l'entropie des lois à support dénombrable
JO  - Comptes Rendus. Mathématique
PY  - 2002
SP  - 763
EP  - 766
VL  - 335
IS  - 9
PB  - Elsevier
DO  - 10.1016/S1631-073X(02)02559-1
LA  - fr
ID  - CRMATH_2002__335_9_763_0
ER  - 
%0 Journal Article
%A Amor Keziou
%T Sur l'estimation de l'entropie des lois à support dénombrable
%J Comptes Rendus. Mathématique
%D 2002
%P 763-766
%V 335
%N 9
%I Elsevier
%R 10.1016/S1631-073X(02)02559-1
%G fr
%F CRMATH_2002__335_9_763_0
Amor Keziou. Sur l'estimation de l'entropie des lois à support dénombrable. Comptes Rendus. Mathématique, Volume 335 (2002) no. 9, pp. 763-766. doi : 10.1016/S1631-073X(02)02559-1. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/S1631-073X(02)02559-1/

[1] A. Antos; I. Kontoyiannis Convergence properties of functional estimates for discrete distributions, Random Structures Algorithms, Volume 1 (2001), pp. 163-193

[2] A. Antos; I. Kontoyiannis Estimating the entropy of discrete distributions, IEEE Internat. Sympos. Inform. Theory, Volume 1 (2001), pp. 45-51

[3] G.P. Bas̆arin On a statistical estimate for the entropy of a sequence of independent random variables, Theory Probab. Appl., Volume 4 (1959), pp. 333-336

[4] E. Guerre, Méthodes non paramétriques d'analyse des séries temporelles multivariées : estimation de mesures de dépendance, Doc. d'univ., Math., Paris 6, 1993

[5] D. Pollard Convergence of Stochastic Processes, Springer-Verlag, 1984

[6] E. Rio Théorie asymptotique des processus aléatoires faiblement dépendants, Springer-Verlag, 2000

[7] S. Verdú Fifty years of Shannon theory, IEEE Trans. Inform. Theory, Volume 44 (1998) no. 6, pp. 2057-2078 (Information theory: 1948–1998)

[8] E.H. Yang; Y. Jia Universal lossless coding of sources with large or unbounded alphabets (I. Althfor et al., eds.), Numbers, Information and Complexity, Kluwer Academic, 2000, pp. 421-442

Cité par Sources :

Commentaires - Politique

Ces articles pourraient vous intéresser

Vitesses de convergence dans la loi forte des grands nombres et dans l'estimation de la densité pour des variables aléatoires associées

Lahcen Douge

C. R. Math (2007)

A strong consistency of a nonparametric estimate of entropy under random censorship

Salim Bouzebda; Issam Elhattab

C. R. Math (2009)

Some finiteness results for groups with bounded algebraic entropy

Fabio Zuddas

C. R. Math (2004)