On the minimum <i>f</i>-divergence for given total variation

Gustavo L. Gilardoni

doi:10.1016/j.crma.2006.10.027

Probability Theory

On the minimum f-divergence for given total variation
[Sur la f-divergence minimale pour variation totale donnée]

Présenté par : Marc Yor

Gustavo L. Gilardoni ¹

¹ Departamento de Estatística, Universidade de Brasília, Brasília, DF 70910-900, Brazil

Comptes Rendus. Mathématique, Volume 343 (2006) no. 11-12, pp. 763-766.

est référencé par Corrigendum to the Note “On the minimum f-divergence for given total variation” [C. R. Acad. Sci. Paris, Ser. I 343 (2006) 763–766]

Résumé
Abstract

Pour chaque distance variationnelle V donnée on veut trouver la meilleure borne inférieure possible pour une f-divergence $D_{f}$ . En d'autres termes, on veut trouver $L_{D_{f}} (v) = \inf {D_{f} (P, Q) : V (P, Q) = v}$ . Dans cette note on résout ce problème pour toute fonction f convexe. Bien que la forme de $L_{D_{f}} (V)$ dépende de l'inversion de quelques expressions, ce qui peut être difficile en général, des simplifications peuvent se produire quand f a une certaine symétrie. Par exemple, si $D_{f}$ est symétrique dans le sens : $D_{f} (P, Q) = D_{f} (Q, P)$ , on prouve que $L_{D_{f}} (v) = \frac{2 - v}{2} f (\frac{2 + v}{2 - v}) - f^{'} (1) v$ . Pour la divergence de Kullback–Leibler K nous obtenons une expression de $L_{K}$ à l'aide des deux branches réelles de la fonction W de Lambert.

We want to find a lower bound for an f-divergence $D_{f}$ in terms of variational distance V which is best possible for any given V. In other words, we want to find $L_{D_{f}} (v) = \inf {D_{f} (P, Q) : V (P, Q) = v}$ . In this note we solve this problem for any convex f. Although the form of $L_{D_{f}} (V)$ depends on inverting some expressions which may be difficult in general, simplifications can occur when f has some kind of symmetry. For instance, if $D_{f}$ is symmetric in the sense that $D_{f} (P, Q) = D_{f} (Q, P)$ , we show that $L_{D_{f}} (v) = \frac{2 - v}{2} f (\frac{2 + v}{2 - v}) - f^{'} (1) v$ . For the Kullback–Leibler divergence K we obtain an expression of $L_{K}$ in terms of the two real branches of Lambert's W function.

Reçu le : 2006-04-17
Accepté le : 2006-10-02
Publié le : 2006-12-01

DOI : 10.1016/j.crma.2006.10.027

Affiliations des auteurs :

Gustavo L. Gilardoni ¹

¹ Departamento de Estatística, Universidade de Brasília, Brasília, DF 70910-900, Brazil

@article{CRMATH_2006__343_11-12_763_0,
     author = {Gustavo L. Gilardoni},
     title = {On the minimum \protect\emph{f}-divergence for given total variation},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {763--766},
     publisher = {Elsevier},
     volume = {343},
     number = {11-12},
     year = {2006},
     doi = {10.1016/j.crma.2006.10.027},
     language = {en},
}

TY  - JOUR
AU  - Gustavo L. Gilardoni
TI  - On the minimum f-divergence for given total variation
JO  - Comptes Rendus. Mathématique
PY  - 2006
SP  - 763
EP  - 766
VL  - 343
IS  - 11-12
PB  - Elsevier
DO  - 10.1016/j.crma.2006.10.027
LA  - en
ID  - CRMATH_2006__343_11-12_763_0
ER  -

%0 Journal Article
%A Gustavo L. Gilardoni
%T On the minimum f-divergence for given total variation
%J Comptes Rendus. Mathématique
%D 2006
%P 763-766
%V 343
%N 11-12
%I Elsevier
%R 10.1016/j.crma.2006.10.027
%G en
%F CRMATH_2006__343_11-12_763_0

Gustavo L. Gilardoni. On the minimum f-divergence for given total variation. Comptes Rendus. Mathématique, Volume 343 (2006) no. 11-12, pp. 763-766. doi : 10.1016/j.crma.2006.10.027. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/j.crma.2006.10.027/

Bibliographie
Cité par

[1] S.M. Ali; S.D. Silvey A general class of coefficients of divergence of one distribution from another, J. Roy. Statist. Soc. Ser. B, Volume 28 (1966), pp. 131-142

[2] R.M. Corless; G.H. Gonnet; D.E.G. Hare; D.J. Jeffrey; D.E. Knuth On the Lambert W function, Adv. Comput. Math., Volume 5 (1996) no. 4, pp. 329-359

[3] I. Csiszár Information-type measures of difference of probability distributions and indirect observations, Studia Sci. Math. Hungar., Volume 2 (1967), pp. 299-318

[4] M. Del Pino; J. Dolbeault Nonlinear diffusions and optimal constants in Sobolev type inequalities: asymptotic behaviour of equations involving the p-Laplacian, C. R. Acad. Sci. Paris, Ser. I, Volume 334 (2002) no. 5, pp. 365-370

[5] A. Fedotov; P. Harremoës; F. Topsøe Refinements of Pinsker's inequality, IEEE Trans. Inform. Theory, Volume 49 (2003), pp. 1491-1498

[6] I. Vajda Note on discrimination information and variation, IEEE Trans. Inform. Theory, Volume 16 (1970), pp. 771-773

Cité par Sources :

Commentaires - Politique