Comptes Rendus
no. 9
Statistique
Estimation consistante de l'architecture des perceptrons multicouches
[Consistent estimation of the architecture of multilayer perceptrons]

Presented by: Paul Deheuvels

Joseph Rynkiewicz1
1 SAMOS/MATISSE, Université de Paris-I, 90, rue de Tolbiac, 75013 Paris, France
Comptes Rendus. Mathématique, Volume 342 (2006) no. 9, pp. 697-700.

We consider regression models involving multilayer perceptrons (MLP) with one hidden layer and Gaussian noise. The estimation of the parameters of the MLP can be made by maximizing the likelihood of the model. In this framework, it is difficult to determine the true number of hidden units because the information matrix of Fisher is not invertible if this number is overestimated. However, if the parameters of the MLP are in a compact set, we prove that the minimization of a suitable information criteria leads to consistent estimation of the true number of hidden units.

On considère des modèles de régression impliquant des perceptrons multicouches (MLP) avec une couche cachée et un bruit gaussien. L'estimation des paramètres du MLP peut être faite en maximisant la vraisemblance du modèle. Dans ce cadre, il est difficile de déterminer le vrai nombre d'unités cachées parce que la matrice d'information de Fisher n'est pas inversible si ce nombre est surestimé. Cependant, si les paramètres du MLP sont dans un ensemble compact, nous prouvons que la minimisation d'un critère d'information convenable permet l'estimation consistante du vrai nombre d'unités cachées.

Received:
Accepted:
Published online:
DOI: 10.1016/j.crma.2006.03.007

Joseph Rynkiewicz 1

1 SAMOS/MATISSE, Université de Paris-I, 90, rue de Tolbiac, 75013 Paris, France 
@article{CRMATH_2006__342_9_697_0,
     author = {Joseph Rynkiewicz},
     title = {Estimation consistante de l'architecture des perceptrons multicouches},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {697--700},
     publisher = {Elsevier},
     volume = {342},
     number = {9},
     year = {2006},
     doi = {10.1016/j.crma.2006.03.007},
     language = {fr},
}
TY  - JOUR
AU  - Joseph Rynkiewicz
TI  - Estimation consistante de l'architecture des perceptrons multicouches
JO  - Comptes Rendus. Mathématique
PY  - 2006
SP  - 697
EP  - 700
VL  - 342
IS  - 9
PB  - Elsevier
DO  - 10.1016/j.crma.2006.03.007
LA  - fr
ID  - CRMATH_2006__342_9_697_0
ER  - 
%0 Journal Article
%A Joseph Rynkiewicz
%T Estimation consistante de l'architecture des perceptrons multicouches
%J Comptes Rendus. Mathématique
%D 2006
%P 697-700
%V 342
%N 9
%I Elsevier
%R 10.1016/j.crma.2006.03.007
%G fr
%F CRMATH_2006__342_9_697_0
Joseph Rynkiewicz. Estimation consistante de l'architecture des perceptrons multicouches. Comptes Rendus. Mathématique, Volume 342 (2006) no. 9, pp. 697-700. doi : 10.1016/j.crma.2006.03.007. https://comptes-rendus.academie-sciences.fr/mathematique/articles/10.1016/j.crma.2006.03.007/

[1] D. Dacunha-Castelle; E. Gassiat Testing the order of a model using locally conic parametrization: Population mixtures and stationary ARMA processes, Ann. Statist., Volume 27 (1999), pp. 1178-1209

[2] K. Fukumizu Likelihood ratio of unidentifiable models and multilayer neural networks, Ann. Statist., Volume 31 (2003), pp. 833-851

[3] K. Fukumizu A regularity condition of the information matrix of a multilayer perceptron network, Neural Networks, Volume 9 (1996) no. 5, pp. 871-879

[4] E. Gassiat Likelihood ratio inequalities with applications to various mixtures, Ann. Inst. H. Poincaré, Volume 38 (2002), pp. 897-906

[5] C. Keribin Consistent estimation of the order of mixture models, Sankhyä A, Volume 62 (2000) no. 1, pp. 49-66

[6] X. Liu; Y. Shao Asymptotics for likelihood ratio tests under loss of identifiability, Ann. Statist., Volume 31 (2003), pp. 807-832

[7] H.J. Sussmann Uniqueness of the weights for minimal feed-forward nets with a given input–output map, Neural Networks, Volume 5 (1992), pp. 589-593

[8] A. van der Vaart Asymptotic Statistics, Cambridge University Press, Cambridge, 1998

Cited by Sources:

Comments - Policy