[Lisa_seminaires] Soutenance de thèse de Hugo Larochelle

Pascal Vincent vincentp at iro.umontreal.ca
Mar 10 Mar 18:19:31 EDT 2009


Vous êtes tous cordialement invités à assister à la soutenance de  
thèse de doctorat de Hugo Larochelle, qui aura lieu ce vendredi  13  
mars à 14h00 au local 3195 du pavillon André-Aisenstadt.

TITRE: Étude de techniques d’apprentissage non-supervisé pour  
l’amélioration de l’entraînement supervisé de modèle connexionnistes


RÉSUMÉ:

Popularisé dans les années 80, le réseau de neurones artificiel est un  
modèle puissant d'apprentissage automatique. Grâce à la découverte  
d'une représentation riche de son entrée, ce type de modèle est  
capable de résoudre des tâches complexes liées entre autre à la vision  
et au traitement de la langue. Malheureusement, l'entraînement d'un  
réseau de neurones est un problème difficile, à un point tel que les  
réseaux typiquement entraînés contiennent souvent relativement peu de  
neurones cachés, organisés en une seule couche.

Je présenterai donc les travaux de ma thèse de doctorat, qui visent à  
tirer profit de l'apprentissage non-supervisé afin d'améliorer la  
performance de différents types de réseaux de neurones supervisés.  
L'utilisation de l'apprentissage non-supervisé permet ici d'augmenter  
significativement la taille des réseaux pouvant être entraînés avec  
succès.

En premier lieu, j'illustrerai les bénéfices de la combinaison des  
apprentissages non-supervisé et supervisé dans le cadre de  
l'entraînement d'une machine de Boltzmann restreinte, un type  
particulier de réseaux de neurones à une seule couche cachée. Ensuite,  
je présenterai une approche similaire basée sur un réseau de neurone  
autoencodeur et permettant d'entraîner un réseau de neurones profond,  
c'est-à-dire à plusieurs couches cachées. L'avantage de l'utilisation  
d'un réseau de neurones profond sera  démontrée sur une série de  
problèmes de classification d'images générées à partir de plusieurs  
facteurs de variation. Ensuite, je montrerai qu'il est possible  
d'obtenir une amélioration additionnelle des performances en  
encourageant explicitement un réseau de neurones à extraire une  
représentation de l'entrée qui soit robuste, c'est-à-dire qui soit  
invariante à l'absence d'une partie des éléments d'entrée. Finalement,  
je décrirai une méthode simple pour introduire des interactions  
d'inhibition et d'excitation entre les neurones cachés, permettant  
d'extraire une représentation plus riche de l'entrée et pouvant aussi  
améliorer la performance d'un réseau profond.


COMPOSITION DU JURY:

Président-Rapporteur:   Pascal Vincent
Directeur de Recherche: Yoshua Bengio
Examinateur Externe: Geoffrey Hinton
Membre du Jury: Douglas Eck
Représentante du Doyen: Nathalie Loye




Plus d'informations sur la liste de diffusion Lisa_seminaires