[Lisa_seminaires] Soutenance de thèse de Hugo Larochelle

Pascal Vincent vincentp at iro.umontreal.ca
Ven 13 Mar 11:46:21 EDT 2009


Rappel: soutenance de thèse de Hugo Larochelle cette après-mdi à 14h00!


> Vous êtes tous cordialement invités à assister à la soutenance de  
> thèse de doctorat de Hugo Larochelle, qui aura lieu ce vendredi  13  
> mars à 14h00 au local 3195 du pavillon André-Aisenstadt.
>
> TITRE: Étude de techniques d’apprentissage non-supervisé pour  
> l’amélioration de l’entraînement supervisé de modèle connexionnistes
>
>
> RÉSUMÉ:
>
> Popularisé dans les années 80, le réseau de neurones artificiel est  
> un modèle puissant d'apprentissage automatique. Grâce à la  
> découverte d'une représentation riche de son entrée, ce type de  
> modèle est capable de résoudre des tâches complexes liées entre  
> autre à la vision et au traitement de la langue. Malheureusement,  
> l'entraînement d'un réseau de neurones est un problème difficile, à  
> un point tel que les réseaux typiquement entraînés contiennent  
> souvent relativement peu de neurones cachés, organisés en une seule  
> couche.
>
> Je présenterai donc les travaux de ma thèse de doctorat, qui visent  
> à tirer profit de l'apprentissage non-supervisé afin d'améliorer la  
> performance de différents types de réseaux de neurones supervisés.  
> L'utilisation de l'apprentissage non-supervisé permet ici  
> d'augmenter significativement la taille des réseaux pouvant être  
> entraînés avec succès.
>
> En premier lieu, j'illustrerai les bénéfices de la combinaison des  
> apprentissages non-supervisé et supervisé dans le cadre de  
> l'entraînement d'une machine de Boltzmann restreinte, un type  
> particulier de réseaux de neurones à une seule couche cachée.  
> Ensuite, je présenterai une approche similaire basée sur un réseau  
> de neurone autoencodeur et permettant d'entraîner un réseau de  
> neurones profond, c'est-à-dire à plusieurs couches cachées.  
> L'avantage de l'utilisation d'un réseau de neurones profond sera   
> démontrée sur une série de problèmes de classification d'images  
> générées à partir de plusieurs facteurs de variation. Ensuite, je  
> montrerai qu'il est possible d'obtenir une amélioration  
> additionnelle des performances en encourageant explicitement un  
> réseau de neurones à extraire une représentation de l'entrée qui  
> soit robuste, c'est-à-dire qui soit invariante à l'absence d'une  
> partie des éléments d'entrée. Finalement, je décrirai une méthode  
> simple pour introduire des interactions d'inhibition et d'excitation  
> entre les neurones cachés, permettant d'extraire une représentation  
> plus riche de l'entrée et pouvant aussi améliorer la performance  
> d'un réseau profond.
>
>
> COMPOSITION DU JURY:
>
> Président-Rapporteur:   Pascal Vincent
> Directeur de Recherche: Yoshua Bengio
> Examinateur Externe: Geoffrey Hinton
> Membre du Jury: Douglas Eck
> Représentante du Doyen: Nathalie Loye
>
>



Plus d'informations sur la liste de diffusion Lisa_seminaires