Rappel: soutenance de thèse de Hugo Larochelle cette après-mdi à 14h00!

Vous êtes tous cordialement invités à assister à la soutenance de thèse de doctorat de Hugo Larochelle, qui aura lieu ce vendredi 13 mars à 14h00 au local 3195 du pavillon André-Aisenstadt.

TITRE: Étude de techniques d’apprentissage non-supervisé pour l’amélioration de l’entraînement supervisé de modèle connexionnistes

RÉSUMÉ:

Popularisé dans les années 80, le réseau de neurones artificiel est un modèle puissant d'apprentissage automatique. Grâce à la découverte d'une représentation riche de son entrée, ce type de modèle est capable de résoudre des tâches complexes liées entre autre à la vision et au traitement de la langue. Malheureusement, l'entraînement d'un réseau de neurones est un problème difficile, à un point tel que les réseaux typiquement entraînés contiennent souvent relativement peu de neurones cachés, organisés en une seule couche.

Je présenterai donc les travaux de ma thèse de doctorat, qui visent à tirer profit de l'apprentissage non-supervisé afin d'améliorer la performance de différents types de réseaux de neurones supervisés. L'utilisation de l'apprentissage non-supervisé permet ici d'augmenter significativement la taille des réseaux pouvant être entraînés avec succès.

En premier lieu, j'illustrerai les bénéfices de la combinaison des apprentissages non-supervisé et supervisé dans le cadre de l'entraînement d'une machine de Boltzmann restreinte, un type particulier de réseaux de neurones à une seule couche cachée. Ensuite, je présenterai une approche similaire basée sur un réseau de neurone autoencodeur et permettant d'entraîner un réseau de neurones profond, c'est-à-dire à plusieurs couches cachées. L'avantage de l'utilisation d'un réseau de neurones profond sera démontrée sur une série de problèmes de classification d'images générées à partir de plusieurs facteurs de variation. Ensuite, je montrerai qu'il est possible d'obtenir une amélioration additionnelle des performances en encourageant explicitement un réseau de neurones à extraire une représentation de l'entrée qui soit robuste, c'est-à-dire qui soit invariante à l'absence d'une partie des éléments d'entrée. Finalement, je décrirai une méthode simple pour introduire des interactions d'inhibition et d'excitation entre les neurones cachés, permettant d'extraire une représentation plus riche de l'entrée et pouvant aussi améliorer la performance d'un réseau profond.

COMPOSITION DU JURY:

Président-Rapporteur: Pascal Vincent Directeur de Recherche: Yoshua Bengio Examinateur Externe: Geoffrey Hinton Membre du Jury: Douglas Eck Représentante du Doyen: Nathalie Loye