Bonjour!
Vous êtes invité à la présentation de l'examen prédoctoral de Xavier Bouthillier, lundi le 9 mai à 10h00 au AA3195.
Président-rapporteur: Alain Tapp
Membre: Chris Pal (Ecole Polytechnique de Montréal)
Directeur de Recherche: Pascal Vincent
Résumé:
Le traitement automatique du langage naturel est un des domaines de
l’informatique aux problèmes les plus difficiles à résoudre puisqu’il est souvent impossible
de les abstraire totalement du monde extérieur. Les premières tâches où l’on pu observer
de bonnes performances furent des environnements spécialisés sur lesquels on appliqua
des modèles à base de règles rigides. Ces modèles étaient cependant très dispendieux
et très spécialisés. La puissance de généralisation de l’apprentissage machine s’est
lentement intégré à ces systèmes jusqu’à finalement en remplacer totalement certains.
Il reste cependant beaucoup de travail à faire avant que les problèmes que pose le
traitement automatique du langage soient résolus.
Dans cet ouvrage, nous abordons les problèmes de classifications de phrases, de
modélisation de langage et de traduction automatique sous l’angle de l’apprentissage de
représentations profondes. Premièrement, nous présentons un réseau de neurones
convolutionnel inspiré des modèles n-grammes que nous appliquons à la classification
de phrases. Deuxièmement, nous décrivons un algorithme permettant de réduire la
complexité en temps de calcul de plusieurs ordres de grandeur de modèles tels que les
modèles de langage connectionnistes. En se basant sur la même problématique, nous
proposons aussi une alternative au critère de reconstruction des auto-encodeurs
permettant d’éviter la reconstruction d’entrées de très grandes tailles, un problème
classique en traitement automatique du langage naturelle.
Finalement, nous proposons plusieurs idées pour de futurs travaux concernant la
traduction automatique. Notamment, l’utilisation d’une sortie structurée permettant la
construction itérative de traductions, en opposition à la construction séquentielle, et le
développement d’une métrique de traduction automatique basée sur la
représentation des phrases dans un espace vectoriel.