Qui: Zhouhan Lin, MILA / DIRO
Quoi: Examen prédoctoral oral
Quand: vendredi, 27 mai 2016 à 10h00
Où: local 3195, André-Aisenstadt
Titre: Towards Hardware Friendly Machine Learning
Résumé:
Le domaine de l'intelligence artificielle (AI) a connu de vastes progrès
ces dernières années. La communauté de l'apprentissage machine évolue
rapidement, grâce aux continuelles améliorations du matériel
informatique. Les GPUs et logiciels actuels (comme Theano, Torch et
TensorFlow) rendent maintenant possible d’entraîner des modèles en quelques
jours, alors que leur entraînement pouvait durer plusieurs mois dans le
passé. Ce gain de temps permet non seulement d'ajuster le modèle sur de
beaucoup plus grands ensembles de données, mais fait également évoluer la
recherche beaucoup plus rapidement. Par conséquent, les réseaux de neurones
sont devenus l'état de l'art dans une grande variété d'applications.
Cependant, la demande pour du calcul toujours plus rapide ne se terminera
jamais. L'entraînement des modèles utilisés dans la traduction automatique,
la reconnaissance vocale, etc. peut encore durer plusieurs semaines. Je
propose donc de faire des adaptations aux réseaux de neurones et de les
rendre plus léger et plus rapide. Je vais vous faire une revue de la
recherche dans ce domaine, vous présenter plusieurs problèmes importants
qui nous empêchent d'obtenir une exécution plus rapide de ces réseaux de
neurones, et vous proposer des solutions pour les résoudre.
Abstract:
The field of Artificial Intelligence (AI) has witnessed vast advances in
recent years. Advances in hardware have made the community of machine
learning evolve much faster than before. With GPUs and well-developed
frameworks like Theano, Torch and TensorFlow, it is now possible to train
models in days which would instead need several months in the past. That
speedup not only makes it possible to fit the model on much larger
datasets, but also makes research evolve much faster. As a result, neural
networks have become the state-of-the-art model behind a wide variety of
applications. However, the demand for more efficient computation never
ends. Models used in machine translation, speech recognition, etc still
take weeks to train. I propose to make adaptations to neural network
algorithms and make them lighter and faster. I am going to talk about
several major factors blocking us from obtaining faster neural network
execution, review previous researches in those ends, and propose ways to
solve them.
Jury:
Aaron Courville (président)
Yoshua Bengio (directeur)
Roland Memisevic (codirecteur)
Alain Tapp (membre)
Tout le monde est bienvenu!
--
Aaron C. Courville
Département d’Informatique et
de recherche opérationnelle
Université de Montréal
email:Aaron.Courville@gmail.com
