Qui: Zhouhan Lin, MILA / DIRO Quoi: Examen prédoctoral oral Quand: vendredi, 27 mai 2016 à 10h00 Où: local 3195, André-Aisenstadt

Titre: Towards Hardware Friendly Machine Learning

Résumé:

Le domaine de l'intelligence artificielle (AI) a connu de vastes progrès ces dernières années. La communauté de l'apprentissage machine évolue rapidement, grâce aux continuelles améliorations du matériel informatique. Les GPUs et logiciels actuels (comme Theano, Torch et TensorFlow) rendent maintenant possible d’entraîner des modèles en quelques jours, alors que leur entraînement pouvait durer plusieurs mois dans le passé. Ce gain de temps permet non seulement d'ajuster le modèle sur de beaucoup plus grands ensembles de données, mais fait également évoluer la recherche beaucoup plus rapidement. Par conséquent, les réseaux de neurones sont devenus l'état de l'art dans une grande variété d'applications. Cependant, la demande pour du calcul toujours plus rapide ne se terminera jamais. L'entraînement des modèles utilisés dans la traduction automatique, la reconnaissance vocale, etc. peut encore durer plusieurs semaines. Je propose donc de faire des adaptations aux réseaux de neurones et de les rendre plus léger et plus rapide. Je vais vous faire une revue de la recherche dans ce domaine, vous présenter plusieurs problèmes importants qui nous empêchent d'obtenir une exécution plus rapide de ces réseaux de neurones, et vous proposer des solutions pour les résoudre.

Abstract:

The field of Artificial Intelligence (AI) has witnessed vast advances in recent years. Advances in hardware have made the community of machine learning evolve much faster than before. With GPUs and well-developed frameworks like Theano, Torch and TensorFlow, it is now possible to train models in days which would instead need several months in the past. That speedup not only makes it possible to fit the model on much larger datasets, but also makes research evolve much faster. As a result, neural networks have become the state-of-the-art model behind a wide variety of applications. However, the demand for more efficient computation never ends. Models used in machine translation, speech recognition, etc still take weeks to train. I propose to make adaptations to neural network algorithms and make them lighter and faster. I am going to talk about several major factors blocking us from obtaining faster neural network execution, review previous researches in those ends, and propose ways to solve them.

Jury:

Aaron Courville (président) Yoshua Bengio (directeur) Roland Memisevic (codirecteur) Alain Tapp (membre)

Tout le monde est bienvenu!