- Lisa_seminaires - mailman.iro.umontreal.ca

Fwd: Colloque DIRO, Yoshua Bengio Jeudi 28
by Yoshua Bengio 25 Fév '08

25 Fév '08

Begin forwarded message: From: Pierre McKenzie <mckenzie(a)iro.umontreal.ca> Date: February 22, 2008 9:52:48 AM EST (CA) To: Pierre McKenzie <mckenzie(a)IRO.UMontreal.CA> Cc: "Seminaires" <seminaires(a)iro.umontreal.ca> Subject: Colloque DIRO, Yoshua Bengio JE 28 Date : le jeudi 28 février 2008 Lieu : salle (habituelle) 6214, P. Aisenstadt, U de Montréal Heure : 15 h 30 Présentateur : Yoshua Bengio, DIRO, U de Montréal Titre : Bébé IA: de l'humain à la machine Résumé : Quels sont les principes de traitement de l'information qui permettent aux humains d'agir de façon intelligente? Est-ce que ces principes peuvent être utilisés pour faire avancer la recherche en intelligence artificielle (IA)? Malgré plus d'un demi-siècle d'efforts, l'IA semble encore bien loin, pourquoi? La capacité de comprendre la réalité qui nous entoure à partir de notre expérience individuelle serait une des clés de l'intelligence humaine et animale. Cette clé passe par la capacité à s'adapter et à généraliser à de nouvelles situations, par opposition à l'apprentissage par coeur. La recherche en apprentissage machine a beaucoup progressé dans la compréhension mathématique de la notion de généralisation, et a donné lieu à de nouvelles technologies d'analyse statistique dont les applications industrielles et scientifiques sont multiples. Mais d'autres problèmes fondamentaux de nature informatique et mathématique continuent à nous narguer. Nous parlerons de travaux en IA s'inspirant de la manière dont les humains réussissent peut-être à contourner ces difficultés. Nous esquisserons ainsi certains principes qui émergent de recherches récentes et aussi plus anciennes et qui nous semblent essentiels, tels que les représentations distribuées et la profondeur de circuit pour obtenir la compositionalité et empêcher l'explosion combinatoire du fléau de la dimensionalité. Nous parlerons aussi des recherches en cours pour faire face à un problème d'optimisation fondamentalement difficile, pour entraîner des architectures profondes ayant le potentiel de représenter efficacement des abstractions de haut niveau. Pour y arriver nous voulons entraîner un bébé IA à comprendre d'abord des concepts simples avant de s'attaquer à des concepts plus complexes qui sont construits par dessus les concepts plus simples. ------------------------------------------------------------------------ --- Cette conférence s'inscrit dans le cadre des séminaires du département d'informatique et de recherche opérationnelle (DIRO) de l'U de M, pour détails voir http://www.iro.umontreal.ca/~mckenzie/ ColloquesDIRO/H2008 Venez nombreux! >

1 0

REMINDER: UdeM-McGill-MITACS machine learning seminar Tues Feb. 19, 10:00am, PAA 3195
by Hugo Larochelle 18 Fév '08

18 Fév '08

This week's seminar (see http://www.iro.umontreal.ca/article.php3? id_article=107&lang=en): Modelling Image Patches With A Directed Hierarchy Of Markov Random Fields by Simon Osindero, Department of Computer Science University of Toronto Location: Pavillon André-Aisenstadt (UdeM), room 3195 Time: February 19th 2008, 10:00am I will describe an efficient learning procedure for a type of multilayer generative model that combines the best aspects of Markov Random Fields (MRFs) and deep, directed belief nets (DBNs). In particular, I will consider hierarchies in which each hidden layer has its own MRF whose energy function is modulated by the top-down directed connections from the layer above. Our proposed algorithm allows these generative models to be learned one layer at a time, and when learning is complete we are able to use a fast and simple inference procedure for computing a good approximation to the posterior distribution on all of the hidden layers. I will present preliminary results of our approach applied to an image-patch dataset, and will show that this type of model is good at capturing the statistics of patches of natural scenes. This is joint work with Geoff Hinton.

1 0

UdeM-McGill-MITACS machine learning seminar Tues Feb. 19, 10:00am, PAA 3195
by Hugo Larochelle 12 Fév '08

12 Fév '08

Next week's seminar (see http://www.iro.umontreal.ca/article.php3? id_article=107&lang=en): Modelling Image Patches With A Directed Hierarchy Of Markov Random Fields by Simon Osindero, Idilia Location: Pavillon André-Aisenstadt (UdeM), room 3195 Time: February 19th 2008, 10:00am I will describe an efficient learning procedure for a type of multilayer generative model that combines the best aspects of Markov Random Fields (MRF’s) and deep, directed belief nets (DBN’s). In particular, I will consider hierarchies in which each hidden layer has its own MRF whose energy function is modulated by the top-down directed connections from the layer above. Our proposed algorithm allows these generative models to be learned one layer at a time, and when learning is complete we are able to use a fast and simple inference procedure for computing a good approximation to the posterior distribution on all of the hidden layers. I will present preliminary results of our approach applied to an image-patch dataset, and will show that this type of model is good at capturing the statistics of patches of natural scenes. This is joint work with Geoff Hinton.

1 0

Fwd: Séminaire RALI-OLST du 6 février
by Yoshua Bengio 05 Fév '08

05 Fév '08

Peut-être intéressant: Begin forwarded message: > From: Guy Lapalme <lapalme(a)iro.umontreal.ca> > Date: February 4, 2008 4:54:26 PM EST (CA) > To: rali-olst(a)iro.umontreal.ca > Subject: Séminaire RALI-OLST du 6 février > > L'utilisation de méthodes de regroupement pour l'amélioration de la > recherche d'images > Osama El-Demerdash > Computer Science, Concordia > Mercredi 6 février, 11:30, Salle 3195, Pavillon André-Aisenstadt > > Les méthodes de regroupement (clustering) peuvent s'avérer utiles > pour améliorer la recherche d'images. Nous présenterons les > résultats que nous avons obtenus par l'application de ces méthodes > sur une collection de 20 000 images, ainsi qu'avec les réponses > obtenues à partir d'un moteur de recherche. Nous présentons la > collection, les outils de base et les résultats lors de la > compétition ImageCLEF 2007. L'analyse des résultats suggère que la > réussite dans ce domaine passe par un bon fusionnement des données > textuelles et visuelles. > > Guy Lapalme > 514-343-2145

1 0

UdeM-McGill-MITACS machine learning seminar Tues Jan. 22, 10:00am, PAA 3195
by Hugo Larochelle 21 Jan '08

21 Jan '08

The UdeM-McGill-MITACS seminar series will resume next week with its first 2008 seminar. Note the new time for the seminars. Next week's seminar (see http://www.iro.umontreal.ca/article.php3? id_article=107&lang=en): Open Problems in Statistical Machine Translation by Roland Kuhn, Institute for Information Technology National Research Council of Canada Location: Pavillon André-Aisenstadt (UdeM), room 3195 Time: January 22nd 2008, 10h00 Since around the year 2000, the dominant paradigm in research on machine translation has changed from an “expert system” approach to one based on machine learning, called “statistical machine translation” (SMT). The purpose of the talk is to give an overview of SMT and to encourage researchers in machine learning to consider entering the field. After a description of how the SMT systems are evaluated experimentally, the five IBM translation models will be summarized. Then, the key concepts underlying today’s phrase-based SMT systems will be described. Finally, the talk will discuss five interesting open problems in SMT: system adaptation, feature selection, generalizing beyond phrases, discriminative training of SMT systems, and the application of kernel methods to SMT.

2 2

Fwd: Séminaire RALI-OLST: JEUDI le 17 janvier
by Yoshua Bengio 17 Jan '08

17 Jan '08

Begin forwarded message: > From: Guy Lapalme <lapalme(a)iro.umontreal.ca> > Date: January 9, 2008 9:07:44 PM EST > To: rali-olst(a)iro.umontreal.ca > Subject: Séminaire RALI-OLST: JEUDI le 17 janvier > > Large-Scale Structure Prediction by Classification > Joseph Turian > Laboratoire LISA, DIRO > JEUDI 17 janvier, 11:30, Salle 3195, Pavillon André-Aisenstadt > ^^^^^ Jour de la semaine inhabituel > > We present an approach to structure prediction based upon a reduction > to binary classification. This binary classification task typically > involves many examples and many features. We propose a learning method > for these large-scale classification tasks that is simple, accurate, > and efficient. We apply this approach large-scale structure prediction > problems in NLP: parsing and machine translation. > > Guy Lapalme > 514-343-2145

2 1

Fwd: ML talk @SOCS - this Thursday!
by Hugo Larochelle 15 Jan '08

15 Jan '08

This talk might be of interest for people on this mailing list. Hugo Début du message réexpédié : > De : "Joelle Pineau" <jpineau(a)cs.mcgill.ca> > Date : 15 janvier 2008 13:46:28 HNE > À : labrl(a)cs.mcgill.ca > Cc : erica.moodie(a)mcgill.ca, pbiernot(a)gmail.com, > larocheh(a)iro.umontreal.ca, aaron.courville(a)gmail.com > Objet : ML talk @SOCS - this Thursday! > Répondre à : jpineau(a)cs.mcgill.ca > > Hi everyone, > > Eric Laber, a PhD candidate with Susan Murphy at the U. of > Michigan, will > be visiting the RLLab from Jan.16 to Jan.21. > > He'll be giving a talk on his recent research on Thursday Jan.17, > 2:30pm, > in the Trottier buildling, Rm 0070. **Note the unusual place/ > time.** The > abstract is included below. This should be of significant interest > to the > machine learning crowd. > > If you'd like to meet with Eric while he's here, or are free to > take him > to dinner, please let me know. > > Feel free to forward to any interested colleagues. > > cheers, > Joelle

1 0

soutenance de Julie Carreau mercredi 14h
by Yoshua Bengio 19 Déc '07

19 Déc '07

SOUTENANCE DE THÈSE DE DOCTORAT Modèles Pareto hybrides pour distributions asymétriques à queues lourdes Julie Carreau Mercredi 19 décembre, 14h, local 3194 du Pavillon André-Aisenstadt, UdeM Parmi les réclamations des clients à leur assureur, on en retrouve une majorité qui sera d’un montant restreint alors qu’une proportion non négligeable prendra des valeurs extrêmes. Ceci est caractéristique des distributions à queue lourde. Il est primordial pour l’assureur de bien modéliser l’ensemble de la distribution des réclamations et en particulier, la région plus extrême où peu ou pas d’observations ont eu lieu. La théorie des valeurs extrêmes en probabilité a développé des techniques basées sur des résultats asymptotiques permettant l’extrapolation rigoureuse dans les queues de distribution. Par ailleurs, l’estimation de densité non-paramétrique permet d’étudier des distributions en faisant peu d’hypothèses a priori. Des modèles flexibles qui sont en mesure de capturer la multi-modalité et l'asymétrie de la distribution sous-jacente tel que le mélange de gaussiennes peuvent approximer arbitrairement bien toute distribution continue. Cependant, ces modèles ne réussissent pas à extrapoler adéquatement dans la queue de la distribution lorsque les jeux de données sont petits et contiennent des valeurs extrêmes. Cette thèse propose une classe de modèles d’estimation de densité qui tire profit d’une part des méthodes non-paramétriques pour modéliser la partie centrale de la distribution et d’autre part de la théorie des valeurs extrêmes pour extrapoler à l’aide d’hypothèses paramétriques dans la queue de la distribution. Cette classe d’estimateurs permet l’estimation de densité univariée dans le cas inconditionnel et conditionnel. mots clés: estimation de densité, distribution à queue lourde, loi de Pareto généralisée, valeurs extrêmes, mélange de distributions, réseau de neurones Examinateur externe: Hugh Chipman Président-rapporteur: Pascal Vincent Membre du jury: Christian Léger Directeur de recherche: Yoshua Bengio Représentant du doyen: Clément Bernard -- Yoshua Bengio

2 1

NEW LOCATION: UdeM-McGill-MITACS machine learning seminar, PAA 1360, Fri Nov 30, 11:30am
by Hugo Larochelle 29 Nov '07

29 Nov '07

This week's seminar (see http://www.iro.umontreal.ca/article.php3?id_article=107&lang=en) A Bayesian approach to analyze water tank signals in the Pierre Auger experiment by Balazs Kegl, Laboratoire de l’Accélérateur Linéaire Université Paris-Sud 11 Location: Pavillon André-Aisenstadt (UdeM), room 1360 Time: November 30th 2007, 11h30 The objective of the Pierre Auger experiment (auger.org) is to study the properties of ultra-high energy cosmic ray particles. When one if these particles collides with the atmosphere, it generates a huge shower of atmospheric particles that covers several square kilometers on the Earth’s surface. The surface detector of the Auger Observatory (built on the pampas of Argentina) consists of 1600 water tanks spaced at 1.5 km on a regular hexagonal grid that detect atmospheric shower particles through their interaction with water. To analyze the water tank signals, we have built an elaborate generative model based on physical laws and simulations of both the showers and the detector. To estimate the model parameters, we use a Bayesian approach based on reversible jump Monte Carlo Markov chains. This technique allows us to estimate the number of muonic mixture components in the signal which is one of the best indicators of the nature of the original cosmic ray particle. In the first part of the talk we introduce the basic physics behind the experiment and describe the statistical model. In the second part we show the Bayesian technique that we are using to estimate the parameters and present some preliminary results. _______________________________________________ Lisa_seminaires mailing list Lisa_seminaires(a)mercure.iro.umontreal.ca https://webmail.iro.umontreal.ca/mailman/listinfo/lisa_seminaires

1 0

UdeM-McGill-MITACS machine learning seminar, PAA 6214, Fri Nov 30, 11:30am
by Hugo Larochelle 26 Nov '07

26 Nov '07

This week's seminar (see http://www.iro.umontreal.ca/article.php3?id_article=107&lang=en) A Bayesian approach to analyze water tank signals in the Pierre Auger experiment by Balazs Kegl, Laboratoire de l’Accélérateur Linéaire Université Paris-Sud 11 Location: Pavillon André-Aisenstadt (UdeM), room 6214 Time: November 30th 2007, 11h30 The objective of the Pierre Auger experiment (auger.org) is to study the properties of ultra-high energy cosmic ray particles. When one if these particles collides with the atmosphere, it generates a huge shower of atmospheric particles that covers several square kilometers on the Earth’s surface. The surface detector of the Auger Observatory (built on the pampas of Argentina) consists of 1600 water tanks spaced at 1.5 km on a regular hexagonal grid that detect atmospheric shower particles through their interaction with water. To analyze the water tank signals, we have built an elaborate generative model based on physical laws and simulations of both the showers and the detector. To estimate the model parameters, we use a Bayesian approach based on reversible jump Monte Carlo Markov chains. This technique allows us to estimate the number of muonic mixture components in the signal which is one of the best indicators of the nature of the original cosmic ray particle. In the first part of the talk we introduce the basic physics behind the experiment and describe the statistical model. In the second part we show the Bayesian technique that we are using to estimate the parameters and present some preliminary results.

1 0