Navigation

15 Novembre 2011
Journée thématique organisée par le GDR ISIS Thème A

             La journée commencera à 10h, pour se terminer à 17h.

Programme : (voir ci-dessous)
Lieu : Amphi B 310, Telecom ParisTech, 46 rue Barrault Paris 13ème
Organisatrice : Gersende Fort (email : gersende.fort.at.telecom-paristech.fr

Méthodes de Monte Carlo pour les problèmes inverses bayésiens en traitement des signaux et des images

Thème : Les méthodes de Monte Carlo sont des algorithmes de simulation de nuages de points pour l'approximation de lois de probabilité à valeur dans un espace X général.Elles sont notamment utilisées pour l'exploration de lois complexes, la complexité résultant par exemple de la structure de l'espace X, de sa dimension ou de l'expression de la loi cible.

Dans la résolution des problèmes inverses bayésiens, l'apprentissage des quantités d'intérêt se traduit par l'exploration de la loi a posteriori de ces quantités.Du fait de la complexité de la modélisation statistique, l'exploration de ces lois a posteriori est résolue par des techniques de simulation appelées méthodes de Monte Carlo.

Cette journée sera plus particulièrement consacrée aux nouvelles méthodologies pour les méthodes de Monte Carlo par Chaînes de Markov (MCMC) et leurs applications à la résolution de problèmes inverses bayésiens en traitement des signaux et des images.

Elle comprendra 4 ou 5 exposés invités de 40 min dont

ainsi que des présentations de 20 à 30 min relatives aux nouvelles méthodologies MCMC et leurs applications à la résolution de problèmes inverses bayésiens en traitement des signaux et des images.

Appel à contribution : Les propositions d'exposés courts (20 à 30 min) sont à envoyer à l'organisatrice avant le 21 Octobre 2011. Elles contiendront le titre de l'exposé, l'auteur, un résumé d'une dizaine de lignes  et éventuellement, la référence de la publication associée.


Programme :

10h  - 10h40	Jérôme Idier (IRCCyN) Déconvolution de trains d'impulsion : au-delà de l'échantillonneur de Gibbs
10h45- 11h25	François Caron (INRIA Bordeaux) Inférence bayésienne pour les modèles dynamiques linéaires avec des processus de Dirichlet à mélange
11h30 -11h50	Pascal Szacherski (IMS / CEA Leti) Reconstruction de profils protéiques
11h55 -12h15	Thierry Montagu (CEA) Inférence bayésienne non paramétrique pour la reconstruction d’images 3D en TEP
13h30 -14h10	Nicolas Dobigeon (IRIT) Algorithme MCMC pour le démélange spectral
14h15 -14h35	Rémi Perenon (CEA-Leti) Méthodes MCMC dédiées à la spectrométrie de masse à base de NEMS
14h40- 15h	Stéphanie Allassonnière (CMAP) Anisotropic Metropolis Adjusted Langevin Algorithm: convergence and utility in Stochastic EM algorithm for image analysis.
15h05-15h25	Asma Rabaoui (IMS) A New Markov Chain Monte Carlo Based Estimation Under Equality Constraints
15h40 -16h20	Christian Robert (CEREMADE) Using parallel computation to improve Independent Metropolis-Hastings based estimation
16h25 -16h45	Pierre Jacob (CREST) Wang-Landau algorithm and some improvements for density exploration
16h50 - 17h	Mathieu Bredif (IGN, MATIS) librjmcmc, une librairie générique C++ open-source d'optimisation stochastique

Titre et Résumé des exposés confirmés :

Orateur : François Caron (INRIA Bordeaux)
Titre : Inférence bayésienne pour les modèles dynamiques linéaires avec des processus de Dirichlet à mélange
Résumé : En utilisant les algorithmes de Kalman, il est possible d'effectuer l'estimation optimale dans les modèles dynamiques linéaires à bruits additifs gaussiens. On considère ici le cas où les distributions des bruits sont non gaussiennes et de forme fonctionnelle inconnue. Un modèle bayésien non paramétrique flexible, basé sur les processus de Dirichlet à mélange de gaussiennes est introduit. Des méthodes MCMC efficaces sont alors développées dans ce contexte. Je présenterai une illustration en déconvolution aveugle de signaux.
Référence : F. Caron, M. Davy, A. Doucet, E. Duflos, P. Vanheeghe. Bayesian Inference for Linear Dynamic Models with Dirichlet Process Mixtures. IEEE Transactions on Signal Processing. Vol. 56(1), pp. 71-84, 2008.

Orateur : Nicolas Dobigeon (IRIT)
Titre : Algorithme MCMC pour le démélange spectral
Résumé : Le démélange spectral est une étape importante dans l'analyse physico-chimique par spectroscopie (infrarouge, Raman, EELS,...) ou le traitement des images hyperspectrales (de télédétection, astronomiques,...). Il consiste à décomposer les données mesurées en un ensemble de spectres élémentaires et à quantifier leurs proportions respectives dans chaque mélange observé. Suivant le contexte de l'étude (supervisé, semi-supervisé ou non-supervisé), le démélange spectral est souvent formulé comme un problème inverse ou de séparation aveugle de sources. Nous présenterons dans cet exposé des stratégies d'estimation bayésienne permettant de résoudre le problème de démélange tout en assurant la prise en compte des contraintes physiques inhérentes aux modèles d'observation. Nous détaillerons les algorithmes de démélange résultants basés sur des méthodes de Monte Carlo par chaînes de Markov. Quelques exemples de résultats issus de plusieurs applications seront proposés.

Orateur : Jérôme Idier (IRCCyN)
Titre : Déconvolution de trains d'impulsion : au-delà de l'échantillonneur de Gibbs
Résumé : La déconvolution de trains d'impulsions est un problème d'intérêt pour de nombreuses applications (géophysique, spectrométrie, contrôle non destructif, etc). L'approche MCMC est un choix naturel pour traiter ce problème sous sa forme aveugle, non supervisée et hors ligne. La déconvolution de trains d'impulsions a pu ainsi apparaître comme un exemple idéal d'application de méthodes MCMC standard de type Gibbs dès les années 1990. Or plusieurs difficultés sous-jacentes empêchent le succès de telles méthodes. Cet exposé mettra en évidence ces difficultés et des solutions pratiques pour les résoudre. L'accent sera finalement mis sur des considérations de portée plus générale, intéressant de nombreuses applications potentielles des MCMC à la restauration de signaux et d'images.

Orateur : Christian Robert (CEREMADE)
Titre : Using parallel computation to improve Independent Metropolis-Hastings based estimation
Résumé : In this paper, we consider the implications of the fact that parallel raw-power can be exploited by a generic Metropolis-Hastings algorithm if the proposed values are independent. In particular, we present improvements to the independent Metropolis{ Hastings algorithm that signi cantly decrease the variance of any estimator derived from the MCMC output, for a null computing cost since those improvements are based on a xed number of target density evaluations. Furthermore, the techniques developed in this paper do not jeopardize the Markovian convergence properties of the algorithm, since they are based on the Rao{Blackwell principles of Gelfand and Smith (1990), already exploited in Casella and Robert (1996), Atchade and Perron (2005) and Douc and Robert (2010). We illustrate those improvement both on a toy normal example and on a classical probit regression model but insist on the fact that they are universally applicable.
Référence : Joint work with P. Jacob and M. Smith, arXiv:1010.1595

Orateur : Stéphanie Allassonnière (CMAP)
Titre : Anisotropic Metropolis Adjusted Langevin Algorithm: convergence and utility in Stochastic EM algorithm for image analysis.
Résumé : Sampling a random variable in a high dimensional framework becomes a crucial issue regarding the large range of applications that require such samples, such that image analysis. The Langevin simulation MCMC method - a Langevin simulation within a Metropolis Hastings acceptation procedure- is well adapted in this context. However, the isotropic covariance matrix usually prevents from a numerical convergence which suffers from the low acceptation rate. In this work, we propose to adapt the Langevin simulation taking into account the anisotropy of the problem. We prove that this new algorithm leads to a geometrically ergodic Markov chain.
Moreover, we apply this new MCMC method into a stochastic EM algorithm in order to estimate some model parameter by maximizing the likelihood. We prove that under mild conditions, the estimated parameters converge almost surely with a Normal behaviour of the limit. All this pipeline is numerically tested on handwritten digits and some medical images.

Orateur : Mathieu Bredif (MATIS)
Titre : librjmcmc, une librairie générique C++ open-source d'optimisation stochastique.
Résumé : La librairie librjmcmc est une librairie C++ open-source développée au laboratoire MATIS de l'Institut Géographique National suite aux travaux en optimisation stochastique menés en collaboration avec l'équipe ARIANA de l'INRIA. Cette librairie a été conçue pour être à la fois extrêmement modulaire et pour avoir des performances comparables en temps de calcul à un code développé spécifiquement, grâce au paradigme de programmation générique. L'optimisation stochastique proposée repose sur un recuit simulé couplé à un échantillonneur RJ-MCMC. La modularité de la librairie permet de traiter indifféremment tout type de donnée en entrée (eg des signaux1D, des images 2D, des nuages de points 3D...), pourvu que l'utilisateur de la librairie fournisse les modules décrivant une configuration, les noyaux de saut réversible, l'évaluation des énergies à minimiser et l'espace de recherche probabilisé (processus de référence). La librairie comporte des modules plus spécifiques de type processus ponctuels marqués, permettant par exemple d'optimiser un critère MAP avec une attache aux données image sur un processus ponctuel marqué de rectangles [Tournaire 2010].
Référence: O. Tournaire, M. Brédif, D. Boldo, M. Durupt, An efficient stochastic approach for building footprint extraction from digital elevation models, ISPRS Journal of Photogrammetry and Remote Sensing, Volume 65, Issue 4, July 2010, Pages 317-327, ISSN 0924-2716, http://dx.doi.org/10.1016/j.isprsjprs.2010.02.002

Orateur : Mame Diarra Fall (MAP5)
Titre : Inférence bayésienne non paramétrique pour la reconstruction d’images 3D en TEP
Résumé : Dans cet exposé, nous traitons le problème de la reconstruction spatiale tridimensionnelle en tomographie par émission de positons (TEP). L’objectif est de reconstruire la distribution spatiale d’activité directement à partir des données mesurées, sans discrétisation préalable. Pour cela, nous avons abordé le problème de reconstruction sous la forme d’un problème indirect d’estimation de densité dans un cadre bayésien non paramétrique. La modélisation bayésienne permet de régulariser le problème inverse mal posé, l’approche non paramétrique fournit un cadre robuste et flexible pour l’estimation. L’une des difficultés dans cette approche est de traiter le nombre infini de composantes pendant l’inférence et ce, sans tronquer le modèle. Nous avons développé un schéma d’échantillonnage efficace basé sur les méthodes MCMC. L’estimateur proposé a été comparé avec celui du maximum a posteriori et on présente des résultats sur données simulées à partir d’un fantôme cérébral.
Références : M.D. Fall, É. Barat, C. Comtat, T. Dautremer, T. Montagu and A. Mohammad-Djafari A discrete-continuous Bayesian Model for Emission Tomography. Proceedings of the 18th IEEE International Conference on Image Processing, ICIP 2011, Brussels, Belgium (2011).

Orateur : Pierre Jacob (CREST)
Titre :  Wang-Landau algorithm and some improvements for density exploration
Résumé : The proposed exploration algorithm combines and expands upon components from various adaptive Markov chain Monte Carlo methods, with the Wang-Landau algorithm at its heart. We first introduce the algorithm and then advocate its use for a preliminary Monte Carlo "exploration" of the posterior density. This additional step in the statistical analysis is particularly useful for multimodal, high-dimensional posterior distributions, given the algorithm's ability to escape from local modes. Additionally it allows to design efficient proposal distributions for any subsequent MCMC method. Among other examples, the authors demonstrate the ability of the algorithm to overcome the high correlations encountered in spatial models through a 2D Ising model.

Orateur : Rémi Perenon (CEA-Leti)
Titre : Méthodes MCMC dédiées à la spectrométrie de masse à base de NEMS
Résumé : Le spectromètre de masse est un outil puissant pour analyser la répartition en masse de molécules dans une solution. Les spectromètres de masse actuels fonctionnent en mode flux, sur des valeurs moyennes associées à un ensemble de molécules. Nous étudions une technologie émergente, reposant sur des systèmes électromécaniques nanométriques (NEMS). Ces capteurs fonctionnent en mode comptage, sur des mesures élémentaires associées à chaque molécule. En effet, en bombardant les molécules sur le capteur NEMS et en suivant sa fréquence de résonance, on obtient une courbe « en escalier » où chaque instant de chute de fréquence de résonance correspond à l’adsorption d’une molécule unique et chaque amplitude à sa masse. Afin de retrouver le spectre de masse de ces molécules, nous introduisons un modèle direct reliant cet ensemble de molécules au signal issu de l’adsorption séquentielle de chacune des molécules. Nous formulons l’estimation du spectre de masse comme la résolution d’un problème inverse dans le cadre général des processus ponctuels marqués. Nous proposons une méthode basée sur l’échantillonneur de Gibbs et nous étudions en particulier l’échantillonnage discret des instants d’adsorption.
L’exposé présentera le contexte instrumental de la spectrométrie de masse à base de NEMS puis l’algorithme d’inversion proposé à base de méthodes MCMC. Nous mettrons notamment l’accent sur la résolution du problème d’échantillonnage discret puis nous discuterons des performances de cet algorithme.
Référence : R. Pérenon, A. Mohammad-Djafari, L. Duraffourg, P. Grangeat Quantification moléculaire par spectrométrie de masse à base de NEMS : modélisation et inversion du problème. 23ème Colloque GRETSI sur le Traitement du Signal et des Images, 2011.

Orateur : Asma Rabaoui (IMS)
Titre : A New Markov Chain Monte Carlo Based Estimation Under Equality Constraints
Résumé :  In this talk, we propose a new algorithm to estimate a set of variables that are indirectly observed, with the difficulty that they have to satisfy equality constraints. Classically, such estimates are computed by minimizing a penalized criterion. However, deterministic gradient-based techniques for instance may turn out to be inefficient if the cost function to be minimized is non convex, due to nonlinear constraints or observation functions and/or non Gaussian noises. As an alternative, we propose an original Bayesian approach formulation of the estimation problem wherein the constraints are used to define prior distributions of the unknown variables. Then, we design an original Markov Chain Monte Carlo (MCMC) technique to solve it. On major contribution consists in introducing a warming-type schedule within the MCMC iterations which allows us to generate candidate solutions that gradually enforce the constraints. Furthermore, an importance sampling procedure is applied to guarantee the homogeneity of the Markov chain thus simulated by using the so-called Sequential Monte Carlo (SMC) samplers. The resulting algorithm consists in interacting parallel MCMC steps that converge to the posterior distribution of interest. The proposed approach is evaluated by simulating a realistic scenario of a multi-sensor estimation problem.
Joint work with A. Giremus (IMS).

Orateur : Pascal Szacherski (IMS / CEA Leti)
Titre : Reconstruction de profils protéiques