Gibbs-Probenahme

Natur	Algorithmus
Erfinder	Stuart Geman ( in ) , Donald Geman ( in )
Datum der Erfindung	1984
Benannt in Bezug auf	Josiah Willard Gibbs
Aspekt von	Monte-Carlo-Methode von Markov-Ketten

Die Gibbs-Abtastung ist eine MCMC . Bei einer Wahrscheinlichkeitsverteilung $π$ auf einem Universum $Ω$ dieser Algorithmus definiert eine Markov - Kette , deren stationäre Verteilung ist $π$ . Es ist somit möglich, ein Element von $Ω$ nach dem Gesetz $π$ zufällig zu zeichnen (wir sprechen von Abtastung ).

Einführung

Wie bei allen Markov-Ketten-Monte-Carlo-Methoden

wir platzieren uns in einem Vektorraum Ɛ der endlichen Dimension n ;
wir wollen zufällig N Vektoren x ( i ) gemäß einer Wahrscheinlichkeitsverteilung π erzeugen ;
Um das Problem zu vereinfachen, bestimmen wir eine Verteilung q x ( i ), die es ermöglicht, x ( i + 1) zufällig aus x ( i ) zu erzeugen .

Die Spezifität der Gibbs-Abtastung besteht darin, q x ( i ) in n bedingte Wahrscheinlichkeiten aufzuteilen:

die erste Komponente des Vektors x ( i + 1) 1 wird aus der bedingten Wahrscheinlichkeit π ( x 1 | x ( i ) 2 , x ( i ) 3 , ..., x ( i ) n ) erzeugt;
die zweite Komponente des Vektors, x ( i + 1) 2 , wird aus der bedingten Wahrscheinlichkeit π ( x 2 | x ( i + 1) 1 , x ( i ) 3 , ..., x ( i ) n ) erzeugt;
die Komponente j der Vektors, x ( i + 1) j , von der bedingten Wahrscheinlichkeit π (erzeugt x j | x ( i + 1) 1 , x ( i + 1) 2 , ..., x ( i + 1) j - 1 , x ( i ) j + 1 , ..., x ( i ) n ).

Wir ersetzen daher das Problem der zufälligen Erzeugung von x ( i + 1) durch n Probleme, von denen wir hoffen, dass sie einfacher sind.

Prinzip

Sei $X = ( X i , i \in S )$ eine Variable mit der Verteilung $π$ im Raum der Stellen $S = ⟦1; n ⟧$ Richtung Zustandsraum $Ω$ . Für $x = ( x 1 ;\dots; x n ) \in Ω$ und die bedingten Dichten $π i ( x i | x \neg i )$ mit $x \neg i = ( x j , j \neq i ), i \in S$ konstruieren wir die Gibbs Sampler auf $π-$ varianten Kerneln : $P i ( x , y ) = π i ( y i | x \neg i ) 1 ( x \neg i = y \neg i )$ .

Systematischer Scan-Sampler

Wir besuchen $S$ nacheinander und entspannen bei jedem Schritt $i$ den Wert gemäß dem Gesetz $π i$ , das vom aktuellen Zustand abhängig ist. Der Übergang von $x$ nach $y ist$ geschrieben: $P \ left (x; y \ right) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ left (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ right)$

Random Sweep Sampler

Lassen $ν$ eine nie Null Wahrscheinlichkeit von $S$ . Bei jedem Schritt wird eine Stelle $i$ mit der Wahrscheinlichkeit $ν i > 0 ausgewählt$ und der Wert y gemäß dem bedingten Gesetz $π i$ im aktuellen Zustand gelockert . Der Übergang ist geschrieben: $P \ left (x; y \ right) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ left (y_ {i} | x _ {{\ neg {i}}} \ right) {\ mathbf {1}} \ left (x _ {{\ neg i}} = y _ {{\ neg i}} \ right)$

Eigenschaften

Wenn $Ω$ endlich ist, ist der Übergang $P$ streng positiv und die Konvergenzgeschwindigkeit von $νP k$ ist exponentiell.
$π$ kann bis zu einem multiplikativen Faktor bekannt sein.

Literaturverzeichnis

C. Gaetan und X. Guyon , Kap. 9 „Simulation von Raummodellen“ , in Jean-Jacques Droesbeke, Michel Lejeune und Gilbert Saporta, statistischer Analyse von räumlichen Daten: 10 - ten Studientag in der Statistik, 4-8 November 2002, Marseille, Société française de statistique , Paris, Technip,2006468 p. ( ISBN 978-2-7108-0873-2 , Hinweis BnF n o FRBNF40225776 )