変分メッセージパッシング
ゆえに、対象の対数尤度は上式のformula_7と、formula_10間の相対エントロピーの和によって表現できる。相対エントロピーは非負であるため、上で定義した関数formula_7は観測データの対数尤度の下限を表す。ここで、formula_12の周辺分布を厳密に計算しようとした場合に計算量が爆発してしまうような問題について考える。この場合、formula_12の周辺分布を直接求めるのではなく、まず分布formula_4に対して周辺分布を計算しやすくなるような単純な性質を仮定する。次に下限であるformula_7を最大化するような分布formula_4を求める。最後に分布formula_4から、周辺分布を近似的に求める。特に、VMPではformula_4に以下の独立の仮定を用いる: