変分メッセージパッシング
変分メッセージパッシングでのメッセージ
親ノードが、子ノードに対してその十分統計量の期待値を送信する一方で、子ノードはその親ノードに対して、指数型分布族のパラメータを送信する。その際には、別の親のメッセージについても事前に受け取る必要がある。
指数型分布族との関係
グラフィカルモデル上のすべてのノードが指数型分布族であり、かつすべてのノードの分布がその子ノードに対して共役分布であった場合、その十分統計量の期待値は正規化定数を計算することによって求められる。
アルゴリズムの制約
このアルゴリズムでは、すべての子ノードはその親ノードの分布について共役の分布を持つ必要がある。ゆえに変分メッセージパッシングでは、分布の取り方についていくつかの制限がある。例を挙げると、ガウシアン分布の親ノードは(期待値のパラメータにおいて)ガウス分布をとるか、(精度パラメータにおいて)ガンマ分布を取らなければならない。同様に、離散変数の親はディリクレ分布、ポワソン分布と指数分布の親はガンマ分布を取らなければならない。しかしながら、共役分布を取りさえすれば、変分メッセージアルゴリズムは任意のグラフィカルモデルについて適用することができる。