変分メッセージパッシング
上式で得られた下限はできるだけ大きくなることが望ましい。なぜならこれは下限であるので、下限を本来の尤度formula_21に近づけることは近似精度の向上に繋がるためである。先の独立の仮定を付与した分布formula_4を代入することによって、隠れノードformula_20でパラメータ化されたformula_24は単純に、formula_25と下式によって定義されたformula_26間の相対エントロピーと、formula_25に関与しない他の項の和によって表現される: