ひらめの日常

日常のメモをつらつらと

【因果推論】条件付き独立性とD分離

条件付き独立性と d-separation

グラフィカルモデルの基礎的な概念です。

構造的因果モデル

因果関係を適切に扱うために、データにある因果の仮定を記述する方法が必要になる。それが 構造的因果モデル (SCM: Structual Causal Model)。構造的因果モデルの構成要素は次の通り

  • 変数の外生集合 U。モデルの外部に存在し、どのようにして発生するかは説明されない。他の変数の子孫とはならない。
  • 変数の内生集合 V。モデルの内部に存在し、他の変数の子孫となっている。
  • モデル内の他の変数によって、Vの値を決定する関数の集合 f

グラフィカルモデル

これを視覚的に表したのがグラフィカル因果モデル(通称グラフィカルモデル)。グラフィカルモデルの大きな利点として、視覚的に因果関係を捉えることができることはもちろんだが、同時分布を効率的に記述できるということがある。

非巡回なグラフにおけるモデルでは、それに含まれる変数の同時分布は、P(child|parent)を全てのノードに対して掛け算することで得られる。これはグラフィカルモデルの因数分解などと呼ばれる。具体的には、pa_i を変数 x_i の親の変数として以下のように表される。

{
P(x_1, x_2, x_3,...,x_n) = \prod _ {i} P(x _ {i}|pa_{i})
}

これにより、全ての変数の組み合わせを爆発的に数えるのではなく、関連があるところの条件付き分布を適切に取り出して掛け算をすればよくなる。高次元の推定問題を、いくつかの低次元の問題に置き換えることができる。

条件付き独立性とは

3変数 a, b, c を考える。条件付き独立性とは、以下が成り立つことを指す。

{
p(a,b | c) = p(a|c) p(b|c)
}

これは、以下のように表すこともある。

{
\newcommand{\indep}{\mathop{\perp\!\!\!\!\perp}}


a \indep b \ | \ c
}

噛み砕くと、aとbはcに依存していて、cの値によってそれぞれ変化するかもしれない。この場合、aとbは従属である。しかしcが固定されているならば、aの値が変化してもcの値には影響はない。つまりbの値にも影響はないので、aとbは条件付き独立となる(かえってわかりずらい??)。

基本的な例

tail-to-tail (分岐経路)

f:id:thescript1210:20211220095610p:plain:w500

この同時分布は次のようになる。

{
p(a, b, c) = p(a|c)p(b|c)p(c)
}

cに関して周辺化してもaとbは因数分解できないので、独立ではない。

{
p(a, b) = \sum_{c}p(a|c)p(b|c)p(c)
}

しかしここでcが観測された場合、aが変化してもcは変化せず、bに影響を及ぼさない。よって、「aとbはcのもとで条件付き独立」である。

{
\begin{eqnarray}
p(a, b | c) &=& \frac{p(a, b, c)}{p(c)} \\
 &=& p(a|c)p(b|c)
\end{eqnarray}
}

head-to-tail (連鎖経路)

f:id:thescript1210:20211220095550p:plain:w500

この同時分布は次のようになる。

{
p(a, b, c) = p(b|c)p(c|a)p(a)
}

cに関して周辺化してもaとbは因数分解できないので、独立ではない。

{
p(a, b) = p(a) \sum_{c}p(c|a)p(b|c) = p(a)p(b|a)
}

しかしここでcが観測された場合、aが変化してもcは変化せず、bに影響を及ぼさない。よって、「aとbはcのもとで条件付き独立」である。

{
\begin{eqnarray}
p(a,b|c) &=& \frac{p(a, b, c)}{p(c)} \\
&=& \frac{p(b|c)p(c|a)p(a)}{p(c)} \\
&=& p(b|c)\frac{p(a, c)}{p(c)} \\
&=& p(b|c)p(a|c)
\end{eqnarray}
}

head-to-head (合流点)

f:id:thescript1210:20211220095659p:plain:w500

この同時分布は次のようになる。

{
p(a, b, c) = p(a)p(b)p(c|a, b)
}

これはcに関して周辺化するとaとbに因数分解できるので、独立。

{
p(a, b) = p(a)p(b)
}

しかしここでcが観測された場合、aが変化するとcは変化しないため、bもそれに伴って変化する必要がある。よって、「aとbはcのもとで条件付き独立ではない」

{
\begin{eqnarray}
p(a, b|c) &=& \frac{p(a, b, c)}{p(c)} \\
 &=& \frac{p(a)p(b)p(c|a, b)}{p(c)}
\end{eqnarray}
}

ノードcが観測されていない時、このノードはaとbの経路を遮断していると呼ばれる。

有向分離 (D分離)

現実のグラフィカルモデルは上記の例よりも難解で、それを独立な部分に分解することが求められる。その時に重要なのが、D分離という概念である。

pがノードの集合Zにより遮断されている(=D分離されている)とは、以下の条件のうちいずれかを満たしている場合と同値である。

  • pは head-to-tail もしくは tail-to-tail を含み、その中央のノードが集合Zに含まれる場合
  • pは head-to-head を含み、合流点が集合Zに含まれない。さらに、そのいかなる子孫もZ含まれない場合

例えば、以下のグラフでaとbが条件付き独立となるかどうかを考える。cが観測されている場合、集合  {e} によって遮断されない。cは合流点eの子孫であり、D分離の二つ目の条件に反するからである。(cが観測されたなら、cとeが従属。そのもとではaとfが従属になる。bはfに従属なので、aとbは従属となる。)

f:id:thescript1210:20211220101051p:plain:w500

ここでfが観測されたとする。すると、集合  {f} によってaとbは遮断され、条件付き独立となる。fは tail-to-tail の中心ノードであり、D分離の一つ目の条件に当てはまるためである。(fが観測されたなら、eとbは独立。よって、aとbは独立となる。)

f:id:thescript1210:20211220101555p:plain:w500

参考