이것은, 통계학(statistics) 및 확률론적 과정(stochastic processes) 의 이론에서 처럼, 확률 이론(probability theory) 에서 기본 개념입니다.
두 사건(event) 은, 만약 하나의 발생이 다른 것의 발생의 확률에 영향을 미치지 않으면 (동등하게, 오즈(odds) 에 영향을 미치지 않으면), 독립 (independent ), 통계적 독립 (statistically independent ) 또는 확률적으로 독립 (stochastically independent )입니다.[1] 비슷하게, 두 확률 변수(random variable) 는, 만약 하나의 실현이 다른 것의 확률 분포(probability distribution) 에 영향을 미치지 않으면, 독립입니다.
두 사건보다 많은 사건의 모음을 다룰 때, 독립의 약한 및 강한 개념이 구별될 필요가 있습니다. 사건은 만약 모음에서 임의의 두 사건이 서로 독립이면, 쌍별 독립(pairwise independent) 이라고 불리며, 반면에 사건이 서로 독립 (mutually independent ) (또는 집합적으로 독립 (collectively independent ))이라고 말하는 것은 각 사건이 모음에서 다른 사건의 임의의 조합과 독립임을 직관적으로 의미합니다. 비슷한 개념은 확률 변수의 모음에 대해 존재합니다.
이름 "서로 독립" ("집합적 독립"과 같음)은 교육학적 선택의 결과로 보이며, 단지 "쌍별 독립"으로부터 더 강한 개념을 구별하기 위한 것이며, 이것은 더 약한 개념입니다. 확률 이론, 통계 및 확률 과정의 고급 문헌에서, 더 강한 개념은 단순히 수정-문구없이 독립 으로 이름-짓습니다. 독립이 쌍별 독립을 의미하기 때문에 더 강한 것이지만, 다른 방법은 아닙니다.
Definition
For events
Two events
두 사건
A
{\displaystyle A}
와
B
{\displaystyle B}
는 독립인 것 (종종
A
⊥
B
{\displaystyle A\perp B}
또는
A
⊥
⊥
B
{\displaystyle A\perp \!\!\!\perp B}
으로 쓰임)과 그들의 결합 확률(joint probability) 이 그들 확률의 곱과 같은 것은 필요충분 조건입니다:[2] : p. 29 [3] : p. 10
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)}
(Eq.1 )
이것이 독립을 정의하는 이유는 조건부 확률(conditional probabilities) 로 다시 작성함으로써 명확해집니다:
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
⟺
P
(
A
)
=
P
(
A
∩
B
)
P
(
B
)
=
P
(
A
∣
B
)
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A\mid B)}
.
및 비슷하게
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
⟺
P
(
B
)
=
P
(
B
∣
A
)
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B)=\mathrm {P} (B\mid A)}
.
따라서,
B
{\displaystyle B}
의 발생은
A
{\displaystyle A}
의 확률에 영향을 미치지 않고, 그 반대도 마찬가지입니다. 비록 유도된 표현이 더 직관적으로 보일지라도, 그들은 선호되는 정의가 아닌데, 왜냐하면 조건부 확률은 만약
P
(
A
)
{\displaystyle \mathrm {P} (A)}
또는
P
(
B
)
{\displaystyle \mathrm {P} (B)}
가 0이면 정의되지 않을 수 있기 때문입니다. 게다가, 선호되는 정의는
A
{\displaystyle A}
가
B
{\displaystyle B}
와 독립일 때
B
{\displaystyle B}
가
A
{\displaystyle A}
와 역시 독립임을 대칭에 의해 분명히 합니다.
Log probability and information content
로그 확률(log probability) 의 관점에서 말하면, 두 사건이 독립인 것과 결합 사건의 로그 확률이 개별 사건의 로그 확률의 합인 것은 필요충분 조건입니다:
log
P
(
A
∩
B
)
=
log
P
(
A
)
+
log
P
(
B
)
{\displaystyle \log \mathrm {P} (A\cap B)=\log \mathrm {P} (A)+\log \mathrm {P} (B)}
정보 이론(information theory) 에서, 음의 로그 확률은 정보 컨텐츠(information content) 로 해석되고, 따라서 두 사건이 독립인 것과 결합된 사건의 정보 컨텐츠가 개별 사건의 정보 컨텐츠의 합과 같은 것은 필요충분 조건입니다:
I
(
A
∩
B
)
=
I
(
A
)
+
I
(
B
)
{\displaystyle \mathrm {I} (A\cap B)=\mathrm {I} (A)+\mathrm {I} (B)}
자세한 것에 대해 Information content § Additivity of independent events 를 참조하십시오.
Odds
오즈(odds) 의 관점에서 말하자면, 두 사건이 독립인 것과
A
{\displaystyle A}
와
B
{\displaystyle B}
의 오즈 비율(odds ratio) 이 단위 (1)인 것은 필요충분 조건입니다. 확률과 유사하게, 이것은 조건부 오즈가 무-조건부 오즈와 같음과 동등합니다:
O
(
A
∣
B
)
=
O
(
A
)
and
O
(
B
∣
A
)
=
O
(
B
)
,
{\displaystyle O(A\mid B)=O(A){\text{ and }}O(B\mid A)=O(B),}
또는 하나의 사건의 오즈에 대해, 나머지 하나의 사건이 주어지면, 사건의 오즈와 같은 것, 발생하지 않는 나머지 하나의 사건이 주어지면:
O
(
A
∣
B
)
=
O
(
A
∣
¬
B
)
and
O
(
B
∣
A
)
=
O
(
B
∣
¬
A
)
.
{\displaystyle O(A\mid B)=O(A\mid \neg B){\text{ and }}O(B\mid A)=O(B\mid \neg A).}
오즈 비율은 다음으로 정의될 수 있습니다:
O
(
A
∣
B
)
:
O
(
A
∣
¬
B
)
,
{\displaystyle O(A\mid B):O(A\mid \neg B),}
또는 대칭적으로 주어진
A
{\displaystyle A}
에 대한
B
{\displaystyle B}
의 오즈에 대해, 따라서 그것이 1인 것과 사건이 독립인 것은 필요충분 조건입니다.
More than two events
사건
{
A
i
}
i
=
1
n
{\displaystyle \{A_{i}\}_{i=1}^{n}}
의 유한 집합은, 만약 사건의 모든 각 쌍이 독립이면, 쌍별 독립 (pairwise independent )입니다[4] —즉, 인덱스
m
,
k
{\displaystyle m,k}
의 모든 구별되는 쌍에 대해 다음인 필요충분 조건입니다:
P
(
A
m
∩
A
k
)
=
P
(
A
m
)
P
(
A
k
)
{\displaystyle \mathrm {P} (A_{m}\cap A_{k})=\mathrm {P} (A_{m})\mathrm {P} (A_{k})}
(Eq.2 )
사건의 유한 집합은, 만약 모든 각 사건이 다른 사건의 임의의 교집합과 독립이면, 서로 독립 (mutually independent )입니다[4] [3] : p. 11 —즉, 모든 각
k
≤
n
{\displaystyle k\leq n}
에 대해 및
{
A
i
}
i
=
1
n
{\displaystyle \{A_{i}\}_{i=1}^{n}}
의 사건
{
B
i
}
i
=
1
k
{\displaystyle \{B_{i}\}_{i=1}^{k}}
의 모든 각
k
{\displaystyle k}
-원소 부분집합에 대해 다음인 필요충분 조건입니다:
P
(
⋂
i
=
1
k
B
i
)
=
∏
i
=
1
k
P
(
B
i
)
{\displaystyle \mathrm {P} \left(\bigcap _{i=1}^{k}B_{i}\right)=\prod _{i=1}^{k}\mathrm {P} (B_{i})}
(Eq.3 )
이것은 독립 사건에 대해 곱셈 규칙 (multiplication rule )으로 불립니다. 모든 단일 사건의 모든 확률의 곱을 오직 포함하는 단일 조건이 아님에 주목하십시오 (반대-예제에 대해 아래 를 참조하십시오); 그것은 사건의 모든 부분집합에 대해 반드시 참을 유지합니다.
두 개보다 많은 사건에 대해, 사건의 서로 독립 집합은 (정의에 의해) 쌍별 독립입니다; 그러나 그 역은 반드시 참일 필요는 없습니다 (반례에 대해 아래 를 참조하십시오).[2] : p. 30
For real valued random variables
Two random variables
두 확률 변수
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립 (independent )인 것과 그들에 의해 생성된 π-시스템(π-system) 의 원소가 독립인 것은 필요충분 조건(if and only if) 입니다; 즉 말하자면, 모든 각
x
{\displaystyle x}
와
y
{\displaystyle y}
에 대해, 사건
{
X
≤
x
}
{\displaystyle \{X\leq x\}}
와
{
Y
≤
y
}
{\displaystyle \{Y\leq y\}}
는 (위의 Eq.1 에서 정의된 것처럼) 독립 사건입니다. 즉, 누적 분포 함수(cumulative distribution function)
F
X
(
x
)
{\displaystyle F_{X}(x)}
와
F
Y
(
y
)
{\displaystyle F_{Y}(y)}
를 갖는
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립인 것과 결합된 확률 변수
(
X
,
Y
)
{\displaystyle (X,Y)}
는 다음의 결합(joint) 누적 분포 함수를 가지는 것은 필요충분 조건(iff) 입니다:[3] : p. 15
F
X
,
Y
(
x
,
y
)
=
F
X
(
x
)
F
Y
(
y
)
for all
x
,
y
{\displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y)\quad {\text{for all }}x,y}
(Eq.4 )
또는 동등하게, 만약 확률 밀도(probability densities)
f
X
(
x
)
{\displaystyle f_{X}(x)}
와
f
Y
(
y
)
{\displaystyle f_{Y}(y)}
및 결합 확률 밀도
f
X
,
Y
(
x
,
y
)
{\displaystyle f_{X,Y}(x,y)}
가 존재하면,
f
X
,
Y
(
x
,
y
)
=
f
X
(
x
)
f
Y
(
y
)
for all
x
,
y
{\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad {\text{for all }}x,y}
.
More than two random variables
n
{\displaystyle n}
확률 변수
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
의 유한 집합은 쌍별 독립 (pairwise independent ) 인 것과 확률 변수의 모든 각 쌍이 독립인 것은 필요충분 조건입니다. 심지어 확률 변수의 집합이 쌍별 독립일지라도, 다음에 정의된 것처럼 서로 독립일 필요는 없습니다.
n
{\displaystyle n}
확률 변수
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
의 유한 집합이 서로 독립 (mutually independent )인 것과 숫자
{
x
1
,
…
,
x
n
}
{\displaystyle \{x_{1},\ldots ,x_{n}\}}
의 임의의 수열에 대해, 사건
{
X
1
≤
x
1
}
,
…
,
{
X
n
≤
x
n
}
{\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}
이 서로 독립 사건인 것은 (위의 Eq.3 에서 정의한 것처럼) 필요충분 조건입니다. 이것은 결합 누적 분포 함수
F
X
1
,
…
,
X
n
(
x
1
,
…
,
x
n
)
{\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}
에 대한 다음 조건과 동등합니다.
n
{\displaystyle n}
확률 변수
{
X
1
,
…
,
X
n
}
{\displaystyle \{X_{1},\ldots ,X_{n}\}}
의 유한 집합이 서로 독립 인 것과 다음은 필요충분 조건입니다:[3] : p. 16
F
X
1
,
…
,
X
n
(
x
1
,
…
,
x
n
)
=
F
X
1
(
x
1
)
⋅
…
⋅
F
X
n
(
x
n
)
for all
x
1
,
…
,
x
n
{\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}
(Eq.5 )
확률 분포가
n
{\displaystyle n}
사건에 대해 경우에서 처럼 모든 가능한
k
−
{\displaystyle k-}
원소 부분집합에 대해 인수화됨을 요구하는 것이 여기서 필요하지 않음에 주의하십시오. 이것은 요구되지 않는데, 왜냐하면, 예를 들어,
F
X
1
,
X
2
,
X
3
(
x
1
,
x
2
,
x
3
)
=
F
X
1
(
x
1
)
⋅
F
X
2
(
x
2
)
⋅
F
X
3
(
x
3
)
{\displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})}
은
F
X
1
,
X
3
(
x
1
,
x
3
)
=
F
X
1
(
x
1
)
⋅
F
X
3
(
x
3
)
{\displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})}
를 의미하기 때문입니다.
측정-이론적으로 기울어짐은 위의 정의에서 사건
{
X
≤
x
}
{\displaystyle \{X\leq x\}}
에 대해 사건
{
X
∈
A
}
{\displaystyle \{X\in A\}}
로 대체하는 것을 선호할 수 있으며, 여기서
A
{\displaystyle A}
는 임의의 보렐 집합(Borel set) 입니다. 해당 정의는 확률 변수의 값이 실수(real numbers) 일 때 하나 위의 정의와 정확히 동등합니다. 그것은 (적절한 σ-대수에 의해 부여된 토폴로지적 공간(topological space) 을 포함하는) 임의의 측정-가능 공간(measurable space) 에서 값을 취하는 복소수-값의 확률 변수 또는 확률 변수에 대해 역시 작동할 수 있는 장점을 가집니다.
For real valued random vectors
두 확률 벡터
X
=
(
X
1
,
.
.
.
,
X
m
)
T
{\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}}
및
Y
=
(
Y
1
,
.
.
.
,
Y
n
)
T
{\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}
가 만약 다음이면 독립 으로 불립니다:[5] : p. 187
F
X
,
Y
(
x
,
y
)
=
F
X
(
x
)
⋅
F
Y
(
y
)
for all
x
,
y
{\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} }
(Eq.6 )
여기서
F
X
(
x
)
{\displaystyle F_{\mathbf {X} }(\mathbf {x} )}
와
F
Y
(
y
)
{\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}
는
X
{\displaystyle \mathbf {X} }
와
Y
{\displaystyle \mathbf {Y} }
의 누적 분포 함수를 표시하고
F
X
,
Y
(
x
,
y
)
{\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}
는 그들의 결합 누적 분포 함수를 표시합니다.
X
{\displaystyle \mathbf {X} }
와
Y
{\displaystyle \mathbf {Y} }
의 독립은
X
⊥
⊥
Y
{\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }
에 의해 종종 표시됩니다. 성분-별로 쓰인,
X
{\displaystyle \mathbf {X} }
와
Y
{\displaystyle \mathbf {Y} }
는 만약 다음이면 독립이라고 불립니다:
F
X
1
,
…
,
X
m
,
Y
1
,
…
,
Y
n
(
x
1
,
…
,
x
m
,
y
1
,
…
,
y
n
)
=
F
X
1
,
…
,
X
m
(
x
1
,
…
,
x
m
)
⋅
F
Y
1
,
…
,
Y
n
(
y
1
,
…
,
y
n
)
for all
x
1
,
…
,
x
m
,
y
1
,
…
,
y
n
{\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}}
.
For stochastic processes
For one stochastic process
독립의 정의는 확률 벡터에서 확률론적 과정(stochastic process) 으로 확장될 수 있습니다. 그것에 의하여 임의의
n
{\displaystyle n}
번에서 과정을 표본화에 의해 얻어진 확률 변수
t
1
,
…
,
t
n
{\displaystyle t_{1},\ldots ,t_{n}}
가 임의의
n
{\displaystyle n}
에 대해 독립 확률 변수라는 독립 확률 과정에 대해 요구됩니다.[6] : p. 163
공식적으로, 확률론적 과정
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
는 독립으로 불리는 것과 모든
n
∈
N
{\displaystyle n\in \mathbb {N} }
에 대해 및 모든
t
1
,
…
,
t
n
∈
T
{\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}
에 대해 다음인 것은 필요충분 조건입니다:
F
X
t
1
,
…
,
X
t
n
(
x
1
,
…
,
x
n
)
=
F
X
t
1
(
x
1
)
⋅
…
⋅
F
X
t
n
(
x
n
)
for all
x
1
,
…
,
x
n
{\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=F_{X_{t_{1}}}(x_{1})\cdot \ldots \cdot F_{X_{t_{n}}}(x_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}
(Eq.7 )
여기서
F
X
t
1
,
…
,
X
t
n
(
x
1
,
…
,
x
n
)
=
P
(
X
(
t
1
)
≤
x
1
,
…
,
X
(
t
n
)
≤
x
n
)
{\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})}
입니다. 확률론적 과정의 독립은 확률론적 과정 내부의 속성이며, 두 확률론적 과정 사이의 속성이 아닙니다.
For two stochastic processes
두 확률론적 과정의 독립은 같은 확률 공간
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
위에 정의된 두 확률론적 과정
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
및
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
사이의 속성입니다. 공식적으로, 두 확률론적 과정
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
및
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
는, 만약 모든
n
∈
N
{\displaystyle n\in \mathbb {N} }
에 대해 및 모든
t
1
,
…
,
t
n
∈
T
{\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}
에 대해, 확률 벡터
(
X
(
t
1
)
,
…
,
X
(
t
n
)
)
{\displaystyle (X(t_{1}),\ldots ,X(t_{n}))}
와
(
Y
(
t
1
)
,
…
,
Y
(
t
n
)
)
{\displaystyle (Y(t_{1}),\ldots ,Y(t_{n}))}
가 독립[7] : p. 515 , 즉 만약
F
X
t
1
,
…
,
X
t
n
,
Y
t
1
,
…
,
Y
t
n
(
x
1
,
…
,
x
n
,
y
1
,
…
,
y
n
)
=
F
X
t
1
,
…
,
X
t
n
(
x
1
,
…
,
x
n
)
⋅
F
Y
t
1
,
…
,
Y
t
n
(
y
1
,
…
,
y
n
)
for all
x
1
,
…
,
x
n
{\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}},Y_{t_{1}},\ldots ,Y_{t_{n}}}(x_{1},\ldots ,x_{n},y_{1},\ldots ,y_{n})=F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})\cdot F_{Y_{t_{1}},\ldots ,Y_{t_{n}}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{n}}
(Eq.8 )
이면 독립이라고 말합니다.
Independent σ-algebras
위의 (Eq.1 및 Eq.2 ) 정의는 σ-대수(σ-algebras) 에 대해 독립의 다음 정의에 의해 둘 다 일반화될 수 있습니다.
(
Ω
,
Σ
,
P
)
{\displaystyle (\Omega ,\Sigma ,\mathrm {P} )}
를 확률 공간으로 놓고
A
{\displaystyle {\mathcal {A}}}
와
B
{\displaystyle {\mathcal {B}}}
를
Σ
{\displaystyle \Sigma }
의 두 개의 부분-σ-대수로 놓습니다.
A
{\displaystyle {\mathcal {A}}}
와
B
{\displaystyle {\mathcal {B}}}
는, 만약
A
∈
A
{\displaystyle A\in {\mathcal {A}}}
와
B
∈
B
{\displaystyle B\in {\mathcal {B}}}
일 때마다,
P
(
A
∩
B
)
=
P
(
A
)
P
(
B
)
{\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)}
이면 독립 이라고 말합니다.
마찬가지로,
I
{\displaystyle I}
가 인덱스 집합(index set) 인 σ-대수
(
τ
i
)
i
∈
I
{\displaystyle (\tau _{i})_{i\in I}}
의 유한 가족이 독립이라고 말해지는 것과
∀
(
A
i
)
i
∈
I
∈
∏
i
∈
I
τ
i
:
P
(
⋂
i
∈
I
A
i
)
=
∏
i
∈
I
P
(
A
i
)
{\displaystyle \forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)}
이고 σ-대수의 유한한 가족이, 만약 모든 그의 유한 부분-가족이 독립이면, 독립이라고 말해지는 것은 필요충분 조건입니다.
새로운 정의는 이전 정의와 매우 직접적으로 관련됩니다:
(이전 의미에서) 두 사건이 독립인 것과 (새로운 의미에서) 그들이 생성하는 σ-대수가 독립인 것은 필요충분 조건(if and only if) 입니다. 사건
E
∈
Σ
{\displaystyle E\in \Sigma }
에 의해 생성된 σ-대수는, 정의에 의해,
σ
(
{
E
}
)
=
{
∅
,
E
,
Ω
∖
E
,
Ω
}
.
{\displaystyle \sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.}
(이전 의미에서)
Ω
{\displaystyle \Omega }
에 걸쳐 정의된 두 확률 변수
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립인 것과 (새로운 의미에서) 그들이 생성하는 σ-대수가 독립인 것은 필요충분 조건입니다. 어떤 측정-가능 공간(measurable space) 에서 값을 취하는 확률 변수
X
{\displaystyle X}
에 의해 생성된 σ-대수는, 정의에 의해, 형식
X
−
1
(
U
)
{\displaystyle X^{-1}(U)}
의
Ω
{\displaystyle \Omega }
의 모든 부분-집합을 구성하며, 여기서
U
{\displaystyle U}
는
S
{\displaystyle S}
의 임의의 측정-가능 부분-집합입니다.
이 정의를 사용하여, 만약
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 확률 변수이고
Y
{\displaystyle Y}
가 상수이면,
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립이라는 것을 보이는 것은 쉬운 일인데, 왜냐하면 상수 확률 변수에 의해 생성된 σ-대수는 자명한 σ-대수
{
∅
,
Ω
}
{\displaystyle \{\varnothing ,\Omega \}}
이기 때문입니다. 확률 영 사건은 절대 독립성에 영향을 미치지 않으므로 독립성은 만약
Y
{\displaystyle Y}
가 단지 확률-거의 확실하게 상수이면 역시 유지됩니다.
Properties
Self-independence
하나의 사건이 그 자체로 독립인 것과
P
(
A
)
=
P
(
A
∩
A
)
=
P
(
A
)
⋅
P
(
A
)
⇔
P
(
A
)
=
0
or
P
(
A
)
=
1
{\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\Leftrightarrow \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1}
이 필요충분 조건임에 주목하십시오.
따라서 사건이 그 자체로 독립인 것과 그것이 거의 확실하게(almost surely) 발생하는 것 또는 그의 여사건(complement) 이 거의 확실하게 발생하는 것은 필요충분 조건입니다; 이 사실은 영–일 법칙(zero–one law) 을 입증할 때 유용합니다.[8]
Expectation and covariance
만약
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립 확률 변수이면, 기댓값 연산자(expectation operator)
E
{\displaystyle \operatorname {E} }
는 다음 속성을 가지고
E
[
X
Y
]
=
E
[
X
]
E
[
Y
]
,
{\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y],}
공분산(covariance)
cov
[
X
,
Y
]
{\displaystyle \operatorname {cov} [X,Y]}
은 영인데, 왜냐하면 우리는 다음을 가지기 때문입니다:
cov
[
X
,
Y
]
=
E
[
X
Y
]
−
E
[
X
]
E
[
Y
]
{\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}
.
(이들의 역, 즉, 만약 두 확률 변수가 0의 공분산을 가지면 그들은 반드시 독립이라는 명제는 참이 아닙니다. 비상관화(uncorrelated) 를 참조하십시오.)
비슷하게 두 확률론적 과정
{
X
t
}
t
∈
T
{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}
및
{
Y
t
}
t
∈
T
{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}
에 대해: 만약 그들이 독립이면, 그들은 비상관된 것입니다.[9] : p. 151
Characteristic function
두 확률 변수
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 독립인 것과 확률 벡터
(
X
,
Y
)
{\displaystyle (X,Y)}
의 특성 함수(characteristic function) 가 다음을 만족시키는 것은 필요충분 조건입니다:
φ
(
X
,
Y
)
(
t
,
s
)
=
φ
X
(
t
)
⋅
φ
Y
(
s
)
{\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s)}
.
특히 그들의 합의 특성 함수는, 비록 역은 참이 아닐지라도, 그들의 주변 특성 함수의 곱입니다:
φ
X
+
Y
(
t
)
=
φ
X
(
t
)
⋅
φ
Y
(
t
)
,
{\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}
후자의 조건을 만족시키는 무작위 변수는 부분-독립(subindependent) 으로 불립니다.
Examples
Rolling dice
첫 번째 주사위를 굴려 6을 얻는 사건과 두 번째 6을 얻는 사건은 독립 (independent )입니다. 대조적으로, 첫 번째 주사위를 굴려 6을 얻는 사건과 첫 번째와 두 번째 시행에서 보이는 숫자의 합이 8인 사건은 독립이 아닙니다 .
Drawing cards
만약 두 장의 카드가 카드의 덱으로부터 복원 으로 뽑히면, 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 독립 입니다. 대조적으로, 만약 두 장의 카드가 카드의 덱으로부터 비복원 으로 뽑히면, 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 독립이 아닙니다 . 왜냐하면 제거된 빨간색 카드를 가지는 덱은 비례적으로 더 적은 빨간색 카드를 가집니다.
Pairwise and mutual independence
Pairwise independent, but not mutually independent, events.
Mutually independent events.
보이는 두 확률 공간을 생각해 보십시오. 둘 다의 경우에서,
P
(
A
)
=
P
(
B
)
=
1
/
2
{\displaystyle \mathrm {P} (A)=\mathrm {P} (B)=1/2}
이고
P
(
C
)
=
1
/
4
{\displaystyle \mathrm {P} (C)=1/4}
입니다. 첫 번째 공간에서 확률 변수는 쌍별 독립인데 왜냐하면
P
(
A
|
B
)
=
P
(
A
|
C
)
=
1
/
2
=
P
(
A
)
{\displaystyle \mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)}
,
P
(
B
|
A
)
=
P
(
B
|
C
)
=
1
/
2
=
P
(
B
)
{\displaystyle \mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)}
, 및
P
(
C
|
A
)
=
P
(
C
|
B
)
=
1
/
4
=
P
(
C
)
{\displaystyle \mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)}
이기 때문입니다; 그러나 세 확률 변수는 서로 독립이 아닙니다. 두 번째 공간에서 확률 변수는 둘 다 쌍별 독립이고 서로 독립입니다. 차이를 설명하기 위해, 두 사건에 대한 조건을 고려하십시오. 쌍별 독립 경우에서, 비록 임의의 하나의 사건이 다른 두 사건의 각각과 개별적으로 독립일지라도, 다른 두 사건의 교집합과 독립이 아닙니다:
P
(
A
|
B
C
)
=
4
40
4
40
+
1
40
=
4
5
≠
P
(
A
)
{\displaystyle \mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)}
P
(
B
|
A
C
)
=
4
40
4
40
+
1
40
=
4
5
≠
P
(
B
)
{\displaystyle \mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)}
P
(
C
|
A
B
)
=
4
40
4
40
+
6
40
=
2
5
≠
P
(
C
)
{\displaystyle \mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)}
서로 독립 경우에서, 어쨌든,
P
(
A
|
B
C
)
=
1
16
1
16
+
1
16
=
1
2
=
P
(
A
)
{\displaystyle \mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)}
P
(
B
|
A
C
)
=
1
16
1
16
+
1
16
=
1
2
=
P
(
B
)
{\displaystyle \mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)}
P
(
C
|
A
B
)
=
1
16
1
16
+
3
16
=
1
4
=
P
(
C
)
{\displaystyle \mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)}
Mutual independence
다음인 것에서
P
(
A
∩
B
∩
C
)
=
P
(
A
)
P
(
B
)
P
(
C
)
,
{\displaystyle \mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),}
세-사건 예제를 만드는 것이 가능하고, 여전히 세 사건 중 두 사건이 쌍별 독립이 아닙니다 (그리도 따라서 사건의 집합은 서로 독립이 아닙니다).[10] 이 예제는 서로 독립성이 이 예제에서 처럼 단지 단일 사건이 아니라, 사건의 모든 조합의 확률의 곱에 대한 요구사항을 포함한다는 것을 보여줍니다. 또 다른 예제에 대해,
A
{\displaystyle A}
는 빈 것으로 취하고,
B
{\displaystyle B}
와
C
{\displaystyle C}
는 비-영 확률을 갖는 같은 사건을 취합니다. 그런-다음,
B
{\displaystyle B}
와
C
{\displaystyle C}
는 같은 사건이므로, 그들은 독립이 아니지만, 사건의 교집합의 확률은 영, 확률의 곱입니다.
Conditional independence
For events
사건
A
{\displaystyle A}
와
B
{\displaystyle B}
는 주어진 사건
C
{\displaystyle C}
에 대해 다음일 때 조건부 독립입니다:
P
(
A
∩
B
∣
C
)
=
P
(
A
∣
C
)
⋅
P
(
B
∣
C
)
{\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}
.
For random variables
직관적으로, 두 확률 변수
X
{\displaystyle X}
와
Y
{\displaystyle Y}
는, 만약, 일단
Z
{\displaystyle Z}
가 알려져 있으며,
Y
{\displaystyle Y}
의 값이
X
{\displaystyle X}
에 대한 임의의 추가적인 정보를 더하지 않으면, 주어진
Z
{\displaystyle Z}
에 대해 조건부 독립입니다. 예를 들어, 같은 놓여-있는 양
Z
{\displaystyle Z}
의 두 측정
X
{\displaystyle X}
와
Y
{\displaystyle Y}
는 독립이 아니지만, (만약 두 측정에서 오류가 어떻게든 연결되지 않는다면) 그들은 주어진
Z
{\displaystyle Z}
에 대해 조건부 독립 입니다.
조건부 독립의 공식적인 정의는 조건부 분포(conditional distribution) 의 아이디어에 근거를 둡니다. 만약
X
{\displaystyle X}
,
Y
{\displaystyle Y}
, 및
Z
{\displaystyle Z}
가 이산 확률 변수(discrete random variable) 이면, 우리는
X
{\displaystyle X}
와
Y
{\displaystyle Y}
는,
P
(
Z
=
z
)
>
0
{\displaystyle \mathrm {P} (Z=z)>0}
를 만족하는 모든
x
{\displaystyle x}
,
y
{\displaystyle y}
및
z
{\displaystyle z}
에 대해, 만약
P
(
X
≤
x
,
Y
≤
y
|
Z
=
z
)
=
P
(
X
≤
x
|
Z
=
z
)
⋅
P
(
Y
≤
y
|
Z
=
z
)
{\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}
이면 주어진
Z
{\displaystyle Z}
에 대해 조건부 독립 이라고 정의합니다. 다른 한편으로, 만약 확률 변수가 연속(continuous) 이고 결합 확률 분포 함수(probability density function)
f
X
Y
Z
(
x
,
y
,
z
)
{\displaystyle f_{XYZ}(x,y,z)}
를 가지면,
X
{\displaystyle X}
와
Y
{\displaystyle Y}
는,
f
Z
(
z
)
>
0
{\displaystyle f_{Z}(z)>0}
를 만족하는 모든 실수
x
{\displaystyle x}
,
y
{\displaystyle y}
및
z
{\displaystyle z}
에 대해, 만약
f
X
Y
|
Z
(
x
,
y
|
z
)
=
f
X
|
Z
(
x
|
z
)
⋅
f
Y
|
Z
(
y
|
z
)
{\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}
이면 주어진
Z
{\displaystyle Z}
에 대해 조건적으로 독립(conditionally independent) 입니다.
만약 이산
X
{\displaystyle X}
와
Y
{\displaystyle Y}
가 주어진
Z
{\displaystyle Z}
에 대해 조건적으로 독립이면,
P
(
Z
=
z
)
>
0
{\displaystyle \mathrm {P} (Z=z)>0}
를 갖는 임의의
x
{\displaystyle x}
,
y
{\displaystyle y}
및
z
{\displaystyle z}
에 대해, 다음입니다:
P
(
X
=
x
|
Y
=
y
,
Z
=
z
)
=
P
(
X
=
x
|
Z
=
z
)
{\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}
.
즉, 주어진
Y
{\displaystyle Y}
와
Z
{\displaystyle Z}
에서
X
{\displaystyle X}
에 대해 조건부 분포는 단독으로 해당 주어진
Z
{\displaystyle Z}
와 같습니다. 비슷한 방정식이 연속 경우에서 조건부 확률 밀도 함수에 대해 유지됩니다.
독립은 조건부 독립의 특수한 종류로 보일 수 있는데, 왜냐하면 확률은 주어진 사건이 없는 조건부 확률의 종류로 보일 수 있기 때문입니다.
See also
References
^ Russell, Stuart; Norvig, Peter (2002). Artificial Intelligence: A Modern Approach . Prentice Hall . p. 478. ISBN 0-13-790395-2 .
^ a b Florescu, Ionut (2014). Probability and Stochastic Processes . Wiley. ISBN 978-0-470-62455-5 .
^ a b c d Gallager, Robert G. (2013). Stochastic Processes Theory for Applications . Cambridge University Press. ISBN 978-1-107-03975-9 .
^ a b Feller, W (1971). "Stochastic Independence". An Introduction to Probability Theory and Its Applications . Wiley .
^ Papoulis, Athanasios (1991). Probability, Random Variables and Stochastic Porcesses . MCGraw Hill. ISBN 0-07-048477-5 .
^ Hwei, Piao (1997). Theory and Problems of Probability, Random Variables, and Random Processes . McGraw-Hill. ISBN 0-07-030644-3 .
^ Amos Lapidoth (8 February 2017). A Foundation in Digital Communication . Cambridge University Press. ISBN 978-1-107-17732-1 .
^ Durrett, Richard (1996). Probability: theory and examples (Second ed.). page 62
^ Park,Kun Il (2018). Fundamentals of Probability and Stochastic Processes with Applications to Communications . Springer. ISBN 978-3-319-68074-3 .
^ George, Glyn, "Testing for the independence of three events," Mathematical Gazette 88, November 2004, 568. PDF