Bayes' theorem

Original article: w:Bayes' theorem

"Bayes rule" redirects here. For the concept in decision theory, see Bayes estimator.

A blue neon sign showing the simple statement of Bayes’ theorem at the offices of HP Autonomy

확률 이론(probability theory) 및 통계학(statistics)에서, 베이즈의 정리 (대안적으로 베이즈의 법칙 또는 베이즈의 규칙)는, 사건과 관련될 수 있는 조건의 이전 지식을 기반으로, 사건(event)의 확률(probability)을 설명합니다. 예를 들어, 만약 건강 문제가 발현시킬 위험이 나이와 함께 증가하는 것으로 알려져 있으면, 베이즈 정리는 알려진 나이의 개인에 대한 위험을 개인이 전체 인구의 전형이라고 간단히 가정하는 것보다 더 정확하게 평가될 수 있도록 허용합니다.

베이즈의 정리의 많은 응용 중 하나는, 통계적 추론(statistical inference)에 대한 특정 접근, 베이즈 추론(Bayesian inference)입니다. 적용될 때, 베이즈의 정리에 포함된 확률은 다른 확률 해석(probability interpretation)을 가질 수 있습니다. 베이즈 확률(Bayesian probability) 해석과 함께, 그 정리는 확률로 표현된 믿음의 정도가 관련된 증거의 이용-가능성에 대해 고려하기 위해 합리적으로 변경해야 하는 방법을 표현합니다. 베이즈 추론은 베이즈 통계(Bayesian statistics)에 기본입니다.

베이즈의 정리는 목사 토마스 베이즈(Thomas Bayes) (/beɪz/; 1701?–1761)의 이름을 따서 지어졌으며, 그는 An Essay towards solving a Problem in the Doctrine of Chances (1763)로 출판된, 미지수 매개-변수에 대한 극한을 계산하기 위해 증거를 사용하는 (그의 제안 9) 알고리듬을 제공하기 위해 조건부 확률을 최초로 사용했습니다. 그가 스콜리움으로 부르는 것에서, 베이즈는 자신의 알고리듬을 미지수 이전 원인으로 확장했습니다. 베이즈와 독립적으로, 1774년, 및 나중에 그의 1812년 Théorie analytique des probabilités에서 피에르-시몽 라플라스(Pierre-Simon Laplace)는, 증거가 주어지면, 이전 확률로부터 업데이트된 이후 확률의 관계를 공식화하기 위해 조건부 확률을 사용했습니다. 해럴드 제프리스 경(Sir Harold Jeffreys)은 베이즈의 알고리듬과 라플라스의 공식을 공리적 기초 위에 두었습니다. 제프리스는 베이즈의 정리는 "피타고라스 정리(Pythagorean theorem)가 기하학에 대한 것처럼 확률 이론에서 그것"이라고 썼습니다.

Statement of theorem

베이즈의 정리는 수학적으로 다음 방정식으로 표현됩니다:

$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}$

여기서 $A$와 $B$는 사건(events)이고 $P(B)\neq 0$입니다.

• $P(A\mid B)$는 조건부 확률(conditional probability): $B$가 참이라고 주어졌을 때 발생하는 사건 $A$의 가능성입니다.
• $P(B\mid A)$도 역시 조건부 확률: $A$가 참이라고 주어졌을 때 발생하는 사건 $B$의 가능성입니다.
• $P(A)$와 $P(B)$는 각각 $A$와 $B$를 관찰하는 것의 확률입니다; 그들은 주변 확률(marginal probability)로 알려져 있습니다.

Examples

Drug testing

누군가가 마리화나를 사용해 왔는지 여부에 대해 특정 테스트는 90% 민감(sensitive)이고 80% 특이(specific)이며, 마리화나 사용자에 대해 90% 참 "양성" 결과 ("예, 그는 마리화나를 사용했음"을 의미함) 및 비-사용자에 대해 80% 참 음성 결과이지만--비-사용자에 대해 20% 거짓 양성을 생성함으로 이어짐을 의미합니다. 사람들의 오직 5%가 실제로 마리화나를 사용합니다. 양성 반응을 보이는 임의의 사람이 실제로 마리화나 사용자일 확률(probability)은 얼마입니까?

$P({\text{User}}|Positive)$가 "어떤 사람이 양성으로 판정된 것으로 주어졌을 때 약물 사용자일 확률"을 의미하는 것으로 놓습니다. 그런-다음 우리는 다음을 쓸 수 있습니다:

${\begin{aligned}P({\text{User}}|Positive)&={\frac {P(Positive|{\text{User}})P({\text{User}})}{P(Positive)}}\\&={\frac {P(Positive|{\text{User}})P({\text{User}})}{P(Positive|{\text{User}})P({\text{User}})+P(Positive|{\text{Non-user}})P({\text{Non-user}})}}\\[8pt]&={\frac {.90\times .05}{.90\times .05+.20\times 0.95}}\\[8pt]&\approx 19\%\end{aligned}}$

비록 어떤 사람이 테스트가 양성일지라도, 그들이 약물 사용자일 확률은 오직 19%인데, 왜냐하면 그 누구도 이 그룹에서 마리화나를 거의 사용하지 않기 때문이고 따라서 대부분의 양성은 그룹의 95%로부터 나오는 거짓 양성입니다. 만약 그룹에서 모두 1,000명이 테스트되면:

Figure 1: Using a frequency box to show $P({\text{User}}|Positive)$ visually by comparison of areas

• 950이 비-사용자이고 그들의 190이 거짓 양성을 제공합니다 (.20 x 950)
• 그들의 50은 사용자이고 그들의 45명은 참 양성을 제공합니다 (.90 x 50)

1,000 사람은 따라서 235 양성 테스트를 산출하고, 그것의 오직 45이, 19%에 대한, 진짜의 약물 사용자입니다. 빈도 테이블을 사용한 그림에 대해 그림 1을 참조하고, 참 양성의 분홍색 영역이 거짓 양성의 파란색 영역과 비교되는 얼마자 작은지를 주목하십시오.

특이성(specificity)의 중요성은 심지어 만약 민감성이 100%로 올라가고 특이성이 80%로 유지되더라도, 누군가가 실제로 약물 사용자일 가능성이 있는 것으로 테스트할 확률은 오직 19%에서 21%로 증가하지만, 만약 민감성이 90%로 유지되고 특이성이 95%로 증가되면 확률은 49%로 증가합니다.

Cancer rate

심지어 만약 췌장암을 가진 환자의 100%가 특정 증상을 가질지라도, 누군가 같은 증상을 가질 때, 이 사람이 췌장암에 걸릴 100% 확률을 가짐을 의미하지는 않습니다. 발병률이 1/10000이고, 1/1000 건강한 개인이 전세계에서 같은 증상을 가지는 동안, 췌장암에 걸릴 확률은 오직 0.9%이고, 다른 9.1%는 거짓 양성임을 가정합니다.

발생률에 기초하여, 다음 테이블은 100,000 명당 해당하는 숫자를 나타냅니다.

Symptom	Cancer		Total
	No	Yes
No	99989	0	99989
Yes	10	1	11
Total	99999	1	100000

이것은 그런-다음 양성 증상을 가진 암을 가질 확률을 계산하기 위해 사용될 수 있습니다.

${\begin{aligned}P({\text{Cancer}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{Cancer}})P({\text{Cancer}})}{P(+)}}\\&={\frac {P({\text{+}}\mid {\text{Cancer}})P({\text{Cancer}})}{P({\text{+}}\mid {\text{Cancer}})P({\text{Cancer}})+P({\text{+}}\mid {\text{Non-Cancer}})P({\text{Non-Cancer}})}}\\[8pt]&={\frac {1\times 0.00001}{1\times 0.00001+(10/99999)\times 0.99999}}\\&={\frac {1}{11}}\\[8pt]&\approx 9.1\%\end{aligned}}$

A more complicated example

공장의 전체 생산은 세 대의 기계에서 생산됩니다. 세 기계는 공장 제품의 20%, 30%, 및 50%를 차지합니다. 생산된 불량 제품의 비율은 첫 번째 기계에 대해 5%; 두 번째 기계에 대해 3%; 세 번째 기계에 대해 1%입니다. 만약 제품이 전체 생산에서 무작위로 선택되고 불량품인 것으로 판명되면, 세 번째 기계에 의해 생산된 제품일 확률은 얼마입니까?

다시 한번, 답은 경우의 임의의 가상적 숫자에 대해 조건을 적용함으로써 공식에 의존없이 도달될 수 있습니다. 예를 들어, 만약 100,000 제품이 공장에 의해 생산되면, 20,000은 기계 A, 30,000는 기계 B, 50,000은 기계 C에 의해 생산될 것입니다. 기계 A는 1000, 기계 B는 900, 기계 C는 500의 불량품을 생산할 것입니다. 전체 2400 불량품에 대해, 오직 500 (또는 5/24)이 기계 C에 의해 생산되었습니다.

해는 다음처럼 입니다. X_i를 무작위로 선택된 제품이 i ^번째 기계 (i = A,B,C에 대해)에 의해 만들어진 사건을 나타내는 것으로 놓습니다. Y를 무작위로 선택된 제품이 불량품인 사건을 나타내는 것으로 놓습니다. 그런-다음, 우리는 다음 정보를 제공 받습니다:

$P(X_{A})=0.2,\quad P(X_{B})=0.3,\quad P(X_{C})=0.5.$

만약 제품이 첫 번째 기계에 의해 만들어졌으면, 그것이 불량일 확률은 0.05입니다; 즉, P(Y | X_A) = 0.05입니다. 전체로, 우리는 다음을 가집니다:

$P(Y\mid X_{A})=0.05,\quad P(Y\mid X_{B})=0.03,\quad P(Y\mid X_{C})=0.01.$

원래 질문에 답하기 위해, 우리는 먼저 P(Y)를 찾습니다. 그것은 다음 방법에서 행해질 수 있습니다:

$P(Y)=\sum _{i}P(Y\mid X_{i})P(X_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.$

따라서 공장의 전체 생산의 2.4%가 불량입니다.

우리는 Y가 발생했다고 제공되고, 우리는 X_C의 조건부 확률을 계산하기를 원합니다. 베이즈의 정리에 의해,

$P(X_{C}\mid Y)={\frac {P(Y\mid X_{C})P(X_{C})}{P(Y)}}={\frac {0.01\cdot 0.50}{0.024}}={\frac {5}{24}}$

제품이 불량이라고 주어지면, 그것이 세 번째 기계에 의해 만들어진 확률은 단지 5/24입니다. 비록 기계 C가 전체 생산의 절반을 생산할지라도, 그것이 불량품의 훨씬 작은 부분을 생산합니다. 따라서 선택된 제품이 불량이었다는 지식은 이전 확률 P(X_C) = 1/2을 더 작은 이후 확률 P(X_C | Y) = 5/24에 의해 대체할 수 있게 합니다.

Interpretations

Figure 2: A geometric visualisation of Bayes’ theorem. The figures denote the cells of the table involved in each metric, the probability being the fraction of each figure that is shaded. Similar reasoning shows that ${\begin{smallmatrix}P({\bar {A}}\mid B)\,=\,{\frac {P(B\mid {\bar {A}})\,P({\bar {A}})}{P(B)}}\end{smallmatrix}}$ and so on.

베이즈의 규칙의 해석은 그 항에 속하는 것으로 생각되는 확률의 해석(interpretation of probability)에 의존합니다. 두 주요 해석은 아래에 설명되어 있습니다. 그림 2는 기하학적 시각화를 보여줍니다. 게르트 기거렌쩌(Gerd Gigerenzer)와 공동-저자는 베이즈 규칙을 이 방법으로 가르치기 위해 열심히 노력했으며, 내과-의사에게 그것을 가르치는 것을 특히 강조합니다. 한 예제는 윌 커트의 웹페이지이며, "레고와 함께 베이즈의 정리"는 나중에 책, Bayesian Statistics the Fun Way: Understanding Statistics and Probability with Star Wars, LEGO, and Rubber Ducks으로 바뀌었습니다.

Bayesian interpretation

베이즈 (또는 인식론적) 해석(Bayesian (or epistemological) interpretation)에서, 확률은 "믿음의 정도"를 측정합니다. 베이즈의 정리는 그런-다음 증거에 대해 근거하는 것 전후에 제안에서 믿음의 정도를 연결합니다. 예를 들어, 동전이 뒷면보다 앞면으로 떨어지는 것이 두 배라는 것이 50% 확신한다고 가정해 보십시오. 만약 동전이 여러 번 던져지고 결과가 관찰되면, 그 믿음의 정도는 결과에 따라 오르거나, 떨어지거나, 유지될 수 있습니다.

제안 A와 증거 B에 대해,

• P (A ), 이전(prior)는 A에서 초기 믿음의 정도입니다.
• P (A | B )는, 이후(posterior)는 B에 대해 근거를 가진 믿음의 정도입니다.
• 몫 P(B |A )/P(B)은 지원 A에 대해 제공된 지원 B를 나타냅니다.

확률의 베이즈 해석 아래에서 베이즈의 정리의 응용에 대한 보다 자세한 것에 대해, 베이즈 추론(Bayesian inference)을 참조하십시오.

Frequentist interpretation

Illustration of frequentist interpretation with tree diagrams. Bayes’ theorem connects conditional probabilities to their inverses.

빈도주의 해석(frequentist interpretation)에서, 확률은 "결과의 비율"을 측정합니다. 예를 들어, 실험이 많은 횟수로 수행된다고 가정합니다. P(A)는 속성 A, P(B)는 속성 B를 갖는 결과의 비율입니다. P(B | A )는 속성 A를 가진 결과 중에서 속성 B를 가진 결과의 비율이고, P(A | B )는 속성 B를 가진 결과 중에서 속성 A를 가진 결과의 비율입니다.

베이즈 정리의 역할은, 오른쪽에서 보이는 것처럼, 트리 다이어그램(tree diagram)과 함께 가장-좋게 시각화됩니다. 두 다이어그램은, 역 확률을 얻기 위해, 반대 순서에서 A와 B에 의해 같은 결과를 분할합니다. 베이즈 정리는 이들 다른 분할한 것들 사이의 연결에 도움이 됩니다.

Example

Tree diagram illustrating frequentist example. R, C, P and P bar are the events representing rare, common, pattern and no pattern. Percentages in parentheses are calculated. Three independent values are given, so it is possible to calculate the inverse tree (see figure above).

곤충학자(entomologist)는, 그의 등의 패턴에 기인하여, 딱정벌레(beetle)의 희귀 아종(subspecies)일 수 있는 점을 지적합니다. 드문 아종에서, 98%가 패턴을 가지고, 또는 P(Pattern | Rare) = 98%입니다. 공통적인 아종에서, 5%는 패턴을 가집니다. 드문 아종은 전체의 오직 0.1%에 불과합니다. 딱정벌레가 희귀한 패턴을 가질 가능성은 어느 정도입니까?, 또는 P(Rare | Pattern)가 무엇입니까?

베이즈 정리의 확장된 형식으로부터 (왜냐하면 임의의 딱정벌레는 오직 희귀 또는 공통일 수 있기 때문입니다),

${\begin{aligned}P({\text{Rare}}\mid {\text{Pattern}})&={\frac {P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})}{P({\text{Pattern}})}}\\[8pt]&={\frac {P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})}{P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})+P({\text{Pattern}}\mid {\text{Common}})P({\text{Common}})}}\\[8pt]&={\frac {0.98\times 0.001}{0.98\times 0.001+0.05\times 0.999}}\\[8pt]&\approx 1.9\%\end{aligned}}$

Forms

Events

Simple form

사건 A와 B에 대해, P(B) ≠ 0이라는 조건이면,

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}\cdot$

많은 응용에서, 예를 들어 베이즈 추론(Bayesian inference)에서, 사건 B는 토론에서 고정되고, 우리는 다양한 가능한 사건 A에서 우리의 믿음 위에 관찰되어 온 영향을 고려하기를 원합니다. 그러한 상황에서 마지막 표현의 분모, 주어진 증거 B의 확률은 고정됩니다; 우리가 변하기를 원하는 것은 A입니다. 베이즈 정리는 그런-다음 이후 확률이 분자에 비례(proportional)한다는 것을 보여줍니다.

$P(A\mid B)\propto P(A)\cdot P(B\mid A)$ (주어진 B에 대해 A에 대한 비례).

이후(posterior)는 이전(prior) 곱하기 가능성에 비례합니다.

만약 사건 A₁, A₂, ...가 서로 배타적이고 포괄적이면, 즉, 그들 중 하나가 확실하게 발생하지만 두 개는 절대 함께 발생할 수 없고, 우리는 그들의 확률의 비례까지 알고 있으면, 우리는 그들 확률은 더해져서 반드시 일이 된다는 사실을 사용함으로써 비례 상수를 결정할 수 있습니다. 예를 들어, 주어진 사건 A에 대해, 사건 A 자체와 그의 여사건 ¬A은 배타적이고 포괄적입니다. c에 의해 비례의 상수를 나타내면, 우리는 다음을 가집니다:

$P(A\mid B)=c\cdot P(A)\cdot P(B\mid A){\text{ and }}P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A).$

이들 두 공식을 더하면 우리는 다음임을 추론합니다:

$1=c\cdot (P(B\mid A)\cdot P(A)+P(B\mid \neg A)\cdot P(\neg A)),$

또는

$c={\frac {1}{P(B\mid A)\cdot P(A)+P(B\mid \neg A)\cdot P(\neg A)}}={\frac {1}{P(B)}}.$

Alternative form

두 개의 경쟁하는 명제 또는 가설을 볼 때 일반적으로 만나게 되는 베이즈의 정리의 또 다른 형식은 다음입니다:

$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}.$

인식론적 해석에 대해:

제안 A와 증거 또는 배경 B에 대해,

• $P(A)$는 이전 확률(prior probability)이며, A에서 초기 믿음의 정도입니다.
• $P(\neg A)$는 A에 반대하는 초기 믿음의 정도의 해당하는 확률이며, 여기서 $1-P(A)=P(\neg A)$입니다.
• $P(B\mid A)$는 조건부 확률(conditional probability) 또는 가능성이며, 제안 A가 참이라고 주어졌을 때, B에서 믿음의 정도입니다.
• $P(B\mid \neg A)$는 조건부 확률(conditional probability) 또는 가능성이며, 명제 $\neg A$가 거짓이라고 주어졌을 때, B에서 믿음의 정도입니다.
• $P(A\mid B)$는 이후 확률(posterior probability)이며, A에 대해 및 반대하는 근거 B를 취한 후에 A에 대해 확률입니다.

Extended form

종종, 표본 공간(sample space)의 일부 파티션(partition) {A_j}에 대해, 사건 공간(event space)은 P(A_j)와 P(B | A_j)의 관점에서 주어지거나 개념화되었습니다. 그런-다음 전체 확률의 법칙(law of total probability)을 사용하여 P(B)를 계산하는 것이 유용합니다:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},$

$\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})P(A_{j})}}\cdot$

A가 이진 변수(binary variable)인 특별한 경우에서:

$P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot$

Random variables

Diagram illustrating the meaning of Bayes’ theorem as applied to an event space generated by continuous random variables X and Y. There exists an instance of Bayes’ theorem for each point in the domain. In practice, these instances might be parametrized by writing the specified probability densities as a function of x and y.

두 확률 변수(random variables) X와 Y에 의해 생성된 표본 공간(sample space) Ω를 생각해 보십시오. 원칙적으로, 베이즈의 정리는 사건 A = {X = x}와 B = {Y = y}에 적용됩니다.

$P(X=x\mid Y=y)={\frac {P(Y=y\mid X=x)P(X=x)}{P(Y=y)}}$

어쨌든, 항은 점에서 0이 되며 여기서 두 변수는 유한 확률 밀도(probability density)를 가집니다. 유용하게 남기 위해, 베이즈의 정리는 관련 밀도의 관점에서 공식화될 수 있습니다 (유도(Derivation)를 참조하십시오).

Simple form

만약 X가 연속이고 Y가 이산이면,

$f_{X\mid Y=y}(x)={\frac {P(Y=y\mid X=x)f_{X}(x)}{P(Y=y)}}$

여기서 각 $f$는 밀도 함수입니다.

만약 X가 이산이고 Y가 연속이면,

$P(X=x\mid Y=y)={\frac {f_{Y\mid X=x}(y)P(X=x)}{f_{Y}(y)}}.$

만약 X와 Y 둘 다가 연속이면,

$f_{X\mid Y=y}(x)={\frac {f_{Y\mid X=x}(y)f_{X}(x)}{f_{Y}(y)}}.$

Extended form

Diagram illustrating how an event space generated by continuous random variables X and Y is often conceptualized.

연속 사건 공간은 종종 분자 항의 관점에서 개념화됩니다. 그런-다음, 전체 확률의 법칙(law of total probability)을 사용하여 분모를 제거하는 것이 유용합니다. f_Y(y)에 대해, 이것은 적분이 됩니다:

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y\mid X=\xi }(y)f_{X}(\xi )\,d\xi .$

Bayes' rule

오즈 형식(odds form)에서 베이즈의 정리는 다음입니다:

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$

여기서

$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

은 베이즈 인수(Bayes factor) 또는 가능성 비율(likelihood ratio)로 불리고 두 사건 사이의 오즈는 단순히 두 사건의 확률의 비율입니다. 따라서

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}},$

따라서 규칙은 이후 오즈가 이전 오즈 곱하기 베이즈 인수(Bayes factor)이며, 또는 다른 말로, 이후는 이전 곱하기 가능성에 비례입니다.

$A_{1}=A$ 및 $A_{2}=\neg A$인 특별한 경우에서, 우리는 $O(A)=O(A:\neg A)=P(A)/(1-P(A))$를 쓰고, 베이즈 인수에 대해 및 조건부 오즈에 대해 비슷한 약어를 사용합니다. $A$에 대한 오즈는 정의에 의해 $A$에 대해 및 대항하는 오즈입니다. 베이즈의 규칙은 그런-다음 축약된 형식에서 쓸 수 있습니다:

$O(A|B)=O(A)\cdot \Lambda (A|B),$

또는 말로 하자면: $A$에 대한 이후 오즈는 정보 $A$에 대한 이전 오즈 곱하기 $B$가 주어졌을 때 $A$에 대해 가능성 비율과 같습니다. 짧게, 이후 오즈는 이전 오즈 곱하기 가능성 비율과 같습니다.

Derivation

For events

베이즈의 정리는 조건부 확률(conditional probability)의 정의로부터 유도될 수 있습니다:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ if }}P(B)\neq 0,$

$P(B\mid A)={\frac {P(B\cap A)}{P(A)}},{\text{ if }}P(A)\neq 0,$

여기서 $P(A\cap B)$는 A와 B 둘 다가 참이 되는 결합 확률(joint probability)인데, 왜냐하면

$P(B\cap A)=P(A\cap B)$

$\Rightarrow P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A)$

$\Rightarrow P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}},{\text{ if }}P(B)\neq 0.$

For random variables

두 연속 확률 변수(random variable) X와 Y에 대해, 베이즈의 정리는 조건부 밀도(conditional density)의 정의로부터 유사하게 유도될 수 있습니다:

$f_{X\mid Y=y}(x)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y\mid X=x}(y)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

그러므로,

$f_{X\mid Y=y}(x)={\frac {f_{Y\mid X=x}(y)f_{X}(x)}{f_{Y}(y)}}.$

Correspondence to other mathematical frameworks

Propositional logic

베이즈의 정리는 명제 논리(propositional logic)에서 다음으로 표현될 수 있는 대우(contraposition)의 일반화를 나타냅니다:

$(\lnot A\to \lnot B)\to (B\to A).$

확률 미적분학의 관점에서 해당하는 공식은 그의 확장된 형식에서 다음으로 표현되는 베이즈의 정리입니다:

$P(A\mid B)={\frac {P(B\mid A)a(A)}{P(B\mid A)a(A)+P(B\mid \lnot A)a(\lnot A)}}.$

위의 방정식에서 조건부 확률(conditional probability) $P(B\mid A)$는 논리적 명제 $(A\to B)$를 일반화하고, 즉, 참과 거짓을 할당하는 것 외에도 우리는 임의의 확률을 명제에 역시 할당할 수 있습니다. 항 $a(A)$는 $A$의 이전 확률(prior probability) (일명. 기저율(base rate))을 나타냅니다. $P(A\mid B)=1$임을 가정하는 것은 $(B\to A)$가 참이라는 것과 동등하고, $P(A\mid B)=0$임을 가정하는 것은 $(B\to A)$가 거짓이라는 것과 동등합니다. 그런-다음, $P(\lnot B\mid \lnot A)=1$일 때, 즉, $(\lnot A\to \lnot B)$가 참일 때 $P(A\mid B)=1$임을 쉽게 알 수 있습니다. 이것은 $P(B\mid \lnot A)=1-P(\lnot B\mid \lnot A)=0$이기 때문이므로 위의 방정식의 오른쪽 변의 분수가 1과 같아지고, 따라서 $P(A\mid B)=1$이며 이것은 $(B\to A)$가 참이라는 것과 동등합니다. 그러므로, 베이즈의 정리는 대우(contraposition)의 일반화를 나타냅니다.

Subjective logic

베이즈의 정리는 주관적 논리(subjective logic)에서 다음으로 표현되는 조건부 역의 특별한 경우를 나타냅니다:

$(\omega _{A{\tilde {|}}B}^{S},\omega _{A{\tilde {|}}\lnot B}^{S})=(\omega _{B\mid A}^{S},\omega _{B\mid \lnot A}^{S})\,{\widetilde {\phi \,}}\,a_{A},\,$

여기서 $\,{\widetilde {\phi \,}}\,$는 조건부 역에 대해 연산자를 표시합니다. 인수 $(\omega _{B\mid A}^{S},\omega _{B\mid \lnot A}^{S})$는 원천 $S$에 의해 제공되는 이항 조건부 의견의 쌍을 표시하고, 인수 $a_{A}$는 $A$의 이전 확률(prior probability) (일명. 기저율(base rate))을 표시합니다. 역된 조건부 의견의 쌍은 $(\omega _{A{\tilde {|}}B}^{S},\omega _{A{\tilde {|}}\lnot B}^{S})$으로 표시됩니다. 조건부 의견 $\omega _{A\mid B}^{S}$은 확률적 조건부 $P(A\mid B)$를 일반화하고, 즉, 확률을 할당하는 것 외에 원천 $S$는 임의의 주관적 의견을 조건부 명제 $(A\mid B)$에 할당할 수 있습니다. 이항 주관적 의견 $\omega _{A}^{S}$은, 원천 $S$에 의해 표현되는 것처럼, 불확실성의 정도를 갖는 명제 $A$의 명제에서 믿음입니다. 모든 각 주관적 의견은 해당하는 투영된 확률 $P(\omega _{A}^{S})$을 가집니다. 베이즈의 정리에 적용된 의견의 투영된 확률은 준동형(homomorphism)을 생성하므로 베이즈의 정리는 의견의 투영된 확률의 관점에서 표현될 수 있습니다:

$P(\omega _{A{\tilde {|}}B}^{S})={\frac {P(\omega _{B\mid A}^{S})\,a(A)}{P(\omega _{B\mid A}^{S})\,a(A)+P(\omega _{B\mid \lnot A}^{S})\,a(\lnot A)}}.$

따라서, 주관적 베이즈의 정리는 베이즈의 정리의 일반화를 나타냅니다.

Generalizations

Conditioned version

베이저의 정리의 조건화된 버전은 모든 확률이 조건화된 것에 대한 세 번째 사건 $C$의 덧셈으로부터 결과입니다:

$P(A\mid B\cap C)={\frac {P(B\mid A\cap C)\,P(A\mid C)}{P(B\mid C)}}$

Derivation

체인 규칙(chain rule)을 사용하여

$P(A\cap B\cap C)=P(A\mid B\cap C)\,P(B\mid C)\,P(C)$

그리고, 다른 한편으로

$P(A\cap B\cap C)=P(B\cap A\cap C)=P(B\mid A\cap C)\,P(A\mid C)\,P(C)$

희망된 결과는 두 표현을 서로-같게 하고 $P(A\mid B\cap C)$에 대해 풂으로써 얻습니다.

History

베이즈의 정리는 토머스 베이즈(Thomas Bayes) (1701–1761)의 이름을 따서 지어졌으며, 그는 (현대 용어에서) 이항 분포(binomial distribution)의 확률 매개-변수에 대해 분포를 계산하는 방법을 연구했습니다. 베이즈의 미출판된 원고는 왕립 학회(Royal Society)에서 사후에 읽히기 전에 리처드 프라이스(Richard Price)에 의해 현저하게 편집되었습니다. 프라이스는 베이즈의 주요 연구 "우연의 주의에서 문제를 해결하기 위한 수필(An Essay towards solving a Problem in the Doctrine of Chances)" (1763)을 편집했으며, 이것은 Philosophical Transactions에서 나타나고, 베이즈의 정리를 포함합니다. 프라이스는 베이즈 통계(Bayesian statistics)의 철학적 기초의 일부를 제공하는 논문에 대한 서문을 썼습니다. 1765년에서, 그는 베이즈의 유산에 대한 그의 공로를 인정받아 왕립 학회의 회원으로 선출되었습니다.

프랑스 수학자(mathematician) 피에르-시몽 라플라스(Pierre-Simon Laplace)는, 베이즈의 연구를 분명히 알지 못하는 상황에서, 1774년에 베이즈의 결과를 재현하고 확장했습니다. 확률의 베이즈 해석(Bayesian interpretation)은 주로 라플라스에 의해 개발되었습니다.

스티븐 스티글러(Stephen Stigler)는 베이즈의 정리가 베이즈 이전의 어떤 시대, 시각 장애인 영어 수학자, 니컬러스 손더슨(Nicholas Saunderson)에 의해 발견되었음을 결론짓기 위해 베이즈 논증을 사용했습니다; 그 해석은, 어쨌든, 논쟁이 되어 왔습니다. 마틴 후퍼(Martyn Hooper)와 샤론 맥그레인(Sharon McGrayne)은 리처드 프라이스(Richard Price)의 기여가 상당하다고 주장했습니다:

현대 표준에 의해, 우리는 베이즈–프라이스 규칙을 참조해야 합니다. 프라이스는 베이즈의 연구를 발견했고, 그 중요성을 인식했고, 그것을 교정했고, 기사에 기고했고, 그것에 대해 사용 목적을 발견했습니다. 베이즈의 이름 단독으로 사용하는 현대적인 관례는 불공평하지만 다른 것이 거의 이해가 되지 않을 정도로 너무나 확고 부동해졌습니다.

Use in Genetic Prediction and Testing

유전학에서, 베이즈의 정리는 특정 유전자형을 가지는 개인의 확률을 계산하기 위해 사용될 수 있습니다. 많은 사람들이 유전병의 영향을 받게 되는 기회 또는 열성 관심 유전자의 매개체가 될 가능성을 근사하기을 추구합니다. 베이즈 분석은 개인이 질병을 앓을 지 또는 그들의 자녀에게 전염 시킬지 여부를 예측하기 위해, 가족 이력 또는 유전자 검사를 기반으로 행해질 수 있습니다. 유전자 검사와 예측은 자녀를 가질 계획이지만 특히 낮은 유전적 다양성을 갖는 지역-사회 안에서 질병에 대해 매개체가 될 수 있다고 우려하는 부부 사이에 공통적인 관행입니다.

유전학에 대해 베이즈 분석에서 첫 번째 단계는 서로 배타적인 가설을 제안하는 것입니다: 특정 대립-유전자에 대해, 개인이 매개체이거나 매개체가 아닙니다. 다음으로 네 확률: 이전 확률 (멘델의 유전법칙을 기반으로 가족 이력 또는 예측과 같은 정보를 고려한 각 가설의 가능성), (특정 결과의) 조건부 확률, 결합 확률 (처음 두 개의 곱), 및 이후 확률 (각 가설에 대해 결합 확률을 두 결합 확률의 합으로 나눔으로써 계산된 가중된 곱)이 계산됩니다. 분석의 이 유형은 조건의 가족 이력 또는 유전자 검사와 관련하여 순수하게 행해질 수 있습니다.

Using Pedigree to Calculate Probabilities

	가설 1: 부모가 매개체임	가설 2: 부모가 매개체가 아님
이전 확률	1/2	1/2
모든 네 자녀가 영향을 받지 않게 될 조건부 확률	(½)*(½)*(½)*(½) = 1/16	약 1
결합 확률	(½)*(1/16) = 1/32	(½)*1 = 1/2
이후 확률	(1/32)/(1/32 + ½) = 1/17	(½)/ (1/32 + ½) = 16/17

질병이 그녀의 형제 자매에는 있지만 부모 또는 네 자녀에게 있지 않다는 지식에 근거한 질병에 대해 여성 개인의 위험에 대한 베이즈 분석 테이블의 예제. 피험자의 형제 자매와 부모의 상태에 오직 근거하여, 그녀는 비-매개체가 될 수 있는 만큼 매개체가 될 가능성이 높습니다 (이 가능성은 이전 가설에 의해 표시됩니다). 어쨌든, 피험자의 네 자녀가 모두 영향을 받지 않을 확률은 만약 그녀가 매개체이면 1/16 (½*½*½*½)이고, 만약 비-매개체이면 약 1입니다 (이것은 조건부 확률입니다). 결합 확률은 이들 두 예측을 함께 곱함으로써 조정합니다. 마지막 줄 (이후 확률)은 각 가설에 대한 결합 확률을 두 결합 확률의 합으로 나눔으로써 계산됩니다.

Using Genetic Test Results

태아의 유전자 검사는, 여전히 논란의 여지가 있지만, 그들의 자녀에서 매개체 또는 영향을 받는 상태로 이어질 수 있는 부모에서 알려진 질병 대립 유전자의 약 90%를 감지할 수 있습니다. 낭포성 섬유증은 염색체 7의 q 팔에 위치한, CFTR 유전자 위에 상-염색체 열성 돌연변이로 인한 유전성 질환입니다.

CF에 대해 음성으로 검사되어 온, 낭포성 섬유증의 가족 이력을 가진 여성 환자의 베이즈 분석, 이 방법이 CF를 갖는 태어난 아이를 가질 그녀의 위험을 결정하기 위해 사용되었던 방법을 보여줍니다:

환자는 영향을 받지 않기 때문에, 그녀는 야생형 대립-유전자에 대해 동형-접합 또는 이형 접합입니다. 이전 확률을 설정하기 위해, 부모의 누구도 질병에 의해 영향을 받지 않았지만 둘 다 매개체가 될 수 있다는 지식을 바탕으로, 푸넷 사각형이 사용됩니다:

	W 어머니는 야생형 대립-유전자에 대해 동형-접합이었습니다 (비-매개체)	M 어머니는 이형-접합이었습니다 (CF 매개체)
W 아버지는 야생형 대립-유전자에 대해 동형-접합이었습니다 (비-매개체)	WW	MW
M 어머니는 이형-접합이었습니다 (CF 매개체)	MW	MM (낭포성 섬유증의 영향을 받음)

환자가 영향을 받지 않은 것으로 주어졌을 때, 오직 세 가능성이 있습니다. 이들 세 가지 안에서, 환자가 돌연변이 대립-유전자를 운반하는 두 가지 시나리오가 있습니다. 따라서 이전 확률은 ⅔ 및 ⅓입니다.

다음으로, 환자는 유전자 검사를 받고 낭포성 섬유증에 대해 음성 테스트합니다. 이 테스트는 90% 탐지율이므로, 음성 테스트의 조건부 확률은 1/10과 1입니다. 마지막으로, 결합 및 이후 확률은 전과 같이 계산됩니다.

	가설 1: 부모는 매개체입니다	가설 2: 부모는 매개체가 아닙니다
이전 확률	2/3	1/3
음성 테스트의 조건부 확률	1/10	1
결합 확률	1/15	1/3
이후 확률	1/6	5/6

(음성 테스트 결과를 가진) 환자의 남성 파트너에 대한 같은 분석을 수행한 후, 그들의 자녀가 영향을 받을 가능성은 매개체가 될 수 있는 부모의 각 이전 확률 곱하기 두 매개체가 영향을-받은 자식 (¼)을 낳을 가능성과 같습니다.

Genetic testing done in parallel with other risk factor identification.

베이즈 분석은 유전자 상태와 관련된 표현형 정보를 사용하여 수행될 수 있고, 유전자 테스팅과 결합했을 때 이 분석이 훨씬 더 복잡해집니다. 낭포성 섬유증은, 예를 들어, 태아에서 에코제닉 장에 대해 초음파를 통해 확인될 수 있으며, scan2에서 정상보다 밝게 나타나는 것을 의미합니다. 이것은 절대적인 테스트는 아닌데, 왜냐하면 완전 건강한 태아에서 에코제닉 장이 존재할 수 있기 때문입니다. 부모의 유전자 검사는 이 경우에서 매우 영향력이 있으며, 여기서 표현형 한-면이 확률 계산에서 지나치게 영향을 줄 수 있습니다. 검사되어 왔었고 CF 매개체인 것으로 알려진 어머니를 가진, 에코제닉 장을 갖는, 태아의 경우에서, 태아가 실제로 질병을 가질 이후 확률이 (0.64로) 매우 높습니다. 어쨌든, 일단 아버지가 CF에 대해 음성으로 테스트되면, 이후 확률이 (0.16으로) 크게 떨어집니다.

위험 인수 계산은 유전 상담 및 자녀 계획에서 강력한 도구이지만, 고려하기 위한 유일한 중요한 인수로 취급될 수는 없습니다. 위와 같이, 불완전한 테스트는 매개체 상태의 거짓으로 높은 확률을 산출할 수 있고, 테스트는 부모가 존재하지 않을 때 재정적으로 액세스할 수 없거나 실행 불가능할 수 있습니다.

See also

• Quantum Bayesianism
• Bayesian inference
• Bayesian probability
• Inductive probability

Further reading

• Bruss, F. Thomas (2013), “250 years of ‘An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.’,” doi:10.1365/s13291-013-0077-z, Jahresbericht der Deutschen Mathematiker-Vereinigung, Springer Verlag, Vol. 115, Issue 3-4 (2013), 129-133.
• Gelman, A, Carlin, JB, Stern, HS, and Rubin, DB (2003), “Bayesian Data Analysis,” Second Edition, CRC Press.
• Grinstead, CM and Snell, JL (1997), “Introduction to Probability (2nd edition),” American Mathematical Society (free pdf available) [1].
• "Bayes formula", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy. Yale University Press. ISBN 978-0-300-18822-6.
• Laplace, P (1774/1986), “Memoir on the Probability of the Causes of Events,” Statistical Science 1(3):364–378.
• Lee, Peter M (2012), “Bayesian Statistics: An Introduction,” 4th edition. Wiley. ISBN 978-1-118-33257-3.
• Puga JL, Krzywinski M, Altman N (31 March 2015). "Bayes' theorem". Nature Methods. 12 (4): 277–278. doi:10.1038/nmeth.3335. PMID 26005726.
• Rosenthal, Jeffrey S (2005), “Struck by Lightning: The Curious World of Probabilities.” HarperCollins. (Granta, 2008. ISBN 9781862079960).
• Stigler, SM (1986). "Laplace's 1774 Memoir on Inverse Probability". Statistical Science. 1 (3): 359–363. doi:10.1214/ss/1177013620.
• Stone, JV (2013), download chapter 1 of “Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis”, Sebtel Press, England.
• Bayesian Reasoning for Intelligent People, An introduction and tutorial to the use of Bayes’ theorem in statistics and cognitive science.
• Morris, Dan (2016), Read first 6 chapters for free of “Bayes’ Theorem Examples: A Visual Introduction For Beginners” Blue Windmill ISBN 978-1549761744. A short tutorial on how to understand problem scenarios and find P(B), P(A), and P(B|A).

External links

• Bayes' theorem at Encyclopædia Britannica
• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011
• Visual explanation of Bayes using trees (video)
• Bayes’ frequentist interpretation explained visually (video)
• Earliest Known Uses of Some of the Words of Mathematics (B). Contains origins of “Bayesian,” “Bayes’ Theorem,” “Bayes Estimate/Risk/Solution,” “Empirical Bayes,” and “Bayes Factor.”
• Weisstein, Eric W. "Bayes' Theorem". MathWorld.
• Bayes' theorem at PlanetMath.org.
• Bayes Theorem and the Folly of Prediction
• A tutorial on probability and Bayes’ theorem devised for Oxford University psychology students
• An Intuitive Explanation of Bayes’ Theorem by Eliezer S. Yudkowsky