Frequentist probability

빈도주의자 확률(Frequentist probability) 또는 빈도주의(frequentism)는 확률의 해석(interpretation of probability)입니다; 그것은 시행의 큰 숫자에서 상대 빈도의 극한(limit)으로 사건의 확률(probability)을 정의합니다. 이 해석은 실험 과학자와 여론 조사자의 통계적 필요를 지원합니다; 확률은 반복가능한 객관적인 (그리고 따라서 이상적으로 의견을 결여되는) 프로세스에 의해 (원칙적으로) 발견될 수 있습니다. 모든 필요를 지원하는 것은 아닙니다; 겜블러는 전형적으로 실험없이 승산의 추정을 요구합니다.

빈도주의 설명의 발전은 이전에 지배적인 관점, 고전적 해석(classical interpretation)의 문제와 역설에 의해 동기 부여되었습니다. 고전적 해석에서, 확률은, 문제의 자연 대칭에 기초한, 무관심의 원칙(principle of indifference)의 관점에서 정의되었으며, 그래서, 예를 들어 주사위 게임의 확률은 정육면체의 자연 대칭 6-면에서 발생합니다. 이 고전적 해석은 추론에 대해 자연적 대칭을 가지지 않는 임의의 통계적 문제에서 우연히 마주칩니다.

Definition

빈도주의 해석에서, 확률은 잘-정의된 무작위 실험(random experiments) (또는 확률 표본)을 다룰 때 오직 논의됩니다.^[1] 무작위 실험의 모든 가능한 결과의 집합(set)은 실험의 표본 공간(sample space)이라고 불립니다. 사건(event)은 고려되는 표본 공간의 특정 부분집합(subset)으로 정의됩니다. 임의의 주어진 사건에 대해, 두 가지 가능성 중 오직 하나가 보유될 수 있습니다: 그것이 발생합니다 또는 그것이 발생하지 않습니다. 실험의 반복 횟수에서 관찰되는, 사건의 발생의 상대적 빈도(relative frequency)는 해당 사건의 확률의 측정입니다. 이것이 빈도주의 해석에서 확률의 핵심 개념입니다.

따라서, 만약 $n_{t}$ 가 시행의 전체 횟수이고, $n_{x}$ 가 사건 $x$ 가 발생하는 시행의 횟수이면, 사건 $x$ 가 발생하는 확률 $P(x)$ 는 다음으로 상대적 빈도에 의해 근사화될 것입니다:

P(x)\approx {\frac {n_{x}}{n_{t}}}.

분명하게, 시행의 횟수가 늘어날수록, 상대적 빈도가 "실제 빈도"의 더 나은 근사화가 될 것으로 기대할 수 있습니다.

빈도주의 접근법의 주장은 "장기적으로" 시행 횟수가 무한대에 가까워짐에 따라 상대적 빈도가 실제 확률에 정확하게 수렴한다는 것입니다:^[2]

P(x)=\lim _{n_{t}\rightarrow \infty }{\frac {n_{x}}{n_{t}}}.

Scope

빈도주의 해석은 확률의 정의와 사용에 대한 철학적 접근입니다; 그것은 여러 그러한 접근법 중 하나입니다. 자연 언어의 말로 표현할 수 있는 개념 '가능성있는'('probable')의 모든 의미를 포착한다고 주장하는 것은 아닙니다.

해석으로서, 그것은 확률 이론의 수학적 공리화와 충돌하지 않습니다; 오히려, 그것은 실제 상황에 대한 수학적 확률 이론을 적용하는 방법에 대한 지침을 제공합니다. 특히 베이즈 해석(Bayesian interpretation)과 대조적일 때, 그것은 실용적인 실험의 구성과 설계에서 명확한 지침을 제공합니다. 이 지침이 유용한지 또는 잘못-해석되기 쉬운지에 관한 것이 논쟁의 원천이 되어 왔습니다. 특히 확률의 빈도 해석이 빈도주의 추론(frequentist inference)에 대해 유일한 근거라고 잘못하여 가정될 때 그렇습니다. 그래서, 예를 들어, p-값(p-values)의 의미의 잘못-해석의 목록은 p-값에 대한 기사와 함께 제공됩니다; 논쟁은 통계적 가설 테스트(statistical hypothesis testing)에 대한 기사에서 자세히 설명됩니다. 제프리스-린들리 역설(Jeffreys–Lindley paradox)은 같은 데이터 집합에 적용된 다른 해석이 결과의 '통계적 중요성'에 대해 다른 결론을 도출할 수 있음을 보여줍니다.

윌리엄 펠러(William Feller)가 지적한 것처럼:^[3]

우리의 체계에서 태양이 내일 떠오를 것이라는 확률에 관련하는 추측에 대해 장소가 없습니다. 그것을 말하기 전에 우리는 추측하건대 "...무작위로 선택되는 무한히 많은 세계 중에서 하나"라는 선을 따라 움직이는 (이상화된) 모델에 대한 동의를 반드시 해야 합니다. 약간의 상상력이 그러한 모델을 구성하기 위해서 필요하지만, 흥미롭지 않고 무의미하게 그것이 나타납니다.

펠러의 논평은 대안적인 확률 해석을 사용하여 일출 문제에 대한 해결책을 발표한 라플라스에 대한 비판이었습니다. 확률뿐만 아니라 천문학의 전문성을 기반으로 하는, 원천에서 라플라스의 명시적이고 즉각적인 포기 성명서에도 불구하고, 2세기 동안의 비판이 뒤따랐습니다.

History

빈도주의 견해는, 수사학(Rhetoric)에서, 아리스토텔레스(Aristotle)에 의해 예시될 수 있습니다, ^[4] 그는 다음과 같이 썼습니다:

가능성은 대부분의 경우에 대해 발생하는 어떤 것입니다^[5]

푸아송(Poisson)은 1837년에 객관적 확률과 주관적 확률을 명확하게 구분했습니다.^[6] 그 후 곧 밀(Mill) ("확률 이론의 기초에 관하여"("On the Foundations of the Theory of Probabilities")^[7]), 엘리스(Ellis) ("확률론의 기본 원리에 대한 논평"("Remarks on the Fundamental Principles of the Theory of Probabilities")^[8]), 쿠르노(Cournot) (우연과 확률 이론의 전시(Exposition de la théorie des chances et des probabilités)^[9])에 의해 거의 동시적으로 출판물이 쏟아져 나왔고, 그리고 프리스(Fries)는 빈도주의 관점을 소개했습니다. 20년쯤 후에, 벤(Venn)은 완전한 설명을 제공했습니다 (우연의 논리: 확률 이론의 기초와 영역에 관한 수필(The Logic of Chance: An Essay on the Foundations and Province of the Theory of Probability) (1866, 1876, 1888년에 출판된 판))^[10]. 이들은 부울(Boole)과 베르트랑(Bertrand)의 출판물에 의해 뒷받침되었습니다. 19세기 말에 빈도주의 해석이 잘 확립되었고 아마도 과학에서 지배적이었습니다.^[6] 다음 세대는 빈도주의 확률에 모두 근거하여 고전적 추론 통계의 도구 (중요성 테스트, 가설 테스트 그리고 신뢰 구간)를 확립했습니다.

대안적으로,^[11] 야콥 베르누이(Jacob Bernoulli) (AKA James or Jacques)는 빈도주의 확률의 개념을 이해하고 1713년 사후에 비판적 증명 (큰 숫자의 약한 법칙)을 발표했습니다. 그는 역시 (이전에 대한 것과 베이즈 정리없이) 주관적 확률에 대해 일부 이해한 것으로 공인됩니다.^[12]^[13] 가우스(Gauss)와 라플라스(Laplace)는, 푸아송 이전 세대, 1세기 후에 최소제곱법의 유도에서 빈도주의 (그리고 다른) 확률을 사용했습니다.^[14] 라플라스는 고전적 확률에 대해 있음직하지 않은 후보들, 증언, 사망률 표, 법원 판결 등의 확률을 고려했습니다. 이 견해에서, 푸아송의 기여는 대안적인 "역" (주관적, 베이즈) 확률 해석의 그의 날카로운 비평이었습니다. 가우스와 라플라스의 임의의 비평은 암묵적이었습니다. (그들의 나중에 나온 파생어는 역 확률을 사용하지 않았습니다.)

20세기 초에서 "고전적" 통계에 대한 주요 공헌자로는 피셔(Fisher), 네이만(Neyman) 그리고 피어슨(Pearson)을 포함합니다. 피셔는 통계의 대부분에 기여했고 실험 과학의 핵심 중요성 테스트를 만들었습니다; 네이만은 신뢰 구간을 공식화하고 표본화 이론에 크게 기여했습니다; 네이만과 피어슨은 가설 테스트의 생성에서 함께 참여했습니다. 모든 가치있는 객관성, 그래서 그들에게 유효한 확률의 가장 좋은 해석은 빈도주의였습니다. 모두는 무관심 원칙을 사용함으로써 선택된 이전 확률을 갖는 "역 확률" (유효한 대안)을 의심했습니다. 피셔는 말했습니다, (Research Workersd에 대해 통계적 방법으로부터) "... 역 확률의 이론은, [베이즈 정리에서 언급하는], 오류에 기초되었고, 반드시 완전히 거부되어야 합니다." 반면에 네이만은 순수 빈도주의였고, ^[1] 피셔의 확률의 관점은 독특했습니다; 두 사람 모두 확률에 대한 미묘한 관점을 가졌었습니다. 폰 미제스(von Mises)는 그 시대에서 빈도주의에 대해 수학적 그리고 철학적 지원을 제공했습니다.^[2]^[15]

Etymology

옥스퍼드 영어 사전(Oxford English Dictionary)에 따르면, 용어 '빈도주의'는 1949년에 모리스 켄들(M. G. Kendall)이 "비-빈도주의"라고 부르는, 베이즈에 대조를 이루기 위해 처음으로 사용되었습니다.^[16]^[17] 그는 관찰했습니다:

3....우리는 크게 두 가지 주된 태로를 구별할 수 있습니다. 하나는 확률을 '합리적인 믿음의 정도', 또는 어떤 유사한 아이디어로 취하고...두 번째는 사건의 발생의 빈도, 또는 '모집단' 또는 '모음'에서 상대적 비율의 관점에서 확률을 정의합니다; (p. 101)

...

12. 그것은 빈도주의와 비-빈도주의 사이의 차이는 (만약 내가 그들을 그렇게 부를 수 있다면) 그들이 다루고자 하는 도메인의 차이에 크게 기인한다고 생각할 수 있습니다. (p. 104)

...

나는 이것이 그렇지 않다고 단언합니다 ... 빈도주의와 비-빈도주의 사이의 필수적인 구분은, 내 생각에는, 의견의 문제를 맛보기는 것을 피하기 위한 노력의 일환으로, 전자는 실제 또는 가설적 모집단의 객관적 속성의 관점에서 확률을 정의하기 위해 추구하고, 반면에 후자는 그렇지 않습니다. [원본에서 강조]

"확률의 빈도 이론"("The Frequency Theory of Probability")은 케인즈(Keynes) (1921)에서 장 제목으로 한 세대 일찍 사용되었습니다.^[4]

역사적 순서: 확률 개념이 도입되었고 (20세기 이전에서) 확률 수학의 많은 부분이 고안되었고, (20세기 전반에 걸쳐) 고전 통계적 추론 방법이 개발되었고, 확률의 수학적 기초가 확정되었고 현재의 용어가 소개되었습니다. 확률과 통계에서 주요 역사적 원천은 고전적, 주관적 (베이즈) 그리고 빈도주의 확률의 현재 용어를 사용하지 않았습니다.

Alternative views

확률 이론(Probability theory)은 수학의 한 가지입니다. 그 뿌리가 과거에 수세기에 이름에도 불구하고, 1933년에 안드레이 콜모고로프(Andrey Kolmogorov)의 공리와 함께 성숙되었습니다. 이론은 값의 초기 할당보다는 확률 값에 대한 유효한 연산에 초점을 맞춥니다; 수학은 확률의 임의의 해석과 크게 독립적입니다.

확률의 응용 및 해석은 철학, 과학 및 통계에 의해 고려됩니다. 모두는 관찰—귀납적 추론(inductive reasoning)에서 지식의 추출에 관심이 있습니다. 경쟁하는 다양한 해석이 있습니다;^[18] 모두에 문제가 있습니다. 주요 해석은 고전적 확률, 주관적 확률 및 빈도주의 해석을 포함합니다.

고전적 확률(Classical probability)은 물리적 이상화된 대칭 (주사위, 동전, 카드)을 기반으로 확률을 지정합니다. 고전적 정의는 순환성의 위험에 처해 있습니다; 확률은 확률의 같음을 가정함으로써 정의됩니다.^[19] 대칭의 부재에서 정의의 유용성이 제한됩니다.
주관적 (베이즈) 확률(Subjective (Bayesian) probability) (경쟁하는 해석의 계열)은 믿음의 정도를 고려합니다. 모든 실용적인 "주관적" 확률 해석은 대부분의 주관성을 피하기 위해 그래서 합리성에 제약을 받습니다. 실제 주관성은 관찰자 및 분석가와 독립적인 결과를 얻기 위해 노력하는 과학에 혐오감을 느낍니다. 이 개념의 역사적 근원은 법적 증거와 같은 그러한 비-숫자적 응용으로 확장되었습니다.
빈도 해석은 경험적입니다—그것들은 시행의 무한한 수열로부터 비율에 의해 정의됩니다. 이것은 과학적 실험에 대해 아주 자연스러운 해석입니다. 수학자들은 비–수학적 수열의 수렴 속성에 대해 의심스러워합니다.^[19]

빈도주의 해석은, 결과의 자연스러운 대칭이 알려지지 않은 임의의 문제와 같은, 고전적 해석의 어려움을 해결합니다. 그것은, 네덜란드 책(dutch book)과 같은, 다른 이슈를 다루지 않습니다. 성향 확률(Propensity probability)은 대안적인 물리주의자 접근입니다.^[18]

Notes

^ ^a ^b Neyman, Jerzy (30 August 1937). "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" (PDF). Phil. Trans. R. Soc. Lond. A. 236: 333–380. doi:10.1098/rsta.1937.0005. Neyman's derivation of confidence intervals embraced the measure theoretic axioms of probability published by Kolmogorov a few years previously and referenced the subjective (Bayesian) probability definitions of Jeffreys published earlier in the decade. Neyman defined frequentist probability (under the name classical) and stated the need for randomness in the repeated samples or trials. He accepted in principle the possibility of multiple competing theories of probability while expressing several specific reservations about the existing alternative probability interpretation.
^ ^a ^b von Mises, Richard (1939) Probability, Statistics, and Truth (in German) (English translation, 1981: Dover Publications; 2 Revised edition. ISBN 0486242145) (p.14)
^ William Feller (1957), An Introduction to Probability Theory and Its Applications, Vol. 1, page 4
^ ^a ^b Keynes, John Maynard; A Treatise on Probability (1921), Chapter VIII “The Frequency Theory of Probability”.
^ Rhetoric Bk 1 Ch 2; discussed in J. Franklin, The Science of Conjecture: Evidence and Probability Before Pascal (2001), The Johns Hopkins University Press. ISBN 0801865697 , p. 110.
^ ^a ^b Gigerenzer, Gerd; Swijtink, Porter; Daston, Beatty; Daston, Krüger (1989). The Empire of chance : how probability changed science and everyday life. Cambridge Cambridgeshire New York: Cambridge University Press. pp. 35–6, 45. ISBN 978-0-521-39838-1.
^ Ellis, Robert Leslie (1843) “On the Foundations of the Theory of Probabilities”, Transactions of the Cambridge Philosophical Society vol 8
^ Ellis, Robert Leslie (1854) “Remarks on the Fundamental Principles of the Theory of Probabilities”, Transactions of the Cambridge Philosophical Society vol 9
^ Cournot, Antoine Augustin (1843) Exposition de la théorie des chances et des probabilités. L. Hachette, Paris. archive.org
^ Venn, John (1888) The Logic of Chance, 3rd Edition archive.org. Full title: The Logic of Chance: An essay on the foundations and province of the theory of probability, with especial reference to its logical bearings and its application to Moral and Social Science, and to Statistics, Macmillan & Co, London
^ Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of applied Mathematics and Statistics, University of Copenhagen. pp. 11–12. ISBN 87-7834-628-2.
^ Fienberg, Stephen E. (1992). "A Brief History of Statistics in Three and One-half Chapters: A Review Essay". Statistical Science. 7 (2): 208–225. doi:10.1214/ss/1177011360.
^ David, F. N. (1962). Games, Gods & Gambling. New York: Hafner. pp. 137–138. Bernoulli provided a classical example of drawing a large number of black and white pebbles from an urn (with replacement). The sample ratio allowed Bernoulli to infer the ratio in the urn, with tighter bounds as the number of samples increased. Historians can interpret the example as classical, frequentist or subjective probability. David says, "James has definitely started here the controversy on inverse probability..." Bernoulli wrote generations before Bayes, LaPlace and Gauss. The controversy continues.
^ Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of Applied Mathematics and Statistics, University of Copenhagen. pp. 1–5. ISBN 87-7834-628-2.
^ The Frequency theory Chapter 5; discussed in Donald Gilles, Philosophical theories of probability (2000), Psychology Press. ISBN 9780415182751 , p. 88.
^ Earliest Known Uses of Some of the Words of Probability & Statistics
^ Kendall, Maurice George (1949). "On the Reconciliation of Theories of Probability". Biometrika. 36 (1/2). Biometrika Trust: 101–116. doi:10.1093/biomet/36.1-2.101. JSTOR 2332534.
^ ^a ^b Hájek, Alan (21 October 2002), Zalta, Edward N. (ed.), Interpretations of Probability, The Stanford Encyclopedia of Philosophy {{citation}}: |archive-date= requires |archive-url= (help); Check date values in: |archive-date= (help)
^ ^a ^b Ash, Robert B. (1970). Basic Probability Theory. New York: Wiley. pp. 1–2.

References

P W Bridgman, The Logic of Modern Physics, 1927
Alonzo Church, The Concept of a Random Sequence, 1940
Harald Cramér, Mathematical Methods of Statistics, 1946
William Feller, An Introduction to Probability Theory and its Applications, 1957
P Martin-Löf, On the Concept of a Random Sequence, 1966
Richard von Mises, Probability, Statistics, and Truth, 1939 (German original 1928)
Jerzy Neyman, First Course in Probability and Statistics, 1950
Hans Reichenbach, The Theory of Probability, 1949 (German original 1935)
Bertrand Russell, Human Knowledge, 1948
Friedman, C. (1999). "The Frequency Interpretation in Probability". Advances in Applied Mathematics. 23 (3): 234–254. doi:10.1006/aama.1999.0653. PS

[Neyman-1] Neyman, Jerzy (30 August 1937). "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" (PDF). Phil. Trans. R. Soc. Lond. A. 236: 333–380. doi:10.1098/rsta.1937.0005. Neyman's derivation of confidence intervals embraced the measure theoretic axioms of probability published by Kolmogorov a few years previously and referenced the subjective (Bayesian) probability definitions of Jeffreys published earlier in the decade. Neyman defined frequentist probability (under the name classical) and stated the need for randomness in the repeated samples or trials. He accepted in principle the possibility of multiple competing theories of probability while expressing several specific reservations about the existing alternative probability interpretation.

[Mises-2] von Mises, Richard (1939) Probability, Statistics, and Truth (in German) (English translation, 1981: Dover Publications; 2 Revised edition. ISBN 0486242145) (p.14)

[3] William Feller (1957), An Introduction to Probability Theory and Its Applications, Vol. 1, page 4

[keynesVIII-4] Keynes, John Maynard; A Treatise on Probability (1921), Chapter VIII “The Frequency Theory of Probability”.

[aristorhetor-5] Rhetoric Bk 1 Ch 2; discussed in J. Franklin, The Science of Conjecture: Evidence and Probability Before Pascal (2001), The Johns Hopkins University Press. ISBN 0801865697 , p. 110.

[Gig89-6] Gigerenzer, Gerd; Swijtink, Porter; Daston, Beatty; Daston, Krüger (1989). The Empire of chance : how probability changed science and everyday life. Cambridge Cambridgeshire New York: Cambridge University Press. pp. 35–6, 45. ISBN 978-0-521-39838-1.

[ellisfound-7] Ellis, Robert Leslie (1843) “On the Foundations of the Theory of Probabilities”, Transactions of the Cambridge Philosophical Society vol 8

[ellisfund-8] Ellis, Robert Leslie (1854) “Remarks on the Fundamental Principles of the Theory of Probabilities”, Transactions of the Cambridge Philosophical Society vol 9

[9] Cournot, Antoine Augustin (1843) Exposition de la théorie des chances et des probabilités. L. Hachette, Paris. archive.org

[Venn-10] Venn, John (1888) The Logic of Chance, 3rd Edition archive.org. Full title: The Logic of Chance: An essay on the foundations and province of the theory of probability, with especial reference to its logical bearings and its application to Moral and Social Science, and to Statistics, Macmillan & Co, London

[11] Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of applied Mathematics and Statistics, University of Copenhagen. pp. 11–12. ISBN 87-7834-628-2.

[12] Fienberg, Stephen E. (1992). "A Brief History of Statistics in Three and One-half Chapters: A Review Essay". Statistical Science. 7 (2): 208–225. doi:10.1214/ss/1177011360.

[13] David, F. N. (1962). Games, Gods & Gambling. New York: Hafner. pp. 137–138. Bernoulli provided a classical example of drawing a large number of black and white pebbles from an urn (with replacement). The sample ratio allowed Bernoulli to infer the ratio in the urn, with tighter bounds as the number of samples increased. Historians can interpret the example as classical, frequentist or subjective probability. David says, "James has definitely started here the controversy on inverse probability..." Bernoulli wrote generations before Bayes, LaPlace and Gauss. The controversy continues.

[14] Hald, Anders (2004). A history of parametric statistical inference from Bernoulli to Fisher, 1713 to 1935. København: Anders Hald, Department of Applied Mathematics and Statistics, University of Copenhagen. pp. 1–5. ISBN 87-7834-628-2.

[Gilles-15] The Frequency theory Chapter 5; discussed in Donald Gilles, Philosophical theories of probability (2000), Psychology Press. ISBN 9780415182751 , p. 88.

[16] Earliest Known Uses of Some of the Words of Probability & Statistics

[17] Kendall, Maurice George (1949). "On the Reconciliation of Theories of Probability". Biometrika. 36 (1/2). Biometrika Trust: 101–116. doi:10.1093/biomet/36.1-2.101. JSTOR 2332534.

[SEPIP-18] Hájek, Alan (21 October 2002), Zalta, Edward N. (ed.), Interpretations of Probability, The Stanford Encyclopedia of Philosophy {{citation}}: |archive-date= requires |archive-url= (help); Check date values in: |archive-date= (help)

[Ash-19] Ash, Robert B. (1970). Basic Probability Theory. New York: Wiley. pp. 1–2.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]