卡方检验
卡方检验(Chi-Squared Test或 Test)是一种统计量的分布在零假设成立时近似服从卡方分布(分布)的假设检验。在没有其他的限定条件或说明时,卡方检验一般代指的是皮尔森卡方检定。在卡方检验的一般运用中,研究人员将观察量的值划分成若干互斥的分类,并且使用一套理论(或虛無假說)尝试去说明观察量的值落入不同分类的概率分布的模型。而卡方检验的目的就在于去衡量这个假设对观察结果所反映的程度。
历史
在十九世纪,统计分析方法主要被用于生物数据分析。当时主流意见认为正态分布普遍适用于此类数据,例如乔治·比德尔·艾里爵士以及梅里曼教授,而卡尔·皮尔森在他1900年的论文中就针对了他们的研究数据作出了指正[1]。
直到十九世纪末期,皮尔森指出了部分数据具有明显的偏态,正态分布并不是普遍适用。为了更好地对这些观察数据进行建模,皮尔森在1893年至1916年发表的系列文章[2][3][4][5]中提出了一个包含正态分布以及众多偏态分布的连续概率分布族——皮尔森分布族。同时,他指出数据统计分析的步骤应该是在从皮尔森分布族中选取合适的分布来进行建模后,使用拟合优度检验技术来评价模型和实验数据间的拟合优度。
著名的卡方檢定
皮尔森卡方检验
在1900年,皮尔森发表了著名的关于检验的文章[1],该文章被认为是现代统计学的基石之一[6]。在该文章中,皮尔森研究了拟合优度检验:
假设实验中从总体中随机取样得到的个观察值被划分为个互斥的分类,这样每个分类都有一个对应的实际观察次数()。研究人员会对实验中各个观察值落入第个分类的概率的分布提出零假设,从而获得了对应所有第分类的理论期望次数以及限制条件
- 以及。
皮尔森提出,在上述零假设成立以及趋向的时候,以下统计量的极限分布趋向分布。
皮尔森首先讨论零假设中所有分类的理论期望次数均为足够大且已知的情况,同时假设各分类的实际观测次数均服从正态分布。皮尔森由此得到当样本容量足够大时,趋近服从自由度为的分布。
然而,皮尔森在讨论当零假设中的理论期望次数未知并依赖于必须由样本去进行估计的若干参数的情况时,记为实际的理论期望次数以及为估计的理论期望次数,认为
的值通常为正且足够小以至于可以忽略。皮尔森总结为,如果我们认为也服从自由度为的分布,那么由此近似带来的误差通常足够小并不会对实际决策的结论带来实质性的影响。这个结论在应用层面造成了长达20年的争论,直到费歇尔在1922年及1924年的论文[7][8]发表后才暂告一段落。
其他卡方检验例子
- 皮爾森卡方檢定,是最有名的卡方檢驗,有兩種用途,分別是「適配度檢定」(Goodness of Fit test)以及「獨立性檢定」。科學文章中,當提到卡方檢定而沒有特別註明是哪一種時,通常便是指皮爾森卡方檢定。
- 葉氏連續性修正:當用皮爾森卡方檢定做獨立性檢定時,若任何一個欄位的期望次數小於5,會使「近似於卡方分配」的假設不可信,統計值會系統性地偏高,導致過度地拒絕虛無假設,此時可以做葉氏連續性修正。
- Cochran–Mantel–Haenszel chi-squared test。
- McNemar's test,用於某些 2 × 2 表格的配對樣本。
- Tukey's test of additivity。
- portmanteau test,用於時間數列分析裡檢定自我相關的存在。
- 似然比檢定(英語:),在建立統計模型時,用於檢定證據是否支持某個複雜的模型(使用變數較多)優於簡單的模型(使用變數較少),其中簡單模型所使用的變數全部包含於複雜模型中。
运用
- 建立虛無假設(),即认为观测值与理论值的差异是由于随机误差所致;
- 确定数据间的实际差异,即求出卡方值;
- 如卡方值大于某特定概率标准(即显著性差异)下的理论值,则拒绝零假说,即实测值与理论值的差异在该显著水準下是显著的。
外部链接
腳註
- Pearson, Karl. (PDF). Philosophical Magazine Series 5. 1900, 50: 157–175 [2017-07-27]. doi:10.1080/14786440009463897. (原始内容存档 (PDF)于2018-11-23).
- Pearson, Karl. . Proceedings of the Royal Society. 1893, 54: 329–333. JSTOR 115538. doi:10.1098/rspl.1893.0079.
- Pearson, Karl. . Philosophical Transactions of the Royal Society. 1895, 186: 343–414. Bibcode:1895RSPTA.186..343P. JSTOR 90649. doi:10.1098/rsta.1895.0010.
- Pearson, Karl. . Philosophical Transactions of the Royal Society A. 1901, 197: 443–459. Bibcode:1901RSPTA.197..443P. JSTOR 90841. doi:10.1098/rsta.1901.0023.
- Pearson, Karl. . Philosophical Transactions of the Royal Society A. 1916, 216: 429–457. Bibcode:1916RSPTA.216..429P. JSTOR 91092. doi:10.1098/rsta.1916.0009.
- Cochran, William G. . The Annals of Mathematical Statistics. 1952, 23: 315–345. JSTOR 2236678.
- Fisher, Ronald A. . Journal of the Royal Statistical Society. 1922, 85: 87–94. JSTOR 2340521.
- Fisher, Ronald A. . Journal of the Royal Statistical Society. 1924, 87: 442–450. JSTOR 2341149.