皮尔逊积矩相关系数

它是由卡尔·皮尔逊从弗朗西斯·高尔顿在1880年代提出的一个相似却又稍有不同的想法演变而来，[2][3]并且其数学公式由奥古斯特·布拉菲(Auguste Bravais)于1844年推导出和发表[註 2][7][8][9][10]。系数的命名因此是史蒂格勒名字由來法則的一个例子。

这个相关系数也称作“皮尔森相关系数r”。

两个变量之间的皮尔逊相关系数定义为两个变量的除以它们标准差的乘积：

${\displaystyle \rho _{X,Y}={\mathrm {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={E[(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}}}$

上式定义了总体相关系数，常用希腊小寫字母 ρ (rho) 作為代表符號。估算样本的和标准差，可得到样本相关系数(样本皮尔逊系数)，常用英文小寫字母 r 表示：

${\displaystyle r={\frac {\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})(Y_{i}-{\overline {Y}})}{{\sqrt {\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}}{\sqrt {\sum \limits _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}}}}}}$

r 亦可由${\displaystyle (X_{i},Y_{i})}$样本点的標準分數均值估算，得到與上式等價的表達式：

${\displaystyle r={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left({\frac {X_{i}-{\overline {X}}}{\sigma _{X}}}\right)\left({\frac {Y_{i}-{\overline {Y}}}{\sigma _{Y}}}\right)}$

其中 ${\displaystyle {\frac {X_{i}-{\overline {X}}}{\sigma _{X}}}}$、${\displaystyle {\overline {X}}}$ 及 ${\displaystyle \sigma _{X}}$ 分别是 ${\displaystyle X_{i}}$ 样本的標準分數、样本平均值和样本标准差。

总体和样本皮尔逊系数的绝对值小于或等于1。如果样本数据点精确的落在直线上[註 3]，或者双变量分布完全在直线上（计算总体皮尔逊系数的情况），则相关系数等于1或-1。皮尔逊系数是对称的：corr(X,Y) = corr(Y,X)。

皮尔逊相关系数有一个重要的数学特性是，因两个变量的位置和尺度的变化并不会引起该系数的改变，即它该变化的不变量 (由符号确定)。也就是说，我们如果把X移动到a + bX和把Y移动到c + dY，其中a、b、c和d是常数，并不会改变两个变量的相关系数[註 4]。我们发现更一般的线性变换则会改变相关系数：参见之后章节对该特性应用的介绍。

由于μ_X = E(X), σ_X² = E[(X − E(X))²] = E(X²) − E²(X)，Y也类似, 并且

${\displaystyle E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y),\,}$

故相关系数也可以表示成

${\displaystyle \rho _{X,Y}={\frac {E(XY)-E(X)E(Y)}{{\sqrt {E(X^{2})-(E(X))^{2}}}~{\sqrt {E(Y^{2})-(E(Y))^{2}}}}}.}$

对于样本皮尔逊相关系数:

${\displaystyle r_{xy}={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{(n-1)s_{x}s_{y}}}={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-(\sum x_{i})^{2}}}~{\sqrt {n\sum y_{i}^{2}-(\sum y_{i})^{2}}}}}.}$

以上方程给出了计算样本皮尔逊相关系数简单的单流程算法，但是其依赖于涉及到的数据，有时它可能是数值不稳定的。

皮尔逊相关系数的变化范围为-1到1。系数的值为1意味着X和 Y可以很好的由直线方程来描述，所有的数据点都很好的落在一条直线上，且 Y 随着 X 的增加而增加。系数的值为−1意味着所有的数据点都落在直线上，且 Y 随着 X 的增加而减少。系数的值为0意味着两个变量之间没有线性关系。

更一般的, 我们发现，当且仅当 X_i 和 Y_i 均落在他们各自的均值的同一侧， 则(X_i − X)(Y_i − Y) 的值为正。 也就是说，如果X_i 和 Y_i 同时趋向于大于, 或同时趋向于小于他们各自的均值，则相关系数为正。 如果 X_i 和 Y_i 趋向于落在他们均值的相反一侧，则相关系数为负。

几何学角度的解释

回归直线：y=g_x(x) [红色] 和 x=g_y(y) [蓝色]

对于没有进行中心化的数据, 相关系数与两条可能的回归线y=g_x(x) 和 x=g_y(y) 夹角的余弦值一致。

对于中心化过的数据（也就是说, 数据移动一个样本平均值以使其均值为0），相关系数也可以被视作由两个随机变量向量夹角${\displaystyle \ \theta }$ 的余弦值（见下方）。

从一个数据集中可以确定出非中心化的相关系数 (non-Pearson-compliant) 和中心化的相关系数二者。例如，有5个国家的国民生产总值分别为 10, 20, 30, 50 和 80 亿美元。 假设这5个国家 (顺序相同) 的贫困百分比分别为 11%, 12%, 13%, 15%, 和 18% 。 令 x 和 y 分别等于包含上述5个数据的向量: x = (1, 2, 3, 5, 8) 和 y = (0.11, 0.12, 0.13, 0.15, 0.18)。

利用通常的方法计算两个向量之间的夹角 ${\displaystyle \ \theta }$ (参见 数量积), 未中心化 的相关系数是:

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711.}$

我们发现以上的数据特意选定为完全相关: y = 0.10 + 0.01 x。 于是，皮尔逊相关系数应该等于1。将数据中心化 (通过E(x) = 3.8移动 x 和通过 E(y) = 0.138 移动 y ) 得到 x = (−2.8, −1.8, −0.8, 1.2, 4.2) 和 y = (−0.028, −0.018, −0.008, 0.012, 0.042), 从中，

${\displaystyle \cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left\|\mathbf {x} \right\|\left\|\mathbf {y} \right\|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy},}$

图表显示对于给定的样本大小，在0.05的置信度上，皮尔逊相关系数显著不为零。

基于皮尔逊相关系数的统计推断通常关注以下两个目标。

1. 验证零假设是否为真，即相关系数 ρ 是否等于 0, 该相关系数使用的是样本相关系数 r。
2. 在給定的置信水平α之下，构建一个围绕r的置信区间。

样本相关系数的平方，亦称作决定系数，利用简单线性回归估计由X引起的Y的变化。一开始，Y_i围绕它们平均值上的变化可以分解成

${\displaystyle \sum _{i}(Y_{i}-{\bar {Y}})^{2}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}+\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2},}$

其中 ${\displaystyle {\hat {Y}}_{i}}$ 是作回归分析时的适应值。 整理后得

${\displaystyle 1={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}+{\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}.}$

两个被加数是由X (右边）引起的Y的变化和不是由X（左边）引起的变化。

接下来, 我们利用最小方差回归模型, 使 ${\displaystyle {\hat {Y}}_{i}}$ 和 ${\displaystyle Y_{i}-{\hat {Y}}_{i}}$ 的样本协方差为0。 于是, 观测数据和适应值的样本相关系数可以被写成

${\displaystyle {\begin{aligned}r(Y,{\hat {Y}})&={\frac {\sum _{i}(Y_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\&={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i}+{\hat {Y}}_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\&={\frac {\sum _{i}[(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})+({\hat {Y}}_{i}-{\bar {Y}})^{2}]}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\&={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\&={\sqrt {\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}.\end{aligned}}}$

于是

${\displaystyle r(Y,{\hat {Y}})^{2}={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}$

是由X的线性方程引起的Y的平均变化。

假设我们要计算关联性的观测数据有着不同的重要程度，表示成权值向量 w。 利用权值向量w (总长度 n)计算向量 x 和 y 的相关系数,[26]

• 加权均值:

${\displaystyle \operatorname {m} (x;w)={\sum _{i}w_{i}x_{i} \over \sum _{i}w_{i}}.}$

• 加权协方差

${\displaystyle \operatorname {cov} (x,y;w)={\sum _{i}w_{i}(x_{i}-\operatorname {m} (x;w))(y_{i}-\operatorname {m} (y;w)) \over \sum _{i}w_{i}}.}$

• 加权相关系数

${\displaystyle \operatorname {corr} (x,y;w)={\operatorname {cov} (x,y;w) \over {\sqrt {\operatorname {cov} (x,x;w)\operatorname {cov} (y,y;w)}}}.}$

我们总是可以通过一定的线性变换去除随机变量之间的相关性, 即便变量间的关系是非线性的。 Cox & Hinkley[27]给出了在总体相关系数中的表达形式。

与此相应的，样本相关系数也存在这样的结论，使得样本相关系数变为0。假设长度为 n 的随机变量被随机采样 m 次。 令 X 是一个矩阵，其中 ${\displaystyle X_{i,j}}$ 是第i次采样的第 j个变量。 令 ${\displaystyle Z_{m,m}}$ 是一个所有元素都为1的 m * m 的方阵。 那么 D 是变换后的数据，使得随机变量的均值为0, 并且 T 是变换后的数据，使得所有的变量均值为0和与除自身外的其他变量的相关系数为0 - T的矩作为身份矩阵。 为了得到单位方差，还需要除以标准差。 虽然变换后的数据有可能不是独立的，但他们一定是不相关的。

${\displaystyle D=X-{\frac {1}{m}}Z_{m,m}X}$

${\displaystyle T=D(D^{T}D)^{-{\frac {1}{2}}}}$

其中，指数-1/2表示矩阵置换后的矩阵方根。T的协方差被当做身份矩阵。如果新的样本数据x是n个元素的向量, 那么相同的变换可以应用到x中以获得变换向量d和t：

${\displaystyle d=x-{\frac {1}{m}}Z_{1,m}X}$

${\displaystyle t=d(D^{T}D)^{-{\frac {1}{2}}}}$

这个去相关性的方法被应用到多变量的主成分分析中。

反射相关系数是皮尔逊相关系数的变体，数据并不是以他们的均值为中心。总体反射相关系数是

${\displaystyle {\text{Corr}}_{r}(X,Y)={\frac {E[XY]}{\sqrt {EX^{2}\cdot EY^{2}}}}.}$

反射相关系数是对称的, 但在如下的变换中并不是不变的

${\displaystyle {\text{Corr}}_{r}(X,Y)={\text{Corr}}_{r}(Y,X)={\text{Corr}}_{r}(X,bY)\neq {\text{Corr}}_{r}(X,a+bY),\quad a\neq 0,b>0.}$

样本反射相关系数是

${\displaystyle rr_{xy}={\frac {\sum x_{i}y_{i}}{\sqrt {(\sum x_{i}^{2})(\sum y_{i}^{2})}}}.}$

样本加权相关系数是

${\displaystyle rr_{xy,w}={\frac {\sum w_{i}x_{i}y_{i}}{\sqrt {(\sum w_{i}x_{i}^{2})(\sum w_{i}y_{i}^{2})}}}.}$

规模的相关性是一个变种的皮尔森相关数据的范围限制故意以受控的方式揭示时间序列之间的快速成分的相关性。比例相关的定义是在短数据段的平均相关性。 对于给定规模S，令K为可以适应信号的总长度的段数：

${\displaystyle \mathbf {K} =\mathbf {Sound} \left({\frac {T}{s}}\right)}$

比例相关的整个信号的r_s的计算公式为

${\displaystyle {\overrightarrow {r_{s}}}={\frac {1}{K}}\sum _{k=1}^{K}r_{k}}$

r_s为k的部分皮尔森相关系数。 通过对参数s的选择，减少值的范围和较长的时间尺度上的相关性被过滤掉，只有在很短的时间尺度上的相关性被发现。因此，慢分量的贡献被删除，快分量被保留。

强噪声条件下，提取相关系数两个随机变量之间的是平凡的，特别是在典型相关分析报告在退化的相关值的情况下，由于存在大量噪声。一种概括的方法在其他地方给出。

• 安斯库姆四重奏
• 相关 (概率论)
• 斯皮尔曼等级相关系数（Spearman's rank correlation coefficient）
• 回归衰减
• 最大信息系数
• 圖模式
• 马尔可夫链
• 马尔可夫逻辑网络

• 相關係數：使用皮爾森檢定與斯皮爾曼等級檢定的研究問題（中國醫藥大學，生物統計課程）
• 相關係數：資料型態與適用統計方法（中國醫藥大學，生物統計課程）