常用于分析变量之间的关系的方法——相关分析。变量之间关系的分析师数据分析非常核心的工作,变量之间关系的研究包括关系存在性研究、关系程度大小研究、关系方向的研究、关系形式的研究、关系传递的研究等。其中关系形式的研究最为复杂,统计中有大量的分析方法都是来探索变量之间关系形式的。研究变量关系形式的前提是变量间存在一定程度的相关关系。
一、相关分析的含义
变量之间的关系按照强弱来划分,常可以分为函数关系、相关关系、没有关系。函数关系是指变量之间存在关系、且关系是确定的,即给出一个X,有且只有一个Y与其相对应,则称Y是X的函数。相关关系是指变量间有关系,但关系不确定。没有关系也称独立,指两个变量之间不存在一个变量影响另一个变量的情形,其常用于刻画没有关联的事物之间的关系。在数据分析的实际工作中,相关关系是最常见的,也是数据分析的重点。
从极限的角度看,函数关系可以看作是相关关系的极限,是强相关关系的极限;没有关系也可以看作是相关关系的极限,是弱相关关系的极限。
变量之间的关系按照形式来划分,可以分为线性关系和非线性关系。线性关系是指变量之间的变化按照直线波动,非线性关系则按照非线性波动,非线性的具体形式非常复杂,如二次函数形式、对数形式、指数形式、正弦函数形式等。在实际数据分析中,常重点研究存在线性关系的变量,主要是因为线性关系相比较于非线性关系相对直观一些,易于理解。
变量之间的关系按照变量数量来划分,可以分为简单关系和多重关系。简单关系是指两个变量的关系,即一对一关系;多重关系是指多个变量之间的关系,具体可以分为一对多关系、多对多关系。在实际数据分析中,简单关系和多重关系都是研究的重点。
广义的相对分析是对两个或多个变量之间所有可能相关关系的分析(包括简单线性的、简单非线性的、多重线性的、多重非线性的)。而这里的相关分析是指狭义相关分析,是指用来研究变量之间简单线性相关关系的方法,即研究两个变量的关系,这两个变量之间存在不确定性的关系,这种关系常用直线表示,故这种相关分析也常称简单线性相关分析。
二、简单线性相关关系的描述
对相关关系的描述主要用来解决有没有相关关系的问题,在实际数据分析中,常用散点图来描述变量的相关关系。两个变量的散点图取一个变量作横轴(常用自变量),另一个变量作纵轴(常用因变量),将样本的各个体在图上描点,得到的图就是散点图。
对于两个变量的线性相关关系,常呈现两种情形:一种是随着自变量的增大,因变量有增大的趋势,两者同向变化,我们称之为正相关;另一种是随着自变量的增大,因变量有减少的趋势,两者反向变化,我们称之为负相关。由散点图可以很直观形象地看出变量之间的关系情况,但关系程度到底是多少,则需要进一步对相关关系进行度量。
三、简单线性相关关系的度量
1、Pearson相关系数
设两个变量分别为x,y,Pearson相关系数的定义公式如下,
ρ
=
C
o
v
(
x
,
y
)
V
a
r
(
x
)
V
a
r
(
y
)
\rho=\frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}
ρ=Var(x)Var(y)?Cov(x,y)?
式中,Cov(x,y)是x,y的协方差;Var(x)是x的方差;Var(y)是y的方差;ρ可以看作根据总体数据计算的相关系数,即总体的简单线性相关系数。
样本的简单线性相关系数常用符号r表示,根据定义公式有:
r
=
C
o
v
(
x
,
y
)
V
a
r
(
x
)
V
a
r
(
y
)
=
∑
(
x
i
?
x
ˉ
)
(
y
i
?
y
ˉ
)
∑
(
x
i
?
x
ˉ
)
2
∑
(
y
i
?
y
ˉ
)
2
=
∑
x
i
y
i
?
n
x
ˉ
y
ˉ
(
∑
x
i
2
?
n
x
ˉ
2
)
(
∑
y
i
2
?
n
y
ˉ
2
)
r=\frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum(x_i-\bar x)^2\sum(y_i-\bar y)^2}}=\frac{\sum x_iy_i-n\bar x \bar y}{\sqrt{(\sum x_i^2-n\bar x^2)(\sum y_i^2-n \bar y^2)}}
r=Var(x)Var(y)?Cov(x,y)?=∑(xi??xˉ)2∑(yi??yˉ?)2?∑(xi??xˉ)(yi??yˉ?)?=(∑xi2??nxˉ2)(∑yi2??nyˉ?2)?∑xi?yi??nxˉyˉ??
式中,
x
ˉ
\bar x
xˉ为x的样本算术平均数;
y
ˉ
\bar y
yˉ?为y的样本算数平均数。
相关系数r的特点如下:
相关关系只能衡量两个变量之间的线性相关关系,当其为0时,只能说明这两个变量之间没有线性相关,不能说它们之间没有关系。对于完全相关,只能看作是关系很强,但不能看作是函数关系,因为完全相关只是样本数据计算出相关系数为1或-1,可能换另一组样本,计算结果就会不一样,即使根据历史数据每次计算的结果都是1或-1,但将来也可能有不一样的计算结果。函数关系是先有关系再有样本数据,完全相关是先有样本数据再有关系。此外,函数关系除有线性函数关系外,还有非线性函数关系,这里的完全相关只是完全的线性相关,并未测量非线性相关情形。
一般来说,|r| ≥ \geq ≥ 0.8时,可认为变量之间存在强的线性相关关系; 0.5 ≤ ∣ r ∣ < 0.8 0.5\leq|r|<0.8 0.5≤∣r∣<0.8,可认为相关关系一般; ∣ r ∣ < 0.5 |r|<0.5 ∣r∣<0.5时,可认为相关关系较弱。但这些判断标准在很多时候并不准确,特别是在大数据情况下,这需要根据样本量来确定相关关系的程度。一般来说,当样本量越大时,相关关系的判断值就会越小(小的相关系数也表示了强的相关关系)。这需要用到相关系数的显著性检验和假设检验的内容。
2、Spearman等级相关系数
Pearson相关系数要求两个变量数据均为数值数据。
非数值数据包括分类数据和顺序数据。
如果变量数据是分类数据,也是可以计算相关系数来衡量变量之间的相关关系的,需要用到列联分析方法,根据列联分析的统计量来计算。
如果变量数据是顺序数据,有两个思路可以构造相关函数来衡量变量之间的相关关系
r d = 1 ? 6 ∑ d 2 n ( n 2 ? 1 ) r_d=1-\frac{6\sum d^2}{n(n^2-1)} rd?=1?n(n2?1)6∑d2?
式中,d是被观测的两个变量的等级的差值(若有多个个体等级相同,则取其等级的平均数作为各个体的等级,如并列第二,则取2.5);n是样本容量。Spearman等级相关系数 r d r_d rd?的取值范围也是[-1,1],具有和Pearson相关系数相同的特点。
3、使用相关系数时需要注意的问题