相关性检验

分析连续变量之间的线性相关程度的强弱 相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素是相关密切程度。 1，图示初判 2，Pearson相关系数（皮尔逊相关系数） 3，Sperman秩相关系数（斯皮尔曼相关系数） 1，图示初判 （1）变量之间的线性相关性 import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import stats% matplotlib inline​​data1 = pd.Series(np.random.rand(50)*100).sort_values()data2 = pd.Series(np.random.rand(50)*50).sort_values()data3 = pd.Series(np.random.rand(50)*500).sort_values(ascending = False)​# 创建三个数据：data1为0-100的随机数并从小到大排列，data2为0-50的随机数并从小到大排列，data3为0-500的随机数并从大到小排列，​fig = plt.figure(figsize = (10,4))ax1 = fig.add_subplot(1,2,1)ax1.scatter(data1, data2

1. 两件事伴随发生，不代表他们之间有因果关系 - 从一些荒诞相关性案例说起 在日常生活和数据分析中，我们可以得到大量相关性的结论，例如： 输入X变量，有98%置信度得到Y变量 只要努力，就能成功 只要到了下班时间出公司大门，天就一定黑了 深圳交警表示，天秤、处女、天蝎座的人更喜欢违章 肿瘤发生率随着最近二十年手机的推广逐年上升，证明了手机辐射致癌 屁股大容易生儿子 世界上不吃猪肉的人群中，人自爆的概率最大 据观察统计，消防车数量越多的火灾中，伤亡人数越多 工业革命以来，女人穿的裙子越来越短，全球温度越来越高 人的受教育程度与脚的大小成正比 .... 此类结论的依据也似乎有很强的依据，即所谓的历史经验，甚至是大量的真实数据支持，我们通过各种统计模型、机器学习、深度学习模型，通过分析得到以上种种结论。 但是这里面存在一个巨大的疑问就是，” 相关性一定等于因果性吗？ “让我们来看几个反常识的例子。 1）美国在科学、空间和技术上的开支 && 绞死、勒死和窒息的后果关联性 correlation=99.79% 2）泳池溺水身亡人数 && 尼古拉斯凯奇出演的电影数 correlation=66.66% 3）缅因州的离婚率与人均人造黄油消费量相关 correlation=99.26% 4）深圳交警表示，天秤、处女、天蝎座的人更喜欢违章 “我们发现上周天秤座、处女座、天蝎座携手违法数量居前三名。

7 卡方检验需要注意的问题？ 2X2 列联表中每个类别的期望频数大于 5 独立性检验和相关性检验的关系？ 独立性检验变量越大则越不独立，相关性检验变量越大则越不独立，越相关。所以这两个检验是一致的。它们之间的关系是平行的。 来源： https://www.cnblogs.com/yuanjingnan/p/11779091.html

相关系数可用来衡量两个变量之间的相关性大小，根据数据满足的不同条件，选择不同的相关系数进行计算分析。 两种常用的相关系数：皮尔逊person和斯皮尔曼spearman。 总体和样本： 皮尔逊相关系数：（要求数据要都是符合正态分布的数据，而且数据需线性相关） 必须先确认两个变量时线性相关的（ 画样本散点图先观察是否线性 ），然后此系数才能告诉他们相关程度如何。如果计算的相关系数为0，只能说明非线性相关。 不能说协方差大的两个变量比协方差小的两个变量更相关，因为没有消除变量的量纲的影响。皮尔逊相关系数就是协方差消除量纲后的结果。 样本皮尔逊相关系数同总体皮尔逊相关系数： 由于皮尔逊相关系数只是衡量已知线性相关的两个变量的相关程度，其他情况不适用： 对相关性大小的解释： 根据具体事情具体分析，没有标准大小的阈值规定。比起相关系数大小，我们更关注其显著性。（假设检验） 对皮尔逊相关系数进行假设检验： 如：求出相关系数r=0.3，问是否和0（非线性相关）有显著差异? 经假设检验求出03与0有显著差异的，就可说明变量的相关性是显著的；若求出0.3和0没有显著差异，可说明变量并不相关，相关系数不显著。 步骤： 对皮尔逊相关系数构造统计变量，知道统计量的分布，就可以画出统计变量的概率密度函数。将计算出的皮尔曼相关系数带入统计变量，得到一个检验值，根据置信水平画出统计变量接受域和拒绝域