《女士品茶》与统计检验

无人久伴 提交于 2020-02-04 04:11:58

在2008年参加国家统计局举办的建模大赛期间,书店书架上的《女士品茶(The Lady Tasting Tea)――20世纪统计怎样变革了科学》引起了我们的关注,《女士品茶》书名一改以往统计类书籍的枯燥和灰暗,新意盎然。匆匆翻过后,便买下了。《女士品茶》并不是一本女性读物,也不是一本专门讲茶的读物,而是一本20世纪统计发展史的科普读物,留心一下本书的副标题就可以知道这一点。为什么作者取了这么个名字?其巧妙的构思令人赞叹,原来“女士品茶”是一个统计发展史上非常有名的统计实验,而且是由大名鼎鼎的费歇尔(Fisher)主持的。《女士品茶》全书以“女士品茶”这一个早期的统计学实验开始,详细地叙述了一个多世纪以来统计学的诞生和发展的历史,通过一些有趣的统计故事,在一个个精彩的人物中将统计学各个领域的思想向读者进行了简明扼要的介绍。但是让这本书成为经典的不是其中的学术分析,而是其视野的独特和广阔。

 

  译者邱东先生定位的首选读者是:统计专业的学生、研究生、教师和科研工作者。其次是对科学发展文化传承感兴趣的各界读者,定位层次何以如此悬殊?似乎在于作者和译者各自的生活环境不同,正如作者所说:“统计的观点应用如此广泛,以至于基本的假设已经成为西方世界通俗文化的一部分,就如同一尊泥菩萨一样立在那里,洋洋得意。”所以这本书归类“科普读物”。

 

  一、关于“女士品茶”的统计实验

 

  20世纪20年代后期,在英国剑桥的某个夏日的午后,一群绅士和淑女们在悠闲地品茶,有位女士声称,把茶加到牛奶里,和把牛奶加到茶里,两种方法调出来的茶喝起来味道不同。在座的科学精英对此说法嗤之以鼻,这怎么可能,只有一位瘦小的、戴着厚片眼镜的绅士—费歇尔提议,用一个实验来检验这位女士的假设。

 

  《女士品茶》以这位喝茶的英国女士为起点,引出了近代数理统计的开创者—费歇尔,以及费歇尔为解决类似上述问题而发明的实验设计法。在回顾统计学几个重要理论的发展过程与应用的基础上,引导读者去领略统计这门应用范围最广的科学,究竟为现今世界带来了什么样的变化。

 

  二、关于《女士品茶》

 

  本书作者萨尔斯伯格说:“我所选择贯穿20世纪统计学复杂理论的主线是与别人不同的。我希望读了本书后能有所启发,去进一步了解统计革命的内涵。”作为一本讲统计学的书,平均数、标准差、估计值、概率分布、随机变量、置信区间、大数定律、中心极限定理、正态概率分布随机变量等等一系列的概念和术语,自是绵亘不绝,但是不同于其它书的是,这些概念和术语的背后,是一个个统计大师鲜活的形象,是一段段他们探索创新、历尽坎坷的人生故事。故事中穿插着大师们睿智的珍言、友谊的情怀、幽默的细节、个性的遭际……。解读统计大师们的故事,他们的涉猎丰富、知识渊博,研究领域广泛,可以说无所不包,难怪书的副标题敢问:“20世纪统计怎样变革了科学”。

 

  书中细数了二十世纪参与这场科学变革的代表性人物与事迹,他们有研究数学的,有研究滑雪的,有研究遗传学的…有昆虫学家、密码分析师、物理学家、药剂师、计算机工程师…他们生活背景复杂、研究主题宽广、思路多样化,其中有“数学界的莫扎特”—为概率论奠定基础的少年天才柯尔莫哥洛夫,“统  计界的毕加索”—作品风格变化万千的图基…让我们领略到统计在二十世纪的百年时光中,如何改变了我们对自然、人类以及社会的看法,同时表达了对那些敢于发现和创新的人们的深深敬意。

 

  书中还描绘到,费歇尔在农场里倒弄统计,分析农作物与气候、雨量、杀虫剂、肥料之间的关系,在发表了《研究工作者的统计方法》这一系列举世著名的论文的同时,也改善了农业生产。戈赛特先生在吉尼斯酿造公司这样的化学企业,通过解决测量在麦芽发酵是其所用的酵母数量,确定了泊松分布在现实生活中的实例和统计分布新观念的应用,当然也解决了该公司生产上的一个重大问题。蒂皮特在投身棉花工业研究协会之后,为找出最脆弱的纤维强度,发现了极致分度也找出了最脆弱的纤维强度,提高了棉花的产量。书中还提到统计应用于医学,找出同一种药物的剂量对人的反应;统计应用于第二次世界大战,测量哪种毒气对敌人有影响;统计应用于破译密码,运用逻辑和数学模型来解决用远程轰炸机对付潜艇的最佳使用方案;应用于解决军队的食物补给问题。战争之后,由数理统计衍生而来的运筹学应用到了商业上,解决了诸如找出仓库与销售部门之间的最优关系,均衡有限资源,改进生产和提高产量等商务问题。

 

  读《女士品茶》这部书就犹如在一条群星璀璨的知识的星河中漫步。整本书中,介绍了数理统计界大师们的传奇与故事。仔细的对比这些“大人物”,发现他们除了一生杰出,对世界做出了巨大的贡献的共同点之外,他们还有一点是共同的,那就是一生都追寻着自己的兴趣,并且都做出了非凡的成绩。有的从小就在数理统计方面表现出非凡的才能,如俄国数学家安德烈柯尔莫哥洛夫在5岁的时候就提出了他的第一个数学发现;古德在10岁的时候就发现了2的平方根是无理数以及“佩尔方程式”的问题的解。也有后天才转而对这方面产生了兴趣,例如费歇尔的女婿乔治博克斯是在第二次世界大战的化学防御试验室又有工作的需要才开始接触、学习,最后喜欢上统计学,并以之为终生事业;布利斯起初对生物学敢兴趣,由于参加了杀虫剂的实验,但是受到许多没法控制变量的干扰,在学习了费歇尔的《研究工作者的统计方法》之后,对数理统计产生浓厚的兴趣,在此基础上发明了一种称之为“概率”分析方法。

 

  三、关于模型的统计检验

 

  《女士品茶》“假设检验”中提到:“皮尔逊常常利用他的卡方拟合优度检验来‘证明’某些资料符合某些特定的分布。在费歇尔把更精确的方法引入到数理统计之后,皮尔逊的方法就不再为人接受了。但问题仍然存在。为了知道应该估计哪些参数,为了确定这些参数与所研究的科学问题之间有何关系,我们必须假设该数据符合某一特定的分布。统计学家们常常会利用显著性检验来证明数据符合何种分布。”

 

  1、统计检验概述

 

  我们所要进行的统计检验包括两个方面,一方面检验回归方程对样本数据的拟合程度,通过可决系数来分析;另一方面检验回归方程的显著性,通过假设检验对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立做出推断,包括对回归方程线性关系的检验和对回归系数显著性的检验。

 

  在实际操作中,由于人力、物力、时间等问题,一般都用抽样调查的方法抽取一定数量的具有代表性的群体,得出样本数据来进行研究,并对总体特征进行统计推断,在这里面就会存在两个问题,一是样本的特征数量能否反映总体特征?二是两种不同的样本的数量标志参数是否存在差异?只有解决这两个问题,才能正确的推断总体特征,也才能找出不同特征群体的需求差异,这就需要统计学中的显著性检验来解决。

 

  《女士品茶》提到,显著性检验,是用来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。用样本指针估计总体指针,其结论有的完全可靠,有的只有不同程度的可靠性,需要进一步加以检验和证实。通过检验,对样本指针与假设的总体指标之间是否存在差别做出判断,是否接受原假设,分析样本指针和总体指针之间是否存在显著差异。从这个意义上,假设检验又称为显著性检验。假设检验是除参数估计之外的另一类重要的统计推断问题。它的基本思想可以用小概率原理来解释。所谓小概率原理,就是认为小概率事件在一次试验中是几乎不可能发生的。也就是说,对总体的某个假设是真实的,那么不利于或不能支持这一假设的事件A在一次试验中是几乎不可能发生的;要是在一次试验中事件A竟然发生了,我们就有理由怀疑这一假设的真实性,拒绝这一假设。

 

  2、多元线性回归模型的统计检验

 

  从《女士品茶》联想到如何分析统计检验结果,判断方程是否成立,模型是否通过检验。当我们把因变量和多个自变量数据导入统计分析软件中,在输出结果中,有R值、T值、F统计量等,我们如何界定是否通过检验,回归方程是否可行?是否可以用来分析数据或做预测呢?现就研读《女士品茶》的体会和从事统计分析写作的实际以及对数理统计知识的兴趣,将各类统计检验以较为通俗的表达归类如下:

 

  1、拟合优度检验统计量:R2

 

  用可决系数R2进行拟合优度检验,0﹤R2﹤1,R2越接近于1,模型的拟合优度越高。

    

  2、概率:P值

 

  费歇尔利用显著性检验产生了他称为P值的数字。P值是一个概率,被用来表明一个假设为假的概率。这是一个计算出来的概率,是在零假设为真的假定下,与观测数据有关联的一个概率。在很多情况下,假设检验的目的是用来推翻零假设的。例如,假定我们要检验一种新药,对做过乳房切除手术的妇女来说,这种药可以防止乳腺癌的复发。我们把这种药的效果与一种安慰剂作比较。此时的零假设就是,该新药不比安慰剂好。现在假定5年之后,用安慰剂的妇女有一半乳腺癌复发,但用新药的完全没有复发。我们观察此时的P值,如果很小,小到接近于0,可以拒绝原假设,“新药不比安慰剂好”假设不成立,以此证明新药“有效”。  

 

3、方程显著性检验:F检验

 

  方程总体显著性检验看F统计量,统计量F服从自由度为(k,n-k-1)(k个自变量,n组数据)的F分布,因此,给定显著性水平a,查表得Fa(k,n-k-1),根据统计分析软件得到F值,可通过F>Fa(k,n-k-1)(或F<Fa(k,n-k-1)来拒绝或接受原假设,拒绝原假设,即方程总体线性显著,模型通过F检验,接受原假设,方程总体线性不显著,模型没有通过F检验。

 

  4、变量的显著性检验:t检验

 

  对于多元线性回归模型,如果方程的总体线性关系是显著的,并不能说明每个解释变量对被解释变量的影响都是显著的,因此,必须对每个解释变量进行显著性检验,以决定是否作为解释变量被保留在模型中。如果某个变量对被解释变量的影响并不显著,应予以剔除,以建立更为简单的模型,我们通过t检验来进行。

 

  给定一个显著性水平a,查表得ta/2(k,n-k-1),根据统计分析软件得到t值,可通过|t|> ta/2(n-k-1)(或t< ta/2(k,n-k-1)来拒绝或接受原假设,对逐个变量的t值进行比较,已确定剔除还是保留。当然,实际应用中,没有绝对的显著性水平,关键仍然是考查变量在经济关系上是否对解释变量有影响。

 

  总之,在进行统计分析的实际运用中,灵活运用统计检验是关键。统计模型要通过的检验有多个,但是可以通过对数据做预处理,如标准化、归一化等,或是换个角度分析,便可得到不同的检验结果和通过不同的检验。

 

  从《女士品茶》看统计科学发展的历史,是一个个科学家不断出现,不竭对统计科学的探索,不断崛起,成功与失败交织的历史,作者把他们串成如颗颗珍珠连缀成美丽的项链,让统计科学的桂冠闪烁着生命和灵感的光芒。从早期的《女士品茶》检验发展到现在的各类统计检验,无不渗透着统计学家们的心血与智慧。

 

“当我们进入21世纪的时候,统计革命在科学领域取得了胜利……而在未来的某个隐蔽的角落,另一场科学革命正在孕育,而那些即将发起这场革命的男男女女,可能正生活在我们中间。”引用这段《女士品茶》的结束语来结尾,试图给我们每一个统计人寻求一些振奋,担起一份责任,展现新的希望。

 

 

 

参考文献:

1、《女士品茶》萨尔斯伯格著 邱东译  中国统计出版社2004;

2、《让人眼前一亮的书》 读《女士品茶》随笔 韩际平 中国统计2005年第五期。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!