正态分布曲线

注 ：这两个定理可以说是概率论中最重要的两个定理。也是由于中心极限定理的存在，使得正态分布从其他众多分布中脱颖而出，成为应用最为广泛的分布。这两个定理在概率论的历史上非常重要，因此对于它们的研究也横跨了几个世纪（始于18世纪初），众多耳熟能详的大数学家都对这两个定理有自己的贡献。因此，这两个定理都不是单一的定理。不同的大数定理和中心极限定理从不同的方面对相同的问题进行了阐述，它们条件各不相同，得到的结论的强弱程度也不一样。 1. 大数定理（law of large numbers，LLN） 图1-1，伯努利（1655-1705） 大数定律可以说是整个数理统计学的一块基石，最早的大数定律由伯努利在他的著作《推测术》中提出并给出了证明。这本书出版于伯努利去世后的1713年。数理统计学中包含两类重要的问题——对概率p的检验与估计。大数定律的本质是一类极限定理，它是由概率的统计定义“频率收敛于概率”引申而来的。简单来说就是n个独立同分布的随机变量的观察值的均值$\bar{X}$依概率收敛于这些随机变量所属分布的理论均值，也就是总体均值。 举一个古典概率模型的例子：拿一个盒子，里面装有大小、质地一样的球a+b个，其中白球a个，黑球b个。这时随机地从盒子中抽出一球(意指各球有同等可能被抽出)，则“抽出的球为白球”这一事件A的概率p=a/(a+b).但是如果不知道a、b的比值，则p也不知道

【转】 模式识别的目标 自动从数据中发现潜在规律，以利用这些规律做后续操作，如数据分类等。 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达，选择合适模型的过程称为模型选择（Model Selection）。模型选择的目的只是选择模型的形式，而模型的参数是未定的。 从数据中获得具体规律的过程称为训练或学习，训练的过程就是根据数据来对选定的模型进行参数调节（Parameter Estimation）的过程，此过程中使用的数据为训练数据集（Training Set）。 对于相同数据源的数据来讲，规律应该是一般的（泛化Generalization），因此评估一个学习结果的有效性可以通过使用测试数据集（Testing Set）来进行的。 预处理 对于大多数现实中的数据集来讲，使用其进行学习之前，通常需要进行预处理，以提高学习精度及降低学习的开销。 以图像识别为例，若以像素做为一个特征，往往一幅图像的特征就能达到几万的数量级，而很多特征（如背景色）都是对于图像辨识起不到太大作用的，因此对于图像数据集，预处理过程通常包括维数约减（特征变换，特征选择），仅保留具有区分度的特征。 文本数据分类任务中，对训练文本也有类似的处理方式，只不过此时扮演特征的是单词，而不是像素值。 监督学习和非监督学习 输入向量（input vector）： ，响应向量（target vector）：