一直以来对【回归】这个词不是很理解，为什么做预测类问题，就叫做回归问题，于是特地查了下这个词的由来。
术语的由来
回归分析法是由著名的英国人类学家、统计学家高尔顿（F.Galton,1882~1911）所创立的。早年，高尔顿曾致力于化学和遗传学领域的研究，他在研究英国人中父子身高之间的关系时创立了回归分析法。
1889年，高尔顿和他的学生、现代统计学奠基人之一的皮尔逊（Pearson）收集了1078对父亲及其1个成年儿子的身高数据，根据调查数据作出散点图后发现，个子高的父亲确有生出个子高的儿子的倾向；同样个子矮的父亲也有生出个子矮的儿子的倾向。
高尔顿研究后还发现，这1078个父亲的身高平均值为68英寸，1078个儿子的身高平均值是69英寸。一种自然的想法是：如果父亲的身高是x英寸，那么他儿子的身高平均来说大致是x+1英寸。但高尔顿在研究时发现，当父亲的身高是72英寸时，他们的儿子的平均身高仅为71英寸，并没有达到73英寸。他同时还发现，身高只有64英寸的父亲其儿子的平均身高为67英寸，竟然比预期的65英寸高了2英寸。由此他得出结论：尽管高父亲往往生出高儿子，矮父亲大多生出爱矮儿子，但”儿子们“的身高有想全体男子身高的平均值靠近的趋势，即子代身高有向平均值”回归“的倾向。
高尔顿的解释是：大自然具有一种约束力，使得人类身高的分布在一定时期内相对稳定而不产生两极分化，这就是所谓的”回归“效应。通过这一例子，高尔顿引入了”回归“（reversion，后来慢慢演变成regression）一词。
现在，回归分析法已经广泛应用于科学研究䣌各个方面，成为探索变量之间的关系最为重要的方法之一，并用以找出有因果关系的变量之间关系的具体表现形式。
一言以蔽之
总而言之，回归这个词，就是描述的一组数据之间的关系，即数据向平均值靠拢。