断断续续学习了人工智能的标准教材《人工智能一种现代的方法》，经典教材内容全面详细，篇幅也很大，需要一定的基础知识。而且老外的行文方式，和我们不一样，看着比较费力，所以在读机器学习这一章节时，先看了breakloop的微博https://blog.csdn.net/daihuimaozideren/article/details/82977972，了解一些基础知识，再去学习。
1.线性回归
知识点：线性关系，线性回归，假设函数，代价函数，学习速率，梯度下降，特征向量
连续的用回归，离散的分类。假设函数是目标，代价函数是用来评估误差的，使用梯度下降算法，学习速率是一个参数，多元的方法类似，使用最小二乘法计算。
2.逻辑回归
知识点：决策边界，凸函数，非凸函数
逻辑回归是用来解决分类问题的，借用了线性回归的方法，使用引入sigmoid函数来处理假设函数，
，
凸函数就是有极大值的函数，任意二点的连线都在内部，二次导数大于0。使用对数函数作为代价函数。枚举问题（有多个y值）使用多个代价函数（具体如何计算暂不清楚）。
3.梯度下降vs正规方程法
知识点：特征缩放，均值归一化，正规方程
影响梯度下降算法收敛速度的因素包括：样本集合大小，特种向量中某一元素的取值范围远大于其它元素，学习速率等，对于取值范围大的参数使用特殊缩放，在保证收敛的前提下尽量提升学习率，部分可以用正规方程计算较为快捷（特征数量不大时，如小于10000）。
4.正则化
知识点：过度拟合，欠拟合，正则化，惩罚项（或正则化项）
过度拟合的曲线一般复杂，含有高阶变量，加入惩罚项，减少惩罚项，即正则化。
5.神经网络
6.近邻算法KNN
曼哈顿距离算法（差的绝对值），欧式距离算法（方差和的算术平方根），K值的选择。
7.假设函数模型的选择
通常假设函数的模型为
，优化假设函数的方式包括：增加训练数据量，增减特征项，调整正则惩罚项
参数。
将数据集分成三部分，训练集，交叉验证集，测试集，通常所占比例分别为60%，20%，20%。
8.偏斜类问题
查准率（precision）和召回率（recall），通常是此长彼消的。
来源：CSDN
作者：longhill
链接：https://blog.csdn.net/longhill/article/details/104822668