吴恩达

参考资料： 吴恩达教授机器学习课程 机器学习课程中文笔记 Week 1 一. 引言 机器学习模型可分为监督学习Superviese learning（每个数据集给出了正确的值）和无监督学习Unsupervised learning（数据集只有特征，没有对应正确的值） 机器学习处理的问题可以分为Regression回归问题（结果是real-valued output连续的值）和Classification问题 （结果是discrete-valued离散的值） 二. 单变量线性回归(Linear Regression with One Variable) 代价函数Cost function 代价函数用来表现目前模型与结果的拟合情况。 平方差函数是回归问题中常用的代价函数 梯度下降 Gradient descent 梯度下降算法用来最小化函数，这里用来最小化代价函数； 原理：通过将每个参数不停减去“对应参数偏导数*学习速率“来 同时更新 每个参数，从而达到求得局部最小的函数值。 hypothesis 是一个通过一个training set + 机器学习算法训练出的模型 。 对于traning set，找一个合适的学习算法，然后通过训练最小化代价函数从而得到最适合的参数。 三. 术语 Data set = training set example Input = features

参考资料： 吴恩达教授机器学习课程 机器学习课程中文笔记 Week 1 基础概念 机器学习模型可分为Superviese learning（每个数据集给出了正确的值）和Unsupervised learning（数据集只有特征，没有对应正确的值） 机器学习处理的问题可以分为Regression回归问题（结果是real-valued output连续的值）和Classification问题 （结果是discrete-valued离散的值） 代价函数Cost function J ；平方差函数是回归问题中常用的代价函数[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xUrNcQSg-1578705555493)(/Users/ztx/Library/Application Support/typora-user-images/截屏2019-12-30下午4.39.03.png)] Gradient descent 梯度下降用来最小化函数，比如最小化代价函数；原理：通过将每个参数不停减去“对应参数偏导数*学习速率“来 同时更新 每个参数，从而达到求得局部最小的函数值。 一些机器学习算法模型 线性回归算法linear regression hypothesis 是一个通过一个training set + 机器学习算法训练出的模型 。 猜测

来源： CSDN 作者： coco_1998_2 链接： https://blog.csdn.net/coco_1998_2/article/details/103905061

18-1 问题描述与OCR pipeline 1.OCR工作流程：文本检测，字符分割，字符分类 18-2 滑动窗口 1.我们用滑动窗口来检测文本+分割字符，用监督算法来进行字符分类 18-3 获取大量数据和人工数据 1.获取人工数据：对自然数据进行等分、缩放或者旋转 2.比如说，人工拉伸： 3.再比如语音样本，我们可以在获取了一个干净的语音样本的基础上，通过人为添加噪音来获得更多的样本 4.人工添加噪音后，得到的样本应该是要有代表性的 5.当然，在人为添加大量数据前，需要先保证我们的模型是底偏差的，这样我们人为制造的大量训练数据才有意义 6.人为添加数据的方法： 1）人为添加失真 2）人为收集数据/标记数据 3）众包服务（也就是花钱让别人来帮你标记数据，比如亚马逊的mechanical Turk） 18-4 上限分析 1.我用OCR来举个例子，比如现在整个系统的准确率是72%，那么我现在就改一下文本检测模块的方法：直接用测试集去训练我们的文本检测模块的模型，看看这样得到的系统总准确度提升了多少，如果提升得多，那就说明花大力气在这方面是值得的，其它模块也是类似 来源： CSDN 作者： 肥仔肥仔 链接： https://blog.csdn.net/yuanren201/article/details/103889093

机器学习概述 一 什么是机器学习？ 　　机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、 逼近论 、 凸分析 、 算法复杂度 理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 　　它是 人工智能 的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。（百度百科） 二 按学习形式分类 　　监督学习（supervised learning）：即在机械学习过程中提供 对错 指示。一般实在是数据组中包含最终结果（0，1）。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括线性回归和统计分类。 　　非监督学习（unsupervised learning）：和监督学习不同，在给定的数据集中没有对错指示或者特征指示，让算法给出数据集的一定的结构。常见的算法是聚类。 三 举例论证 　　1 回归问题 　　 正如坐标系中展示的一样

大家好： 这篇文章的目的是，给哪些基础不好、想入门机器学习但是没头绪、看了很多推荐学习路线后仍晕头转向、不知道怎么办的道友，我本人也是机器学习初学者，看了很多的经验贴，很多方式我都尝试过，现在我把最有效的入门学习路线分享给你，并且配套有一整套的学习资源，也就是说，你什么都不用做，只管学，按部就班的学即可，帮你节省了大量的时间，这可是我用心的分享哦，不会让你白白花几分钟读这篇文章的。（如有错别字、不足之处、建议还请一定帮我指出，十分感谢） 首先说明本篇文章主要结合了知乎高赞回答（参考但不限于此）： https://zhuanlan.zhihu.com/p/29704017 更多内容可在知乎、csdn、github上搜索 我的个人情况： 基础不好，应届生，本科是软件工程的，但大学荒废了不少，19考研生，所以线性代数和高数基础还不错，但概率论几乎全忘了（因为没考这个 滑稽脸）。我在结合大佬们的推荐学习路线后，开始尝试自学了一段时间，现在我把我的个人体会和建议给你说一下，如果你还没有看上面的回答，可以不用看了，我会在这里给大家总结好： 关于机器学习的数学： 大部分是不推荐单独恶补这些知识的。首先说优点：单独学数学是很枯燥的，而且我是打算尽快入行的，没时间再花几个月去学概率论等数学知识，而且有些知识点机器学习中几乎用不到，至少前期用不到，所以不单独恶补数学可以大大的节省了时间；再说说缺点

10、支持向量机 10.1、大边界的直观理解 支持向量机 ( Support VectorMachine ) ，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 10.2、核函数 10.3、应用SVM 11、聚类 11.1、无监督机器学习 11.2、K-Means（K均值算法） 11.3优化目标 11.4、随机初始化 11.5、选择聚类数 12、降维 12.1、动机一：数据压缩 12.2、动机二：数据可视化 12.3、主成分分析问题 12.4、主成分分析算法 12.5、选择主成分的数量 12.6、重建的压缩表示 12.7、主成分分析法的应用建议 本博客主要引用文章如下： 作者：黄海广 链接：斯坦福大学2014机器学习教程个人笔记（V5.4） 来源：PDF 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 来源： https://www.cnblogs.com/AlexWangle-one/p/12022673.html

如果要推荐《机器学习》的学习课程，那必然首选吴恩达的《机器学习》课程，无论是国内还是国外，这是最火的机器学习入门课程，没有之一。吴恩达老师用易于理解、逻辑清晰的语言对机器学习算法进行介绍，无数新手正是通过这门课程了解了机器学习。 吴恩达老师的《机器学习》课程主要有两门，一门是Cousera上的课程，另一门是斯坦福大学的课程CS229: Machine Learning。这两门课程各有侧重点： 1、Cousera Machine Learning课程 这门课最大的特点，是它侧重于概念理解而不是数学。数学推导过程基本被略过，重点放在让初学者理解这背后的思路。另外，它还十分重视联系实际和经验总结：课程中吴恩达老师列举了许多算法实际应用的例子；他提到当年他们入门 AI 时面临的许多问题，以及处理这些难题的经验。 吴恩达教授在Coursera上的课程基本上完全没有触及到高深的数学知识（几乎不用具备太多数学知识），吴老师解释道：“这门课没有使用过多数学的原因就是考虑到其受众广泛，因此用直觉式的解释大家有信心继续坚持学习”。 这门课程内容丰富，可在Cousera网站上在线观看（需要注册，可申请免费观看） 2、CS229: Machine Learning 这是吴恩达在斯坦福的机器学习课，是很多人最初入门机器学习的课，历史悠久，而且仍然是最经典的机器学习课程之一，CS229机器学习课程更加偏好理论

7、神经网络（Neural Networks） 7.1、非线性假设 参考视频 : 8 - 1 - Non-linear Hypotheses (10 min).mkv 之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。 但当特征数量过多时， 普通的逻辑回归模型，不能有效地处理这么多的特征，即复杂的非线性问题，我们需要寻找其他的方法，这时候我们需要神经网络。 7.2、模型表示 7.3、简单神经网络模型示例 7.4、多分类问题神经网络模型 7.5、代价函数 参考视频 : 9 - 1 - Cost Function (7 min).mkv 7.6、反向传播算法 参考视频 : 9 - 2 - Backpropagation Algorithm (12 min).mkv 参考：神经网络BP反向传播算法原理和详细推导流程 https://blog.csdn.net/qq_32865355/article/details/80260212 7.7、梯度检验 参考视频 : 9 - 5 - Gradient Checking (12 min).mkv 7.8、随机初始化 参考视频 : 9 - 6 - Random Initialization (7 min).mkv 7.8、小结 本博客主要引用文章如下： 作者：黄海广 链接：斯坦福大学2014机器学习教程个人笔记（V5.4）

1.1计算机视觉 （1）计算机视觉的应用包括图像分类、目标检测、图像分割、风格迁移等，下图展示了风格迁移案例： （2）图像的特征量非常之大，比如一个3通道的1000*1000的照片，其特征为3*1000*1000达到300万，如果第一个隐藏层有1000个单元那么W[1]有20亿个参数，计算量不仅大，而且由于图像样本相对于特征实在是太少，导致很容易过拟合，所以需要其他的方式来连接，即卷积。 1.2边缘检测示例 （1）卷积运算是输入图像与过滤器（也叫核）进行的运算，得到输出图像。卷积核与图像对应的位置相乘求和得到一个新值，如下图所示： 输出中第一个绿色框的值为： （2）每个不同的核可以检测到不同的边缘特性，如下面的核就可以检测到图像的垂直特性，即输入图像中的边缘会在输出图像中用白色显示出来，非边缘部分显示为黑色或灰色。同理还有其他水平边缘检测等各种核（过滤器）。 1.3更多边缘检测的内容 （1）除了上面提到的卷积核，还有其他许多卷积核，把上面3*3的卷积核看成9个参数，然后不是通过人工的确定，而是通过神经网络来学习这些参数，这就是卷积神经网络。 1.4Padding （1）边缘不填充会有两个缺点：第一是随着不断卷积，图像会变得越来越小，有时你可不想让它变小；第二是最角落的点只被使用了一次，这意味着在下传的过程中丢掉了图像边缘位置的信息。如下图所示（角落的绿色点只被计算了一次