coursera

吴恩达深度学习视频： https://www.bilibili.com/video/BV1gb411j7Bs?p=15 github课后作业： https://github.com/Kulbear/deep-learning-coursera 代码路径： Neural Networks and Deep Learning/Logistic Regression with a Neural Network mindset.ipynb https://github.com/Kulbear/deep-learning-coursera/blob/master/Neural%20Networks%20and%20Deep%20Learning/Logistic%20Regression%20with%20a%20Neural%20Network%20mindset.ipynb python库——h5py入门讲解 https://blog.csdn.net/csdn15698845876/article/details/73278120 Scipy教程 https://www.yiibai.com/scipy/ 来源： https://www.cnblogs.com/Leeny/p/12635912.html

#对coursera上 Andrew Ng老师开的机器学习课程的笔记和心得； #注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充，并非是课堂详细笔记和要点； #标记为<补充>的是我自己加的内容而非课堂内容，参考文献列于文末。博主能力有限，若有错误，恳请指正； #---------------------------------------------------------------------------------# 神经网络的类型 ：感知机(单层)，多层神经网络； <补充>： 感知机 (perceptron)是神经网络和支持向量机的基础，基本模型为:f(x)= sign(g(X))，sign为符号函数, x为输入向量，w为权值向量，b为bias； ； g(X)可以是线性函数，也可以是sigmoid函数等； #---------------------------------------------------------------------------------# 神经网络基本模型： ， 每一个单元有 一定数量的实值输入 ，产生 单一的实值输出 (可以是其他很多单元的输入)； 神经网络的符号标记： a i (j) - activation of unit i in layer j ； Ɵ (j) - matrix of parameters

四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践1-特征缩放 4.4 梯度下降法实践2-学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性（可选） 五、Octave教程(Octave Tutorial) 5.1 基本操作 5.2 移动数据 5.3 计算数据 5.4 绘图数据 5.5 控制语句：for，while，if语句 5.6 向量化 5.7 工作和提交的编程练习 第2周 四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 参考视频: 4 - 1 - Multiple Features (8 min).mkv 目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为 \(\left( {x_{1}},{x_{1}},...,{x_{n}} \right)\) 。 增添更多特征后，我们引入一系列新的注释： \(n\) 代表特征的数量 \({x^{\left( i \right)}}\) 代表第 \(i\) 个训练实例，是特征矩阵中的第i行，是一个向量（vector）。 比方说，上图的

完整编程作业代码 GitHub 地址： https://github.com/coco-1998-2/Andrew-NG-Machine-Learning-Coursera 100%本地运行通过，不要直接拷贝，debug有问题的时候参考下就好。若是感觉有用，别忘记Star哦～ K-means algorithm 内嵌试题： Optimization Objective： Choosing the number of K: Unsupervised Learning： 表示第i个样本属于的cluster，计算了下距离，离1最近. Motivation I: Data Compression 解析：数据数量不变，维度降低。 PCA Algorithm： How to choose K: PCA： 1.Consider the following 2D dataset: 来源： CSDN 作者： coco_1998_2 链接： https://blog.csdn.net/coco_1998_2/article/details/104373888

Local search General introduction: Local search is a heuristic algorithm for solving optimization problem. Local search move from a configuration to another configuration by performing local moves. Local search start from a exist solution(maybe infeasible), search the neighborhood and find the local optima. I think local search is a kind of greedy algorithm, at least to some extends. The general model: swap (e.g. in car sequencing and magic square): Find a configuration that appears in violations and swap it with another configuration to minimize the number of violations. -Swap can

8 Dimensionality Reduction 8.3 Motivation 8.3.1 Motivation I: Data Compression 第二种无监督问题：维数约简（Dimensionality Reduction）。 通过维数约简可以实现数据压缩（Data Compression），数据压缩可以减少计算机内存使用，加快算法运算速度。 什么是维数约简：降维。若数据库X是属于n维空间的，通过特征提取或者特征选择的方法，将原空间的维数降至m维，要求n远大于m，满足：m维空间的特性能反映原空间数据的特征，这个过程称之为维数约简。 做道题： C 8.3.2 Motivation II: Visualization 数据降维可以可视化数据，使得数据便于观察。 做道题： BD 8.4 Principal Component Analysis 8.4.1 Principal Component Analysis Problem Formulation PCA的正式描述：将n维数据投影至由k个正交向量组成的线性空间（k维）并要求最小化投影误差（投影前后的点的距离）（Projection Error）的平方的一种无监督学习算法。 进行PCA之前，先进行均值归一化和特征规范化，使得数据在可比较的范围内。 PCA和线性回归之间的关系。PCA不是线性回归。左图是线性回归，右图是PCA

提纲： 机器学习为什么可能？ 引入计算橙球概率问题 通过用 Hoeffding's inequality 解决上面的问题，并得出 PAC 的概念，证明采样数据学习到的 h 的错误率可以和全局一致是 PAC 的 将得到的理论应用到机器学习，证明实际机器是可以学习 机器学习的大多数情况下是让机器通过现有的训练集（ D ）的学习以获得预测未知数据的能力，即选择一个最佳的 h 做为学习结果， 那么这种预测是可能的么？为什么在采样数据上得到的 h 可以认为适用于全局，也就是说其泛化性的本质是什么？ 课程首先引入一个情景： 如果有一个装有很多（数量很大以至于无法通过数数解决）橙色球和绿色球的罐子，我们能不能推断橙色球的比例？ 很明显的思路是利用统计中抽样的方法，既然我们无法穷尽数遍所有罐子中的球，不如随机取出几个球，算出其中两种颜色球的比例去近似得到我们要的答案， 这样真的可以么？我们都知道小概率事件也会发生，假如罐子里面大部分都是橙色球，而我们恰巧取出的都是绿色，这样我们就判断错了，那么到底通过抽样得出的比例能够说明什么呢？似乎两者 不能直接划等号 。 由此，课程中引入了一个非常重要的概念， PAC ，要理解这个，先得理解一个超级重要的不等式： Hoeffding's inequality 这个不等书说明了对于未知的那个概率，我们的抽样概率可以根它足够接近只要抽样的样本够大或者容忍的限制变松

这一节讲述的是机器学习的核心、根本性问题——学习的可行性。学过机器学习的我们都知道，要衡量一个机器学习算法是否具有学习能力，看的不是这个模型在已有的训练数据集上的表现如何，而是这个模型在训练数据外的数据（一般我们称为测试数据）上性能的好坏，我们把这个性能称为泛化能力（generalization ability），机器学习中，我们的目标是寻找高泛化能力的模型；有些模型虽然在训练数据集上分类效果很好，甚至正确率达到100%，但是在测试数据集上效果很差，这样的模型泛化能力很差，这种现象也叫过拟合（Overfitting）。 如果我们能够获取测试数据，我们就可以据此估计一个模型的泛化能力了。可问题是，很多时候，我们只有一个训练集，而额外再获取sample是十分困难的事，例如医学上为一个病人做临床诊断都需要花费大量人力和财力。关于如何估计一个模型的泛化能力，这个我以后 会讲， 而这一节 我主要想讨论一个更有意思的问题，我们能否利用训练误差来估计泛化误差？ 这里，我们把训练误差称作in sample error，即样本内误差，记为$E_{in}=\frac{1}{N}\sum_{i=1}^N I[h(x)\neq f(x)]$，其中$N$为训练集样本数，$h(x)$为假设，$f(x)$为target function。 样本外误差称作out sample error，定义为$E_{out}

Constraint programming https://www.coursera.org/learn/discrete-optimization General introduction Constraint programming is an optimization technique that emerged from the field of artificial intelligence. It is characterized by two key ideas: To express the optimization problem at a high level to reveal its structure and to use constraints to reduce the search space by removing, from the variable domains, values that cannot appear in solutions. Computation paradigm: Use constraint to reduce the set of values that each variable can take. Make a choice when no deduction can be performed. (assign

课程目的 课程一个非常大的特点即 帮助学生在实际应用中变得有经验 ，不仅帮助学生提高学术能力，同时帮助学生学习调整参数的方式，模型的选取等不是特别学术性，而是较为实用的内容 课程在数学和应用的权衡 介于CS229和CS229A之间 ，相比于CS229较偏重工业实践，而又比实践导向的CS229A多了些数学推导 课程模式 课程采取“翻转课堂”的模式，即课程包括现场进行的lecture加上在deeplearning.ai在Coursera上发布的课程专门制作的视频课 课程的大纲： Syllabus of Stanford CS230 现场的lecture可以看b站： 斯坦福CS230 深度学习(Autumn 2018) by Andrew Ng_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili ，是b站的up主搬运油管的视频，但是Coursera的部分没有搬运，只有现场的lecture录像 Coursera上的课程： 神经网络与深度学习 | Coursera ，Coursera把它单独拿出来做了一门课，但其实上应该配套b站的那个lecture一起看， 具体的课程安排请看课程大纲 ，看完一部分Cousera的class modules再看相应的lecture是正确的顺序 Coursera上的课程都有中文字幕，可能速度有些慢，可以去找hosts，挺快的， b站上的lecture只有英文字幕