深度学习 | 易学教程

卷积神经网络（CNN）之一维卷积、二维卷积、三维卷积详解

阅读更多关于卷积神经网络（CNN）之一维卷积、二维卷积、三维卷积详解

作者：szx_spark 由于计算机视觉的大红大紫，二维卷积的用处范围最广。因此本文首先介绍二维卷积，之后再介绍一维卷积与三维卷积的具体流程，并描述其各自的具体应用。 1. 二维卷积图中的输入的数据维度为$14\times 14$，过滤器大小为$5\times 5$，二者做卷积，输出的数据维度为$10\times 10$（$14-5+1=10$）。如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（CNN）（上）。上述内容没有引入channel的概念，也可以说channel的数量为1。如果将二维卷积中输入的channel的数量变为3，即输入的数据维度变为（$14\times 14\times 3$）。由于卷积操作中过滤器的channel数量必须与输入数据的channel数量相同，过滤器大小也变为$5\times 5\times 3$。在卷积的过程中，过滤器与数据在channel方向分别卷积，之后将卷积后的数值相加，即执行$10\times 10$次3个数值相加的操作，最终输出的数据维度为$10\times 10$。以上都是在过滤器数量为1的情况下所进行的讨论。如果将过滤器的数量增加至16，即16个大小为$10\times 10\times 3$的过滤器，最终输出的数据维度就变为$10\times 10

Adam与SGD

阅读更多关于 Adam与SGD

本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。原文链接：小象（一）一个框架看懂优化算法机器学习界有一群炼丹师，他们每天的日常是：拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有 AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者 Nesterov，还经常会黑一下Adam。比如 UC Berkeley 的一篇论文就在 Conclusion 中写道： Despite the fact that our experimental evidence demonstrates that adaptive methods are not advantageous for machine learning, the Adam algorithm remains

【杂谈】从CV小白到人脸表情识别专栏作者，我与有三AI的故事

阅读更多关于【杂谈】从CV小白到人脸表情识别专栏作者，我与有三AI的故事

各位有三AI的读者朋友大家好呀~我是刚刚更新完结的【人脸表情识别】专栏的作者，一名仍然在读的研究生。在分享完我的专栏内容后，分享一下我这枚CV小白与有三 AI 的故事。认识有三AI 我本科的专业是软件工程，因此较早的时候就开始追随学院中兴起人工智能“潮流”，申报了一个动作识别相关的课题项目。而凭借着静茹姐给我的勇气，对AI，对CV一无所知的我，开始了从零开始的探索道路。那个时候，身边没什么人带，跟几个小伙伴找很多资料，走了很多很多的坑。印象特别深的就是，看了很多知乎的回答，跑去看西瓜书、花书等“神书”。当然，这里并非想说西瓜书等不好，相反当你接触越多AI的知识，这些“殿堂级别”的书籍肯定能让你更上一层台阶。但是，我作为一个小白，看完之后还是不！会！敲！代！码！呀！！！（更别说里面的内容也只是看得似懂非懂）当然之后，还是一步一步完成了项目，实际效果嘛，因为是懵懵懂懂做出来的，就很一般。快毕业的时候，因为需要结题、写小论文、写毕业论文，所以又重新向当年一样找资料，这个时候去看知乎的时候，就看到很多有三AI的回答，也看到了有三AI写的相关综述（【技术综述】视频分类/行为识别研究综述，从数据集到方法），不过当时并未深入了解，只是在脑海里留下，有三AI是个回答得不错，写综述写得很好的个人/媒体，这算是我对有三AI最初的了解跟接触。从深入了解到成为专栏作者成为研究生之后

金三银四，数据分析跳槽加薪需要真本事

阅读更多关于金三银四，数据分析跳槽加薪需要真本事

数据分析师岗位前景大好，很多人光靠这个当兼职，都能月收过万，所以学习数据分析肯定是“赶早不赶晚”。我用我的一段亲身经历告诉大家，“ 跳槽大厂数分岗位，到底需要准备什么？ ” 之前我简历里带了一个数据分析实战经验，项目不大不小，本来是想用来美化简历，最后成了让我斩获大厂offer的关键。相比之下我朋友就没那么幸运，他信心满满准备了3个自以为很全面的demo，没想到在初面就下车了，他还跟我诉苦，想想之前花了两个月时间来准备，最后成了一场空。（这就好比谈恋爱，你谈过3个女朋友，但每个都是不适合自己，最后时间和经历都耗费了，却只能眼睁睁看着别人幸福的步入婚姻殿堂）后来我给他找了一套自学数据分析和跳槽大厂数分岗位必备的直播课 —— 网易云课堂推出的《3天数据分析实战训练营》在这三节课里，网易特邀数据架构讲师——“证书狂魔”Mars老师，通过直播现场教学和实战的同时，开放互动参与学习。（深度学习DeepLearning.ai实验室认证）（微软/甲骨文/Cloudera等公司颁发的数据分析证书）不仅所有的问题都有解答，而且还能跟随直播参与实战，从而锻炼量化交易能力，快速学习数据可视化，迅速提升数据分析能力。带你少走弯路，真正实现从入门到大神！ 3天数据分析量化实战营直播主题 Day1 20:00 & 数据可视化入门： 60分钟

机器学习 Coursera Note

阅读更多关于机器学习 Coursera Note

系列笔记机器学习Coursera By Andrew Ng 机器学习笔记，质量高，有一些补充公式的推导。作者博客还包含有其他课程的笔记机器学习与深度学习（包括吴恩达和CS231的笔记）吴恩达机器学习系列作业目录给出了课后作业的Python代码实现，实现过程中有讲解吴恩达2014机器学习教程笔记目录文字内容全，基本全部翻译，目录结构完整。但是图像不能显示。 http://wangxin123.com/ 作者的其他文章专题部分大叔学ML第四：线性回归正则化（给出了正则化正规方程方法的推导）来源： oschina 链接： https://my.oschina.net/u/4353169/blog/3612829

百度算法提前批面试复盘

阅读更多关于百度算法提前批面试复盘

作者 | liu_sy 来源 | 见文末『阅读原文』处整理 | NewBeeNLP公众号面试锦囊之面经分享系列，持续更新中欢迎后台回复" 面试 "加入讨论组交流噢文末也有内推，需要的同学自取哈写在前面之前通过非定向内推提前批，简历一直处于筛选状态中，然后大概在8.18在牛客看到一个前辈所在部门（推荐搜索）招人，就把简历发给了前辈，然后隔了两三天就通知了面试。一面（8.21 46分钟）自我介绍在广告算法比赛中，是如何构建特征的，以及如何识别哪些特征是重要的 word2vector 原理 lstm中的attention是怎么操作的梯度消失及解决方法 BN的作用手撕代码：链表相加（leetcode第二题）。需要注意的是最好提前练习如何写链表的示例，因为我们刷题只用写个函数二面（8.24 60分钟左右）自我介绍提问项目和广告比赛，问了一些深度学习基础和机器学习基础神经网络初始化方法。我回答了随机初始化和He初始化。面试官问我随机初始化有什么问题，He初始化解决了什么问题 BN的原理和作用。这里我的回答面试官提出了很多很多疑问，因为网上关于BN的解释也是说法不一，比如说一种常见说法是BN解决了 Internal Covariate Shift，但是他用sigmoid举例，那现在基本都用relu,relu大于0的时候，梯度都为1，也有这种问题吗

gradient-descent

阅读更多关于 gradient-descent

http://ruder.io/optimizing-gradient-descent/ https://www.quora.com/Whats-the-difference-between-gradient-descent-and-stochastic-gradient-descent https://en.wikipedia.org/wiki/Stochastic_gradient_descent https://zh.coursera.org/learn/deep-neural-network/lecture/lBXu8/understanding-mini-batch-gradient-descent https://zh.coursera.org/learn/deep-neural-network/lecture/qcogH/mini-batch-gradient-descent https://am207.github.io/2017/wiki/gradientdescent.html http://leon.bottou.org/publications/pdf/online-1998.pdf References Sutton, R. S. (1986). Two problems with backpropagation and other steepest

HTML|网页背景

阅读更多关于 HTML|网页背景

本文首发于微信公众号： "算法与编程之美"，欢迎关注，及时了解更多此系列文章。问题描述我们往往在网页中会加一些背景颜色和背景图像让网页美观，吸引浏览者的眼球。那么我们如何加入背景，有些什么标签？有哪些注意事项呢？解决方案需要了解关于背景的标签，学会用这些标签。要注意排版搭配。背景颜色和图片的标签不一样。（1）背景颜色 <body bgcolor=“ ”>是定义全文背景颜色的。 <style=”color: ”>是定义文字颜色的 <th bgcolor=””>是定义表格单元颜色的图1 图2 （2）背景图像加入背景图像有两种方法：绝对地址：直接在标签中加入你在网上找到图片的路径。相对地址：将图片保存然后在标签中加入你保存图片的名称路径。图3 图4 结语熟练掌握背景的标签<bgcolor>,<background>，背景图像要输入正确的路径。参考文献（1）W3教程（2）百度实习编辑：王文星稿件来源：深度学习与文旅应用实验室（DLETA）本文分享自微信公众号 - 算法与编程之美（algo_coding）。如有侵权，请联系 support@oschina.cn 删除。本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。来源： oschina 链接： https://my.oschina.net/gschen/blog/4951391

深度学习调参技巧

阅读更多关于深度学习调参技巧

1. 前言我们在学习人工智能的时候，不管是机器学习还是深度学习都需要经历一个调参的过程，参数的好坏直接影响这模型效果的好坏。今天我们介绍下在深度学习中，调参的技巧主要分为哪些。 2. 深度学习中的主要参数学习率（learning rate）：学习率的取值一般是1、0.1、0.01、0.001等，我的建议是学习率从大到小，因为大的学习率运算的快，验证错误的速度快。并且我们的学习的过程一般通过Adam进行动态调整，基本问题不大。网络层数：先从1层开始。每层结点数：16，32，128，超过1000的情况比较少见。 batch size: 128左右开始。batch取太大会陷入局部最小值，batch取太小会抖动厉害，因此要选择一个合适的batch size。梯度裁剪: 限制最大梯度，如果梯度超过了阈值就进行截断。 dropout：在训练的时候可以设置一定的dropout，提升网络的健壮性，也能提升网络的计算速度。词向量embedding大小：embedding的大小一般是128和256。正负样本比例：这个是非常忽视，但是在很多分类问题上，又非常重要的参数。很多人往往习惯使用训练数据中默认的正负类别比例，当训练数据非常不平衡的时候，模型很有可能会偏向数目较大的类别，从而影响最终训练结果。除了尝试训练数据默认的正负类别比例之外，建议对数目较小的样本做过采样，例如进行复制