深度学习

摘要： 在智慧城市的建设中，政府也希望能够使用新技术来提供更好的服务。 最近去公积金中心办理逐月还贷的业务，由于害怕排队时间较长，还没到上班时间就早早排队去了。正当我等待得百无聊赖之时，坐旁边的一位小兄弟对着手机说：转1000块钱给我妈。我看他用手机人脸识别了一把，看样子是转账成功了，开心地继续刷手机。作为一名业内人士，对这位孝顺的小兄弟，我心生感（kui）慨（jiu）之余，立马想到，如果我能对着手机说：帮我办下公积金还贷业务，然后能很快办完，我就可以不用在这等而是去加班奋斗了。很可惜，我的愿望暂时不能实现。 好的消息是，随着目前智慧城市建设的推进，政府也希望能够借助数字化手段，提高政府治理能力，方便市民办理各项业务。这其中，采用语音作为交互方式的新兴应用也逐步出现。事实上，在一些发达国家，也能看到这类应用。比如在推行数字政府的新加坡，可以通过像LifeSG[[1]]这类应用用语音来获取政务服务。在2019年4月份，英国数字政府部门上线语音查询政府公开信息的服务，用户在家可以通过Google Home或者Amazon Alexa智能音箱直接查询 http:// GOV.UK 网站上超过12,000项政府信息，市民可通过语音完成的任务范围逐渐扩大，从“国家最低工资标准”到“我如何申请一个新的护照”等等，并且陆续上线更多的查询服务，比如办理结婚手续的详细过程等[[2]]。

纵观 IT 行业二十多年的发展，开源从黑客的“理想之国”，已经逐渐形成了一股推进计算机及相关行业不断进步的巨大力量。我们使用的计算机、手机、电视，甚至是小小的数码产品中都运行着开源代码。而这一切， 都离不开为开源事业而努力的开发者们。 在拥抱开源的同时，他们需要一个开放、多元且极具成长空间的开源社区，更需要拥有志同道合的伙伴。人多知遇独难求，人负知音独爱酬。在 飞桨 社区里，有这样一群富有热情的英雄，他们本着内心的使命感，从四面八方汇聚到开源社区，并且为社区贡献自己的一份力量，他们就是 飞桨 开发者技术专家（PPDE） 。 飞桨 开发者技术专家（PPDE）计划是 飞桨 开发者的荣誉认证体系，秉持开源理念，面向所有开发者开放，迄今已有100位成员。 自2020年5月20日发布计划以来，他们贡献了 开源项目 500+ ， 模型复现 10+ ， 技文章 250+ ， 技术分享直播及视频 30+ ， 基于 飞桨 的课程 10+ ， 案例80+ …为 飞桨 开源社区发展带来了令人欣喜的活力和能量。 古语有云，世有伯乐，然后有千里马，千里马常有，而伯乐不常有。 在开源社区，比起超级英雄，我们更提倡各有所长的开发者都参与其中。 或许，拥有一双慧眼的你，可以从提名一位PPDE开始。 申请PPDE有什么要求？ 我们期待更多开发者参与其中，希望你心怀开源信仰，对AI富有热情，了解 飞桨 产品技术

1.6 Batch Norm 为什么奏效？ 样本变动（covariate shift）会使得模型的确定变得困难 在不同的mini-batch中，激活函数a可能会变化较大，batch norm可使其更加“归一” Batch Norm具有轻微的“正则化”效应，但这不是其目的，其目的在于加快训练速度 1.7 测试时如何使用Batch Norm？ 测试时，可使用指数加权平均法来计算均值和方差 1.8 Softmax 回归 Softmax可用于多分类，是二分类logistic回归的一般形式 Softmax层的计算 Softmax示例 1.9 训练一个 Softmax 分类器 理解Softmax回归 Softmax回归的损失函数 Softmax的梯度下降 1.10 深度学习框架 1.11 TensorFlow 问题引入 Tensorflow代码示例 来源： oschina 链接： https://my.oschina.net/u/4411837/blog/4944384

了解 完整课程详情 可扫描下方二维码添加顾问老师，备注 【 P anda】 即可咨询 更有盐趣内部学员专属人工智能、计算机视觉讲座回放及参考书资料包现免费领取~ 盐趣计算机方向导师团队由 卡耐基梅隆大学CS教授V.G.与南加州大学CS教授V.A. 领衔，包括近300位博士、博后研究员、教授、科学家等，全部来自英国牛津大学、剑桥大学，美国卡耐基梅隆大学、南加州大学、斯坦福大学、耶鲁大学等世界顶尖院校，囊括 计算机科学、计算机工程、数据科学、机器学习、人工智能、计算机视觉、机器人 等多个热门专业和细分方向，实力雄厚。 部分盐趣计算机方向学员论文录用函 顶会、EI、SCOPUS等（滑动查看更多） 此外，我们还为读者送出了专属福利： 免费1对1科研规划咨询 ，有学术论文、背景提升、升学规划方面的疑问，都可以找他们解决。无论你未来的升学计划如何，希望你都能好好把握寒假这个 弯道超车 的机会！ 长按识别海报中的二维码 添加盐趣学术顾问微信预约 添加微信时请备注： P anda 了解更多课程请咨询学术顾问 本文分享自微信公众号 - GiantPandaCV（BBuf233）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u

过完年，压岁钱到位，迟来的年终奖到账，钱包鼓起来但新的节日也不断跟上，情人节、元宵节、妇女节…… 说到底，还不是要买买买？ 淘宝上的店铺又多又杂乱，一旦买错了， 面临的就是“女 ” 朋友的“果真直男审美 ” 的diss，或者人财两空的局面 接下去，来看看用机器学习技术如何甄别优质店铺，让你买到就是赚到！ 分三步走： 第一步：找到阿里给出的店铺评价历史信息，分为训练集数据和测试集数据； 第二步：利用训练集数据构建机器学习模型； 第三步：使用测试集数据进行准确率判断并优化。 如此便可以建立一个相对科学的靠谱店铺预测模型。 首先，从阿里云天池开一份包含2000家店铺的评分，等级，评论等信息和数年交易记录的数据： 通过这份数据， 我们可以构建一套模型，根据店铺的访问、购买信息等数据，来评测该店铺是否为优质店铺。 一部分数据将用来作为训练集，另一部分数据会用来测试已经训练好模型的精确度。但训练的时候并不是精确度越高越好，过拟合和欠拟合都不是好事情。 欠拟合指模型没有很好地捕捉到数据特征，不能够很好地拟合数据： 过拟合通俗一点地说就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差： 随后，完成了清理整合等预处理工作，得到了一份适合建模使用的样本数据： *完整代码可以在文末获取。考虑这份数据比较粗糙

从零开始，一步一步学习caffe的使用，期间贯穿深度学习和调参的相关知识！ 生成net文件 from caffe import layers as L, params as P def lenet (lmdb, batch_size) : # 以Lenet-5网络搭建为例 n = caffe.NetSpec() # 继承自NetSpec # 创建数据层。数据层类型选用LMDB文件，向上传递两类数据（ntop=2）：图片数据和对应的标签,并归一化到[0,1] n.data, n.label = L.Data(batch_size=batch_size, backend=P.Data.LMDB, source=lmdb, transform_param=dict(scale= 1. / 255 ), ntop= 2 ) #创建卷积层 n.conv1 = L.Convolution(n.data, kernel_size= 5 , num_output= 20 , weight_filler=dict(type= 'xavier' )) #创建池化层 n.pool1 = L.Pooling(n.conv1, kernel_size= 2 , stride= 2 , pool=P.Pooling.MAX) n.conv2 = L.Convolution(n.pool1, kernel

作者 | xulu1352 目前在一家互联网公司从事推荐算法工作 （ 知乎：xulu1352 ） 编辑 | lily 0.前序 Att ention 机制 近年来在NLP领域大放异彩，尤其Bert等模型的走红，使Attention机制获得的关注量大增，那Attention机制应用到推荐领域又是以怎样形式的存在？ 说到这就不得不提阿里的深度兴趣网络(Deep Interest Network, DIN)，这个模型算得上是个经典的推荐系统Attention机制模型了;本文会重点围绕着DIN中Attention机制实现而展开，关于原理部分的解读本文下面只说说概要了，更深层次的解读可以参看文章末附录的文献。 1.Attention机制的思想 Attention机制缘起于人类视觉注意力机制，比如人们在看东西的时候一般会快速扫描全局，根据需求将观察焦点锁定在特定的位置上，是模仿人类注意力而提出的一种解决问题的办法；抽象点说它是一种权重参数的分配机制，目标是协助模型捕捉重要信息。具体一点就是，给定一组<key,value>，以及一个目标（查询）向量query，Attention机制就是通过计算query与各个key的相似性，得到每个key的权重系数，再通过对value加权求和，得到最终attention数值。所以本质上Attention机制是对给定元素的value值进行加权求和

通知：这篇文章有6篇论文速递信息，涉及视觉跟踪、Zero-shot Learning、GAN和人员计数等方向（含2篇CVPR论文） [1]《View Extrapolation of Human Body from a Single Image》 CVPR 2018 Abstract：我们研究如何从单个图像合成人体的新视图。尽管最近基于深度学习的方法对于刚性物体很适用，但它们通常在大型关节的物体（如人体）上失败。现有方法的核心步骤是将可观察的视图与CNN的新视图相匹配;然而，人体丰富的发音模式使得CNN很难记忆和插入数据。为了解决这个问题，我们提出了一种新的基于深度学习的pipeline，明确地估计和利用underlying人体的几何形状。我们的pipeline是一个形状估计网络和一个图像生成网络的组合，并且在接口处应用透视变换来生成像素值传输的正向流。我们的设计能够将数据变化的空间分解出来，并使每一步的学习变得更容易。经验上，我们表明姿态变化对象的性能可以大大提高。我们的方法也可应用于3D传感器捕获的实际数据，并且我们的方法生成的流可用于生成高分辨率的高质量结果。 arXiv： https://arxiv.org/abs/1804.04213 视觉跟踪 [2]《VITAL: Visual Tracking via Adversarial Learning》 CVPR 2018

通知：这篇文章有8篇论文速递信息，涉及目标识别、SLAM、3D Model、密集点集配准、立体匹配等方向（含6篇CVPR论文） 目标识别 [1]《Hierarchical Novelty Detection for Visual Object Recognition》 CVPR 2018 Abstract：深度神经网络在具有预定义类别的大规模视觉对象识别任务中取得了令人瞩目的成功。然而，在训练期间识别新类（即未被看见的对象）仍然具有挑战性。在文献中已经讨论了检测这种新类的问题，但是之前大多数工作都是提供简单的二元或回归决策，例如，输出将是“已知的”，“新颖的”或相应的置信区间。在本文中，我们研究更多的基于分层分类框架的信息新颖性检测方案。对于一个新类的对象，我们的目标是在已知类的分层分类中找到它最接近的超类。为此，我们提出了两种不同的方法，称为自顶向下和扁平化方法，以及它们的组合。我们方法的基本组成部分是置信度校正分类器，数据重新标记以及在分层分类法下对新类进行建模的“一次退出”策略。此外，我们的方法可以生成分层嵌入，结合其他常用的语义嵌入，可以提高广义零点学习性能。 arXiv： https://arxiv.org/abs/1804.00722 SLAM [2]《CodeSLAM - Learning a Compact, Optimisable Representation

通知：这篇文章有10篇论文速递信息，涉及Re-ID、深度估计、超分辨率、显著性检测、GAN、VOA和卷积神经网络综述等方向 往期回顾 [计算机视觉论文速递] 2018-03-30 TensorFlow和深度学习入门教程 你现在应该阅读的7本最好的深度学习书籍 Re-ID [1]《Pose-Driven Deep Models for Person Re-Identification》 Abstract：行人重识别（re-id）是识别和匹配不重叠视图的摄像机记录的不同位置人员的任务。re-id的主要挑战之一是人物姿态和摄像机角度的巨大差异，因为它们都不会受re-id系统的影响。在这项工作中，介绍了一种有效的方法来将粗略的相机视图信息和细粒度姿态信息整合到用于学习区分性重新嵌入的卷积神经网络（CNN）模型中。在最近的工作中，姿势信息或者在重新识别系统内被明确地建模，或者明确地用于预处理，例如通过姿势规范化人员图像。相反，所提出的方法表明，将相机视图以及检测到的身体关节位置直接用于标准CNN可以用于显著提高所学习的re-id嵌入的鲁棒性。在四个具有挑战性的监控和视频重新标识数据集上，已经实现了对当前技术水平的重大改进。此外，引入了MARS数据集的一种新的重新排序，称为X-MARS，以允许在轨迹数据上进行针对单图像重新识别训练的模型的交叉验证。 arXiv： https://arxiv