神经网络

开发者社区技术周刊又和大家见面了，让我们一起看看，过去一周有哪些值得我们开发者关注的重要新闻吧。 一分钟速览 中科院计算所率先提出全球首款图神经网络加速芯片设计 IDC发布2021年中国云计算10大预测 世界物联网大会：中国物联网产值占全球 1/4，5G 用户占全球 85% Docker 桌面为 M1 推出技术预览版 台积电、斯坦福等联手开发碳纳米管晶体管新工艺，性能逼近硅元件 IBM着手破解FHE,在隐私和云计算的未来上具有巨大的潜力 AAAI 2021 | 天津大学、苏州科技大学等探究用于终身学习的多领域多任务预演 使用策略搜索计划来改进连续领域的深度强化学习的探索 技 术 要 闻 Industry News 1， 中科院计算所率先提出全球首款图神经网络加速芯片设计 《中国计算机学会通讯》(CCCF)近日刊发了中科院计算所特别研究助理严明玉、研究员范东睿以及研究员叶笑春共同撰写的综述文章《图神经网络加速芯片：人工智能“认知智能”阶段起飞的推进剂》。文章披露，该团队提出了图神经网络加速芯片设计“HyGCN”，图神经网络被认为有望解决深度学习无法处理的关系推理、可解释性等一系列问题，让机器「能理解、会思考」。相关论文也先后在计算机体系结构国际会议上发表。严明玉在受访时说，图神经网络在搜索、推荐、风险控制等重要领域有着广泛应用。现有的处理器芯片在执行图神经网络的计算中效率低下

在全国抵御新冠疫情获得重大成果之际，新基建发展得热火朝天，获得了各领域，尤其是产品及服务提供商的激烈讨论和积极参与。那么，在新基建之后是什么呢？自然是作为上层建筑的智慧城市。回首过往几年，“智慧城市”方兴未艾，“城市大脑”又异军突起，大有引导智慧城市建设潮流的趋势。但是，琳琅满目的“城市大脑”之间、各种“城市大脑”与现有的智慧城市系统之间的协同依然存在许多的问题：系统割裂、数据鸿沟、建设和运维资金短缺、市场的激烈竞争、良莠不齐的解决方案等都牵制着行业的发展。本文从“脑体协调”、“标准统筹”和“产能输出”等多个层面讨论了借力新基建构建“城市大脑”，推进新型智慧城市建设层面的若干思考，供政府决策部门和有关研究机构、市场主体参考。 1、以“大脑”引导“肌体”，全局统筹发展 过往的智慧城市建设，通常是按照业务领域的不同，分别由不同部门领头推进，如智慧交通、智慧医疗和智慧城管等。这就出现了“九龙治水”的现象。很多人的观念是“我的事你少管”、“你的事我也不想掺和”，相互不搭理。在智慧城市的发展初期，我国的城市化程度较低，城市面积和人口规模没现在这么大，普通百姓追求美好生活的心情也没现在那么迫切，社会治理任务也没现在这么沉重。因此 ，对城市进行简单的条块化管理就基本上能满足大家的需求，这种系统隔离的现象并没有太大的不妥。 但在强调社会协同治理、实现城市治理体系和治理能力现代化的当下，“九龙治水

如果你有非常大的决心从事深度学习，又不想在这一行打酱油，那么研读大牛论文将是不可避免的一步。而作为新人，你的第一个问题或许是：“ 论文那么多，从哪一篇读起？” 本文将试图解决这个问题——文章标题本来是：“从入门到绝望，无止境的深度学习论文”。请诸位备好道具，开启头悬梁锥刺股的学霸姿势。 开个玩笑。 但对非科班出身的开发者而言，读论文的确可以成为一件很痛苦的事。但好消息来了——为避免初学者陷入迷途苦海，昵称为 songrotek 的学霸在 GitHub 发布了他整理的深度学习路线图， 分门别类梳理了新入门者最需要学习的 DL 论文，又按重要程度给每篇论文打上星星。 截至目前，这份 DL 论文路线图已在 GitHub 收获了近万颗星星好评，人气极高。雷锋网感到非常有必要对大家进行介绍。 闲话少说，该路线图根据以下四项原则而组织： 从大纲到细节 从经典到前沿 从一般到具体领域 关注最新研究突破 作者注：有许多论文很新但非常值得一读。 1 深度学习历史和基础 1.0 书籍 █[0] Bengio, Yoshua, Ian J. Goodfellow, and Aaron Courville. "Deep learning ." An MIT Press book. (2015). [pdf] (Ian Goodfellow 等大牛所著的教科书，乃深度学习圣经

MultiBox 算法背景 MultiBox之前所有的检测算法都是使用传统方法来提取候选框，而MultiBox则是使用了神经网络来提取候选框，并且MultiBox的loss函数很好的解决了定位和分类的loss分配问题，并且提出了prior的思想。 MultiBox结构 候选框生成 作者使用了两个alexnet来组成整个网络，其中一个alexnet用来做候选框的回归，另一个则负责分类。 下面来讲一下用来做候选框回归的alexnet。首先alex会生成k个框，原论文中k=100，其中每个框的格式为： 其中x1，y1为左上角的点，x2，y2为右下角的点，c为置信度，取值范围为0到1，置信度为前景对背景的概率，作者在使用的时候，会将生成的k=100个框按置信度进行排序，只取前10个使用，如果想要速度更快可以使用nms进行筛选。 分类 作者使用1000万个iou>0.5的正样本和2000万个iou<0.2的负样本（背景） 损失函数 优化定位框： Li是预测框，gj是真是框，Xij取值为0或者1，表示当前预测框是否命中待预测目标，并且Xij对i的求和必定为1，例如100个预测框只有一个框是匹配的， 优化置信度： 使用的为二值交叉熵损失函数 损失函数： alpha的值作者在论文中取得是0.3，用来平衡置信度和边界框回归的值 来源： oschina 链接： https://my.oschina

来源：IEEE电气电子工程师 Gif: DeepMind Two examples of protein targets in the free modelling category. 任何人工智能的成功实施都依赖于以正确的方式提出正确的问题。这就是英国人工智能公司DeepMind（Alphabet的子公司）在利用其神经网络解决生物学的重大挑战之一蛋白质折叠（protein-folding）问题时所取得的成就。它的神经网络被称为AlphaFold，能够根据蛋白质的氨基酸序列以前所未有的准确度预测蛋白质的三维结构。 AlphaFold在蛋白质结构预测的第14个临界评估（14th Critical Assessment of protein Structure Prediction，CASP14）中的预测对于大多数蛋白质来说都精确到一个原子的宽度之内。竞争包括盲目地预测蛋白质的结构，这些蛋白质是最近才被实验确定的，还有一些尚待确定。 蛋白质被称为生命的组成部分，由20种不同的氨基酸以不同的组合和序列组成。蛋白质的生物学功能与其三维结构密切相关。因此，对最终折叠形状的了解对于理解特定蛋白质是如何工作的至关重要，例如它们如何与其他生物分子相互作用，如何控制或调整，等等。欧洲生物信息学研究所（European Bioinformatics Institute）荣誉主任Janet M.

摘要 　　 由于其对高维视觉特征进行编码的有效性，乘积量化已被广泛用于快速图像检索。 通过将硬分配扩展到软分配，我们可以将乘积量化作为卷积神经网络的一层进行合并，并提出我们的乘积量化网络。 同时，我们提出了一种新的非对称triplet损失，它有效地提高了基于非对称相似性的所提出的乘积量化网络的检索精度。 通过所提出的乘积量化网络，我们可以以端到端的方式获得辨别和紧凑的图像表示，这进一步实现了快速和准确的图像检索。 在公共基准数据集上进行的综合实验证明了所提出的乘积量化网络的最新性能。 简介 　　 在本文中，我们还尝试将乘积量化结合到神经网络中，并以端到端的方式对其进行训练。我们提出了一种可微分的软乘积量化层，当α→∞时，原始乘积量化是所提出的软乘积量化的特例。与DPQ不同，我们不再需要完全连接的层来获得码本分配，相反，在我们的方法中，码字分配由原始特征和码字之间的相似性确定。因此，与DPQ相比，我们显着减少了要训练的参数数量，使我们的PQN对过度拟合更具免疫力。同时，受到度量学习中triplet loss 的成功以及特征压缩中非对称相似性度量的成功的启发，我们提出了一种新的非对称三元组损耗，以端到端的方式直接优化非对称相似性度量。总之，我们的工作贡献有三方面： 　　- 我们介绍了一种新颖的软乘积量化层，它是原始乘积量化的一般化版本。 它是可微分的，因此带来了乘积量化网络的端到端训练

前段时间，小伙伴多次在后台留言询问 Python爬虫教程 的问题。经过这两个多月以来的收集与整理，汇集了 多个高校以及公开课视频教程 ，包括 python爬虫的入门、进阶与实践，共9G左右 。爬虫作为机器学习语料库构建的主要方式，建议大家都了解学习一下，现在不用并不代表将来用不到， 建议将视频资源收藏或保存 。 《 9G 爬虫视频教程 》已经打包好，可以通过下述步骤来获取： 1.扫描下方二维码 2. 回复关键词： 爬虫教程 👆长按上方二维码 2 秒 回复「 爬虫教程 」即可获取资料 另外 ，还有一份图文并茂的机器学习笔记送给你： 520页《图解机器学习》 ， 以浅显易懂的方式去讲解它，降低大家的学习门槛 。我为此花费了数月时间，经常做到深夜，把自己的学习笔记整理成了这份教程。 既适合非专业人士了解有关机器学习的基础概念，又适合有专业背景的学生进一步学习。 《 图解机器学习 》PDF已经打包好，可以通过下述步骤来获取： 1.扫描下方二维码 2. 回复关键词： 机器学习 👆长按上方二维码 2 秒 回复「 机器学习 」即可获取资料 从结构来看，全部教程包含两部分： Part 1 介绍了基本概念，包括： 机器学习的流程 数据处理 建模 评估指标（如 MSE、ROC 曲线） 模型部署 过度拟合 正则化等 在 Part2，作者介绍了 常用的算法，包括： 线性回归 逻辑回归 神经网络 SVM

先简单理解一下卷积这个东西。 （以下转自https://blog.csdn.net/bitcarmanlee/article/details/54729807 知乎是个好东西） 1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。 这个其实非常简单的概念，国内的大多数教材却没有讲透。 直接看图，不信看不懂。以离散信号为例，连续信号同理。 已知x[0] = a, x[1] = b, x[2]=c 已知y[0] = i, y[1] = j, y[2]=k 下面通过演示求x[n] * y[n]的过程，揭示卷积的物理意义。 第一步，x[n]乘以y[0]并平移到位置0： 第二步，x[n]乘以y[1]并平移到位置1 第三步，x[n]乘以y[2]并平移到位置2： 最后，把上面三个图叠加，就得到了x[n] * y[n]： 简单吧？无非是平移（没有反褶！）、叠加。 从这里，可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。 重复一遍，这就是卷积的意义：加权叠加。 对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应 加权叠加，就直接得到了输出信号。 通俗的说：

ICML 2017大热论文：Wasserstein GAN | 经典论文复现 作者：文永明 学校 ：中山大学 方向： 机器人视觉 尊重原创作品，转载请注明来处： https://www.cnblogs.com/ManWingming/p/11502938.html 最近笔者复现了 Wasserstein GAN ，简称 WGAN。 Wasserstein GAN 这篇论文来自 Martin Arjovsky 等人，发表于 2017 年 1 月。 论文作者用了两篇论文来阐述 Goodfellow 提出的原始 GAN 所存在的问题，第一篇是 WGAN 前作 Towards Principled Methods for Training Generative Adversarial Networks ，从根本上分析 GAN 存在的问题。随后，作者又在 Wasserstein GAN 中引入了 Wasserstein 距离，提出改进的方向，并且给出了改进的算法实现流程。 原始GAN存在的问题 原始的 GAN 很难训练，训练过程通常是启发式的，需要精心设计的网络架构，不具有通用性，并且生成器和判别器的 loss 无法指示训练进程，还存在生成样本缺乏多样性等问题。 在 WGAN 前作中，论文作者分析出原始 GAN 两种形式各自存在的问题， 其中一种形式等价于在最优判别器下

吴恩达《构建机器学习项目》精炼笔记（2）-- 机器学习策略（下） 1 Carrying Out Error Analysis 对已经建立的机器学习模型进行错误分析（error analysis）十分必要，而且有针对性地、正确地进行error analysis更加重要。 举个例子，猫类识别问题，已经建立的模型的错误率为10%。为了提高正确率，我们发现该模型会将一些狗类图片错误分类成猫。一种常规解决办法是扩大狗类样本，增强模型对够类（负样本）的训练。但是，这一过程可能会花费几个月的时间，耗费这么大的时间成本到底是否值得呢？也就是说扩大狗类样本，重新训练模型，对提高模型准确率到底有多大作用？这时候我们就需要进行error analysis，帮助我们做出判断。 方法很简单，我们可以从分类错误的样本中统计出狗类的样本数量。根据狗类样本所占的比重，判断这一问题的重要性。假如狗类样本所占比重仅为5%，即时我们花费几个月的时间扩大狗类样本，提升模型对其识别率，改进后的模型错误率最多只会降低到9.5%。相比之前的10%，并没有显著改善。我们把这种性能限制称为ceiling on performance。相反，假如错误样本中狗类所占比重为50%，那么改进后的模型错误率有望降低到5%，性能改善很大。因此，值得去花费更多的时间扩大狗类样本。 这种error analysis虽然简单