神经网络

近期流行的生成模型 本次介绍近期大火的三大类生成模型，这三大类模型从三个不同角度切入，居然都能有惊人的效果。而且深入挖掘发现它们有很多相似的地方。 1. Generative Adversarial Nets 生成对抗网络(GANs)是当今最火的生成模型，从2014年 Goodfellow 论文发表开始，其引用量已是4000+了。而且GANs家族人丁兴旺，从最原始的GANs开始，家族明星是一个接一个，如cGAN, DCGAN, WGAN,WGAN-GP,LSGAN,BEGAN,infoGAN,seqGAN,cycle-GAN,star-GAN等等，每一个出来都是一个新闻。 GANs的火热最直接的原因，其原理直观，可解释。生成模型的目的常常是为得到数据X的分布p(X)。而常常我们对数据的分布一无所知，甚至很多数据分布是没有解析式的。GANs来求解p(X)时，走了一条不同寻常的路。GANs采用对抗的方式来学习，或者说是模仿(mimic)的方式来学习。GANs有个生成器(G)，它的目的是生成可以以假乱真的数据，为了更好的训练G，GANs引入一个判别器(D)，它的工作是当一个样本经过它之后，它能判别出样本是真实的数据样本还是生成器生成的样本，即它输入一个值来代表样本为真的程度。正如原文的例子一样，G相当于一个假币制造者，而D 是警察。就在这个互相对抗中，G生成的样本越来越像直实数据

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 前言 图像/视频拼接的主要目的是为了解决相机视野（FOV-Field Of View）限制，生成更宽的FOV图像/视频场景。视频拼接在体育直播、全景显示、数字娱乐、视频处理中都被广泛应用，同时视频/图像拼接涉及到矫正图像、对其与匹配图像、融合、统一光照、无缝连接、多尺度重建等各个图像算法模型与细节处理，可以说是图像处理技术的综合运用。特别是最近几年收到深度学习的影响，各种基于深度学习的图像对齐与拼接技术也取得了长足发展。 01 图像拼接流程 图像拼接流程主要是针对输入系列视频帧或者图像，基于像素像素或者特征点相似然后对齐图像、融合对齐之后的图像，更新全景图像拼接结果，图示如下： 最常见就是基于SIFT/SURF/OBR/AKAZE等方法实现特征提取，基于RANSAC等方法实现对齐，基于图像融合或者无缝克隆算法实现对齐图像的拼接。 针对不同的拼接方式可以分为图像拼接、视频拼接、全景拼接。针对图像拼接可以分为像素相似与特征相似；视频拼接又分为固定相机、移动相机；全景拼接分为单相机、相机列阵、鱼眼相机列阵。图示如下： 02 深度学习方法 通过卷积神经网络CNN可以更好的学习与提取图像特征、通过语义分割获取初始匹配、然后对齐，图示如下： 其中IA与IB是输入图像，CNN是预训练的特征提取网络模型

目前，作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉、分类等领域上，都取得了当前最好的效果。 后来，基于深度神经网络和搜索树的智能机器人“AlphaGo”在围棋上击败了人类，这是CNN 给人们的一个大大的惊喜。一年后的 Master 则更是完虐了所有人类围棋高手，达到神一般的境界，人类棋手毫无胜机。 可以说，卷积神经网络是深度学习算法应用最成功的领域之一。 目前，CNN应用也十分广泛。例如Facebook用它进行自动的图像标签，google用它做照片检索，amazon用它做产品推荐，Pinterest用它做个性化家庭定制推送，Instagram用它搭建他们的搜索架构。 那么，基于CNN最经典也是最流行的应用应当是图像处理领域。 而研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不可缺。 今天，给大家推荐一些资料，有 论文、知识图谱。 7份经典学术论文 这些论文大部分都发表在计算机视觉顶级学术会议上。 这7份论文资料，100p以上的内容体量。 建议收藏学习。 01 resnet 02 CNN 03 batchnorm 04 alexnet 05 visualzing 06 resnet 07 yolo4 目前， 2000+ 的看过这个论文资料的同学都顺利成为各公司算法工程师。大家扫码添即可领取

“ 原作者 ：计算机的潜意识 重新排版 ：「曲水流觞TechRill 」 , 转载请同时注明两个出处。 全文 ：18K字，阅读需约1小时。 原文： https://www.cnblogs.com/subconscious/p/4107357.html ” 在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一： 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻 这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性

↑↑↑点击上方 蓝字 ，回复 资料 ，10个G的惊喜 作者：蛋酱、小舟，编辑：机器之心 神经网络画图神器 ML Visuals 正在持续更新。 去年 5 月，机器之心曾向大家推荐一款名为 ML Visuals 的机器学习画图模板，该项目受到广泛关注，迄今已收获 2.2K Star。ML Visuals 专为解决神经网络画图问题设计，最近，这一模板进行了更新。（ 文末附PPT下载链接 ） 项目地址：https://github.com/dair-ai/ml-visuals ML Visuals 现在包含了 100 多个可用的自定义图形，使用者可以在任何论文、博客、PPT 中使用这些资源。 这份 101 页的模板共包含几个部分： 基础组件 架构 机器学习概念 抽象背景 渐变背景 机器学习 & 健康 其他 机器学习系统设计 基础组件 这套画图模板首先提供了多种基础组件，比如表示过程、操作或转换的圆角矩形，表示神经元或任意操作的小圆圈，表示向量的一排小方块以及表示多维数组的网格等。 架构 架构部分的模板数量最多，共有 32 张。对于复杂的模型架构来说，套模板显然事半功倍，比亲手画图要便捷得多。 比如，画出卷积操作的示意图： 使用该模板重现一些经典架构也是得心应手，比如下图是使用该模板绘制的 Transformer 架构图： 机器学习概念 该模板还可以用来表示机器学习中的一些基本概念，比如

有人说，马赛克的发明，就是人类文明史上一次重大的“开倒车”。 也有人说，马赛克就是阻碍人类进步的绊脚石。 从功能上讲，马赛克是一种用来遮盖原画面的手段，有利也有弊。 从技术上讲，马赛克的原理是将某一个像素的颜色涂抹到整个范围而造成原画信息丢失。所以，这个过程是不可逆的。 在个人隐私极其容易泄露的网络时代，大家可能都会使用马赛克来遮盖图片上的敏感信息。 比如身份证号、姓名、地址，用马赛克掩盖后，就能有效达到保护信息安全的目的。 但同样的，在影视漫画作品中，每当出现儿童不宜或者血腥暴力的场景，都极有可能伴随着厚重的马赛克。 就算是正儿八经的画面，只要带上马赛克，画风就会变得奇奇怪怪起来。 虽然老司机门早就练成“心中无码自然高清”的最高境界。但有码观影，始终如同隔靴搔痒，如鲠在喉。 俗话说的好，XX是第一科技生产力。有人每天研究如何打码，自然也有人专注于如何去码。 虽然最近几年海内外也频繁传出能去除马赛克的软件，但要么是半成品，要么就是骗子钓鱼软件。 而Github上，却有这么一位默默无闻的程序员，真的用深度神经网络开发出了 一个能抹去马赛克让原图重现的神奇程序：DeepCreamPy 。 据说当时该软件被上传分享后，短短几天时间就有5千多次下载。 别的不多说，先来看看它的去码效果。 从开发者放出的这两张对比图来看，还原度还是相当可以的。 图片中的动漫少女的脸颊和肩颈

作者 Hongyi Zhang 张宏毅 @ 张宏毅知乎 北大->MIT 论文所属FAIR Abstract 深度神经网络有些不好的行为：强记忆和对对抗样本敏感 Christian Szegedy 等人在ICLR2014发表的 论文 中，他们提出了对抗样本（Adversarial examples）的概念，即在数据集中通过故意添加细微的干扰所形成的输入样本，受干扰之后的输入导致模型以高置信度给出一个错误的输出。在他们的论文中，他们发现包括卷积神经网络（Convolutional Neural Network, CNN）在内的深度学习模型对于对抗样本都具有极高的脆弱性。 提出了mixup这个方法来减轻这些问题， mixup是在样本对以及标签对的凸组合上进行训练。 在ImageNet2012,CIFAR10/100,UCI,Google commands都取得了更好的结果，也就是说提高了当前最好的网络模型的泛化性能 Introduction 神经网络有两个共性： 使用ERM(最小化所有训练数据的平均误差) + 对应不同数据集的最优模型的大小(参数量表示)和数据集数据量是同步线性增长关系 Vapnik & Chervonenkis, 1971 经典的学习理论： ERM的收敛性可以得到保证，只要模型的大小(参数量或者 VC复杂度 )不睡训练数据的增长而增长 这与上面的现象矛盾

目录 一.开源神经网络(AlexNet) 1.获取数据集 2.神经网络模型 3.训练神经网络 4.对模型进行预测 二、花卉识别系统搭建（flask） 1.构建页面： 2.调用神经网络模型 3.系统识别结果 4.启动系统： 三、总结 为什么会弄这个花卉识别系统？ 这学期修了一门机器视觉的选修课，课设要是弄一个花卉识别的神经网络，所以我网上找了开源代码进行了修改，最后成功跑起来，结果只有一个准确率（94%） 既然都跑了这个神经网络的代码，那么干脆就把这个 神经网络真正的使用起来 ，为此我继续写代码，把这个神经网络弄成一个可视化界面（ 花卉识别系统 ） 一.开源神经网络(AlexNet) 1.获取数据集 使用步骤如下： * （1）在data_set文件夹下创建新文件夹"flower_data" * （2）点击链接下载花分类数据集http://download.tensorflow.org/example_images/flower_photos.tgz * （3）解压数据集到flower_data文件夹下 * （4）执行"split_data.py"脚本自动将数据集划分成训练集train和验证集val split_data.py import os from shutil import copy, rmtree import random def mk_file (file_path:

问题来源: fpga配置时的管脚状态 关于这个问题，好像网络上面有很多人问，但是eetop这个话题不多。大多数的回答是：配置的时候所有的管脚默认是Z态。这个说法到底对不对呢？ 下面我谈谈自己使用的几款新品的情况。项目背景：开关信号发射机。初始状态要求IO信号都是低电平，来自控制DSP的发射控制信号触发IO开关信号的产生。上电的时候不能有高电平，否则引起发射机状态不稳，会产生问题。 （1）VirtexII1000 设作IO的信号在上电配置的过程中用示波器测量时高电平，大约在90ms左右，和配置时间基本一致。在管脚配置栏设置 pull-down后，这个现象消失。未使用管脚没有这个现象。未使用管脚的处理是float。 （2）virtex5-xc5vsx50t 设作IO的信号在上电配置的过程中发现有和配置时间基本一致的一段大约在0.2V左右的凸起。基本可以认为是没有信号。管脚配置没有做特殊设置。 （3）EP3C25的fpga，在配置的时候，能够发现编程应用的IO脚和未使用的管脚都有大约300ms左右的(EPCS16)高电平。和配置时间完全一致。使用外接的下拉电阻6k左右下拉到1V左右，使用1k下拉到0.2V左右。 谈谈我的理解：无论altera还是xilinx的fpga，IO脚的基本结构都差不多，输出都是推拉mos管，能够实现三态、可编程的上下拉电阻等等。在默认配置下

36.什么时候你应该在不同分布上做训练和测试 当你的猫app已经上传10000张图，你已经人工标记它们有没有猫，同时你有200000张互联网上下载的图，这时你要怎么划分训练开发测试集呢？ 当你训练深度学习模型时，可能必须用到那200000张图，那么训练和测试集的分布就不同，这会怎样影响你的工作呢？ 当然将210000张图片随机分裂到训练开发测试集是一种方法，但我（吴恩达）不推荐这种方法，记住选择开发测试集的推荐方法是：选择你未来预期会得到的数据来作为开发测试集。 大多数学术文章假设训练开发测试集的分布相同，在机器学习的早期，数据稀缺，常常仅有一个服从同一分布的数据集，所以这一假设能够满足。 但在大数据时代，从不同分布所收集来的数据，我们也希望能利用上，因为它能提供大量信息。 对于猫检测这个问题，我们会将猫app上传的5000张图放入开发测试集，训练集大小为205000。 第二个场景，假设你在做一个语音识别系统为一个导航app来转录得地址，你有20000个用户说的街道地址，500000个语音片段用户说其他的内容，这时你可能用10000个地址样本作为开发测试集，其他用作训练集。 我们继续假设你的开发测试集具有相同分布，但是必须明白，训练和开发/测试集分布不同，会带来一些特殊的挑战。 Ps：有些学术研究是训练测试分布不同，但理论和实践中有很大的不同，如果你的训练测试不同分布