wise

CVPR 2020 | CMU & HKUST提出binary网络自动化搜索,同时实现超高压缩与高精度

老子叫甜甜 提交于 2020-08-16 06:02:06
这项工作由卡内基梅隆大学,香港科技大学合作完成,目的是通过网络自动化搜索,找到在已知网络的权重(weight)和激活值(activation)都为二值化{-1,+1}的情况下,搜索最能充分利用二值化卷机层的表达能力的网络结构。 该工作是第一篇在 depth-wise 的卷积中通过搜索 group conv 来实现网络二值化的算法。 实验结果表明,本方法能取得和接近 XNOR-Net 的精度,而所需的 FLOPs 仅约为 XNOR-Net 的 1/5。借助于 Matrix 层面的参数共享机制,整个搜索过程只需要~30 GPU hours。 论文标题: Binarizing MobileNet via Evolution-based Searching 论文来源: CVPR 2020 论文链接: https://arxiv.org/abs/2005.06305 介绍 深度卷积神经网络(CNN)量化是一种常用的网络压缩方法,而网络二值化是极端情况下的量化,即每个 weight 和 activation 仅用 -1 或 +1 表示。 一方面,在这种极端压缩的情况下,网络的表达能力会受到非常大的限制。另一方面,近来越来越多的学者以及工程师更加关心如何压缩哪些原本就经过了紧凑型网络设计的小网络,如 MobileNet。这就给网络量化提出了新的挑战。 为了应对这一挑战,本文从 MobileNet

用正则匹配富文本中的文本,并替换其内容

為{幸葍}努か 提交于 2020-08-16 04:00:21
问题描述: 有这样的一段字符串: "<p class='test' id='wise'>123 456 789<br>hello<span title='hello' style='width: 200px;height:100px;' src='//www.wisewrong.com/img/123.png'>world</span></p>" 这是一段包含了 html 标签信息的富文本,现在需要 将其中的文本内容处理为全大写 解决方案: function superTrim(str) { // 匹配标签之间的文本 const reg = /(?<=>)[^>]+(?=<[\/]?\w+.*>)/ g ; return str.replace(reg, s => s.toUpperCase()); } const str = " <p class='test' id='wise'>123 456 789<br>hello<span title='hello' style='width: 200px;height:100px;' src='//www.wisewrong.com/img/123.png'>world</span></p> " ; superTrim (str); // "<p class='test' id='wise'>123 456 789<br> HELLO

CCAI 2020 | 耿新—经典论文工作推荐

£可爱£侵袭症+ 提交于 2020-08-16 01:37:57
   CCAI 2020年8月29日-30日   2020年中国人工智能大会(Chinese Congress on Artificial Intelligence 2020,简称“CCAI 2020”)将于8月29日-30日在南京召开。CCAI 2020以“智周万物”为主题,探讨人工智能作为引领未来的战略性技术,如何以周知万物的学术境界赋能未来,带动时代发展,实现互联世界的远大理想。    东南大学计算机学院、软件学院院长、人工智能学院执行院长,国家优青,IETI Distinguished Fellow耿新将出席本次大会并担任《青年科学家专题论坛》论坛主席。    耿新 :分别于2001年和2004年在南京大学计算机科学与技术系获得学士和硕士学位,于2008年获得澳大利亚Deakin大学博士学位。创建东南大学模式学习与挖掘(PALM)实验室并担任实验室主任至今。目前主要从事机器学习、模式识别、计算机视觉等方面的研究。曾获国家级教学成果奖一等奖、教育部自然科学奖一等奖等多项教学、科研奖励,入选国际工程与技术学会(IETI)杰出会士。曾获国家优秀青年科学基金、江苏省杰出青年科学基金资助,主持国家重点研发计划课题、国家自然科学基金等多个科研项目。       01       Partial Multi-Label Learning with Label Distribution  

PostgreSQL 12.2 公开课及视频及PGCE认证(第9期)(CUUG)(2020年)

ぐ巨炮叔叔 提交于 2020-08-15 15:52:04
九、PostgreSQL 12.2 并行查询调优 1、PG并行概述 2、TPC-H测试环境搭建 3、Parallel Aggregation描述 4、分配多少workers最佳? 5、PG并行工作机制? 6、为什么没有使用并行查询? 7、Nested loop joins、Hash Join、Merge Join并行处理方式 8、Partition-wise join并行处理案例 9、Parallel Append操作机制 10、相关重要参数 从9.5开始PG就开始支持并行查询,并且在新的版本中不断在增强,本次技术公开课着重给大家阐述并行实现的原理,以及在不同运行阶段的并行特点,同时还展示了不同状态下的性能对比。Oracle也只到了11g以后对并行进行了全面的支持,而PG从很早开始就支持并行查询,真是可喜可贺。 时间:2020-05-09 20:00-21:00 地址: 视频: 注:PostgresSQL 12.2 企业级课程系列公开课,是由北京CUUG的陈老师制作讲解,内容涉及到企业中常用到的一些技术,比如备份恢复、PITR、流复制、双机热备、单表查询成本估算、可见性验证、Autovacuum调优、事务隔离级别、并行查询调优、等一系列内容,免费公开课,欢迎大家参与学习。 关于PGCA和PGCE认证,这是PostgreSQL数据库的初级和中级认证,CUUG是指定的培训及考试中心

CondenseNet:可学习分组卷积,原作对DenseNet的轻量化改造 | CVPR 2018

房东的猫 提交于 2020-08-14 13:33:39
CondenseNet特点在于可学习分组卷积的提出,结合训练过程进行剪枝,不仅能准确地剪枝,还能继续训练,使网络权重更平滑,是个很不错的工作   来源:晓飞的算法工程笔记 公众号 论文:Neural Architecture Search with Reinforcement Learning 论文地址: https://arxiv.org/abs/1711.09224 论文代码: https://github.com/ShichenLiu/CondenseNet Introduction   DenseNet基于特征复用,能够达到很好的性能,但是论文认为其内在连接存在很多冗余,早期的特征不需要复用到较后的层。为此,论文基于可学习分组卷积提出CondenseNet,能够在训练阶段自动稀疏网络结构,选择最优的输入输出连接模式,并在最后将其转换成常规的分组卷积分组卷积结构。 CondenseNets   分组卷积能够有效地降低网络参数,对于稠密的网络结构而言,可以将$3\times 3$卷积变为$3\times 3$分组卷积。然而,若将$1\times 1$卷积变为$1\times 1$分组卷积,则会造成性能的大幅下降,主要由于$1\times 1$卷积的输入一般有其内在的联系,并且输入有较大的多样性,不能这样硬性地人为分组。随机打乱能够一定程度地缓解性能的降低

MyDLNote-Enhancment : 基于解耦特征表示的混合失真图像修复算法

徘徊边缘 提交于 2020-08-13 10:49:19
Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration 【paper】: https://arxiv.org/pdf/2007.11430v1.pdf 目录 Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration Abstract Introduction Related Work Image Restoration on Hybrid Distortion Approach Primary Knowledge Feature Disentanglement Module Feature aggregation Module Auxiliary Module Overview of Whole Framework Loss Function Experiments Dataset Comparison with State-of-the-Arts Interpretative Experiment Ablation Studies Abstract Hybrid-distorted image restoration (HD-IR) i s dedicated

详解浏览器跨域的几种方法

余生长醉 提交于 2020-08-13 01:04:30
摘要: 本文针对浏览器的跨域特性,做一下深入介绍,以便我们在进行WEB前端开发和测试时,对浏览器跨域特性有全面的理解和掌握。 1 前言 在 WEB 前端开发中,我们经常会碰到“跨域”问题,最常见的就是浏览器在 A 域名页面发送 B 域名的请求时会被限制。跨域问题涉及到 WEB 网页安全性问题,使用不当会造成用户隐私泄露风险,但有时业务上又需要进行跨域请求。如何正确的使用跨域功能,既能满足业务需求,又能够满足安全性要求,显得尤为重要。 本文针对浏览器的跨域特性,做一下深入介绍,以便我们在进行 WEB 前端开发和测试时,对浏览器跨域特性有全面的理解和掌握。 2 背景知识介绍 2.1 同源政策 1995 年,同源政策由 Netscape 公司引入浏览器。目前,所有浏览器都实行这个政策。 最初,它的含义是指, A 网页设置的 Cookie , B 网页不能打开,除非这两个网页 “ 同源 ” 。所谓 “ 同源 ” 指的是 “ 三个相同 ” : 协议相同 域名相同 端口相同 同源政策的目的,是为了保证用户信息的安全,防止恶意的网站窃取数据。 设想这样一种情况: A 网站是一家银行,用户登录以后, A 网站在用户的机器上设置了一个 Cookie ,包含了一些隐私信息(比如存款总额)。用户离开 A 网站以后,又去访问 B 网站,如果没有同源限制, B 网站可以读取 A 网站的 Cookie

人工智能中小样本问题相关的系列模型演变及学习笔记(四):知识蒸馏、增量学习

隐身守侯 提交于 2020-08-12 21:04:33
【说在前面】本人博客新手一枚,象牙塔的老白,职业场的小白。以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手] 【再啰嗦一下】本文衔接上两个随笔: 人工智能中小样本问题相关的系列模型演变及学习笔记(一):元学习、小样本学习 【再啰嗦一下】本文衔接上两个随笔: 人工智能中小样本问题相关的系列模型演变及学习笔记(二):生成对抗网络 GAN 【再啰嗦一下】本文衔接上两个随笔: 人工智能中小样本问题相关的系列模型演变及学习笔记(三):迁移学习 一、知识蒸馏综述 知识蒸馏被广泛的用于模型压缩和迁移学习当中。 本文主要参考:模型压缩中知识蒸馏技术原理及其发展现状和展望 1. 基本概念 知识蒸馏可以将一个网络的知识转移到另一个网络,两个网络可以是同构或者异构。做法是先训练一个teacher网络,然后使用这个teacher网络的输出和数据的真实标签去训练student网络。 可以用来将网络从大网络转化成一个小网络,并保留接近于大网络的性能。 可以将多个网络的学到的知识转移到一个网络中,使得单个网络的性能接近emsemble的结果。 2. 知识蒸馏的主要算法 知识蒸馏是对模型的能力进行迁移,根据迁移的方法不同可以简单分为基于目标驱动的算法、基于特征匹配的算法两个大的方向。 2.1 知识蒸馏基本框架 Hinton最早在文章“Distilling the knowledge in a

目标检测算法-YOLO算法纵向对比理解

余生长醉 提交于 2020-08-11 14:23:42
目标检测算法-YOLO算法纵向对比理解 DeepLearning的目标检测任务主要有两大类:一段式,两段式 其中两段式主要包括RCNN、FastRCNN、FasterRCNN为代表, 一段式主要包括YOLO,SSD等算法 由于一段式直接在最后进行分类(判断所属类别)和回归(标记物体的位置框框),所以现在一段式大有发展。 YOLO v1 论文地址: You Only Look Once: Unified, Real-Time Object Detection YOLOv1是one-stage detector鼻祖、real-time detector鼻祖。 所谓one-stage,即不需额外一个stage来生成RP,而是直接分类回归出output: YOLOv1直接将整张图片分成 S×S的小格子区域,每个小格子区域生成 B个bbox(论文中B=2),每个bbox用来预测中心点落在该格的物体。但是每个格子生成的所有B个bbox共享一个分类score YOLOv1最后一层的输出是一个S×S×(B∗5+C) 的tensor 其中,S为每维的格子段数,B为每格生成的bbox数,C为前景类别数。 YOLO v1包括24个conv layer + 2 fc layer YOLOv1采用了山寨版的GoogleNet作为backbone,而不是VGG Net; 在第24层时

np.dot()、np.multiply()、np.matmul()方法以及*和@运算符的用法总结

若如初见. 提交于 2020-08-11 12:14:44
转载自: https://blog.csdn.net/FrankieHello/article/details/103510118 一:基本概念 (一)点积(dot product) 又称为数量积、标量积(scalar product)或者内积(inner product) 它是指实数域中的两个向量运算得到一个实数值标量的二元运算。 举例: (二)矩阵乘法 两个运算的矩阵需要满足矩阵乘法的规则,即需要前一个矩阵的列与后一个矩阵的行相匹配。 总之:上面的两个概念都是针对向量或者矩阵的运算,需要和标量的计算区分开来。 二:dot运算 如果参与运算的两个一维数组,那么得到的结果是两个数组的内积(inner product); 可以看着没有进行转置的矩阵乘法。 注意:两个向量必须同维度 如果参与运算的是两个二维数组,那么得到的结果是矩阵乘积(matrix multiplication),两个参与运算的矩阵需要满足矩阵乘法的规则,但是官方更推荐使用np.matmul()和@用于矩阵乘法。 三: np.multiply() 和 * 星号和np.multiply()方法是针对的是标量的运算,当参与运算的是两个数组时,得到的结果是两个数组进行对应位置的乘积(element-wise product),输出的结果与参与运算的数组或者矩阵的大小一致。 四: np.matmul() 和 @