Semantic

转:图像分类、物体检测、物体分割、实例分割、语义分割

被刻印的时光 ゝ 提交于 2020-11-27 03:51:51
0001,常识1 计算机视觉的任务很多,有图像分类、目标检测、语义分割、实例分割和全景分割等,那它们的区别是什么呢? 1、Image Classification(图像分类) 图像分类(下图左)就是对图像判断出所属的分类,比如在学习分类中数据集有人(person)、羊(sheep)、狗(dog)和猫(cat)四种,图像分类要求给定一个图片输出图片里含有哪些分类,比如下图的例子是含有person、sheep和dog三种。 2、Object detection(目标检测) 目标检测(上图右)简单来说就是图片里面有什么?分别在哪里?(把它们用矩形框框住) 目前常用的目标检测算法有Faster R-CNN和基于YOLO的目标检测的算法 3、semantic segmentation(语义分割) 通常意义上的目标分割指的就是语义分割 语义分割(下图左)就是需要区分到图中每一点像素点,而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。对下图左,标注为人,羊,狗,草地。而不需要羊1,羊2,羊3,羊4,羊5等。 4、Instance segmentation(实例分割) 实例分割(上图右)其实就是目标检测和语义分割的结合。相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3...)

基于深度学习的图像边缘和轮廓提取方法介绍

扶醉桌前 提交于 2020-11-26 09:05:39
点击上方 “ 小白学视觉 ”,选择加"星标"或“置顶” 重磅干货,第一时间送达 作者:黄浴 奇点汽车 首席科学家 整理:Hoh Xil 来源: https://zhuanlan.zhihu.com/p/78051407 导读: 边缘和轮廓的提取是一个非常棘手的工作,细节也许就会被过强的图像线条掩盖,纹理(texture)本身就是一种很弱的边缘分布模式,分级(hierarchical)表示是常用的方法,俗称尺度空间(scale space)。以前做移动端的视觉平台,有时候不得不把一些图像处理功能关掉,原因是造成了特征畸变。现在 CNN 模型这种天然的特征描述机制,给图像预处理提供了不错的工具,它能将图像处理和视觉预处理合二为一。 ——边缘提取—— 1. HED 整体嵌套边缘检测( Holistically-Nested Edge Detection,HED 是一个深度学习的边缘提取的算法,两个特色:(1)整体图像训练和预测; (2)多尺度、多层特征学习。该深度模型利用全卷积网络,自动学习丰富的分层表示(基于侧面响应的深层监督指导)。 多尺度深度学习可分为四类,即多流学习(multi-stream)、跳网(skip-net learning)学习、多输入单模型以及独立网训练,如图所示:(a)多流架构; (b)跳网架构; (c)多尺度输入的单一模型; (d)不同网络独立训练; (e

Windows Server 2016-命令行Ntdsutil迁移FSMO角色

被刻印的时光 ゝ 提交于 2020-11-26 04:13:30
上章节我们介绍了有关图形化界面迁移FSMO角色,进行本章节之前我们首先回顾一下FSMO的五种操作主机角色:架构主机角色(Schema Master)、域命名主机角色(Domain Naming Master)、RID 主机角色(RID Master)、PDC 模拟主机角色(PDC Emulator)和基础架构主机角色(Infrastructure Master);不管是林范围主机角色还是域范围主机角色都必须是唯一。本章给大家介绍如何通过DOS命令Ntdsutil进行FSMO角色迁移的方法,希望可以帮到大家。 1.通过命令行查看当前FSMO角色相关信息: 2.查看有关Ntdsutil命令行帮忙信息: Ntdsutil 执行 Active Directory 域服务存储的数据库维护, 帮助配置 AD LDS 通讯端口并查看安装在计算机上的 AD LDS 实例。 ? - 显示这个帮助信息 Activate Instance %s - 设置"NTDS"或特定的 AD LDS 实例 作为活动实例。 Authoritative restore- 授权还原 DIT 数据库 Change Service Account %s1 %s2 - 将 AD DS/LDS 服务帐户更改为用户名为 %s1,密码为 %s2。使用"NULL"表示空密码,* 表示从控制台输入密码。 Configurable

前端组件化开发

血红的双手。 提交于 2020-11-22 13:45:58
Component,中文称为组件,或者构件。使用非常比较广泛,它的核心意义在于复用,相对模块,对于依赖性有更高的要求。 Module, 中文为模块或模组。它的核心意义是分离职责,属于代码级模块化的产出。它本身是提供服务的功能逻辑,是一组具有一定内聚性代码的组合,职责明确。 组件(Component)和模块(Module)又是一对容易混淆的名词,也常常被用来相互替换。个人总结,从设计上来看,组件强调复用,模块强调职责(内聚、分离),或者说组件是达到可复用要求的模块(记得有次面试的时候,面试官都搞错了这两个概念!)。 前端Web应用中的组件,是指一些设计为通用性的,用来构建较大型应用程序的软件,这些组件有多种表现形式。它可以是有UI(用户界面)的,也可以是作为 “服务”的纯逻辑代码。因为有视觉上的表现形式,UI组件更容易理解。UI组件简单的例子包括按钮、输入框和文本域。不论是汉堡包状的菜单按钮(无论你是否喜欢)、标签页、日历、选项菜单或者所见即所得的富文本编辑器则是一些更加高级的例子。提供服务类型的组件可能会让人难以理解,这种类型的例子包括跨浏览器的AJAX支持,日志记录或者提供某种数据持久化的功能。 基于组件开发,最重要的就是组件可以用来构成其他组件,而富文本编辑器就是个很好的例子。它是由按钮、下拉菜单和一些可视化组件等组成。另一个例子是HTML5上的video元素。它同样包含按钮

自动驾驶 | MINet:嵌入式平台上的实时Lidar点云数据分割算法,速度可达 20-80 FPS!

笑着哭i 提交于 2020-11-22 06:44:17
点击上方 “ 小白学视觉 ”,选择加" 星标 "或“ 置顶 ” 重磅干货,第一时间送达 这篇文章是激光雷达点云数据分割算法的嵌入式平台上的部署实现。主要的创新点有两点:一是利用多路分支采用不同分辨率输入后再用不同的卷积块进行处理,达到性能和计算量之间的平衡;二是对基于投影的点云分割方法进行了改进。在嵌入式平台上性能不错,代码将在文章被收录后开源,值得关注。 论文地址 :http://xxx.itp.ac.cn/pdf/2008.09162v1 LiDAR数据的实时语义分割对于自动驾驶车辆至关重要,然而自动驾驶车辆通常配备嵌入式平台并且计算资源有限,这使得点云分割算法的部署具有挑战性。通常的点云分割算法直接在点云上使用复杂的空间聚合操作,这些操作非常昂贵且难以针对嵌入式平台进行优化。因此,它们不适用于带有嵌入式系统的实时场景下应用。作为替代, 基于投影的方法更有效并且可以在嵌入式平台上运行。但是,当前基于投影的最新方法无法实现与基于点的方法相同的精度,并且需要使用数百万个参数。 因此,在本文中, 提出了一种基于投影的方法,称为Multi-scale Interaction Network(MINet) ,该方法有效且准确,具体而言网络使用具有不同尺度的多个通路,并且在不同尺度之间对计算资源进行平衡,同时不同尺度之间的额外密集交互可避免冗余计算,并使网络高效。所提出的网络在准确性

Detectron2源码阅读笔记-(三)Dataset pipeline

故事扮演 提交于 2020-11-21 11:17:04
构建data_loader原理步骤 # engine/default.py from detectron2.data import ( MetadataCatalog, build_detection_test_loader, build_detection_train_loader, ) class DefaultTrainer(SimpleTrainer): def __init__(self, cfg): # Assume these objects must be constructed in this order. data_loader = self.build_train_loader(cfg) ... @classmethod def build_train_loader(cls, cfg): """ Returns: iterable """ return build_detection_train_loader(cfg) 函数调用关系如下图: 结合前面两篇文章的内容可以看到detectron2在构建model,optimizer和data_loader的时候都是在对应的 build.py 文件里实现的。我们看一下 build_detection_train_loader 是如何定义的(对应上图中 紫色方框内 的部分( 自下往上 的顺序)): def build

目标检测论文整理

早过忘川 提交于 2020-11-18 08:38:07
最近开始看一些object detection的文章,顺便整理一下思路。排版比较乱,而且几乎所有图片都是应用的博客或论文,如有侵权请联系我。 文章阅读路线参考 目前已完成的文章如下,后续还会继续补充( 其中加粗的为精读文章 ): RCNN Overfeat MR-CNN SPPNet Fast RCNN A Fast RCNN Faster RCNN FPN R-FCN Mask RCNN YOLO YOLO 9000 YOLO v3 SSD DSSD R-SSD RetinaNet(focal loss) DSOD Cascade R-CNN (待续) 吐槽一下,博客园的markdown竟然没有补齐功能,我还是先在本地补全再传上来吧。。。 RCNN之前的故事 Histogram of Gradient (HOG) 特征 在深度学习应用之前,图像的特征是人工定义的具有鲁棒性的特征,如SIFT,HOG等,下面简要介绍一下HOG。 8x8像素框内计算方向梯度直方图: HOG Pyramid 特征金字塔,对于不同大小的物体进行适应,设计尺度不变性特征 HOG特征 -> SVM分类 DPM模型 Deformable Part Model 加组件组合的HOG特征, 组件间计算弹性得分,优化可变形参数 如果没有弹性距离,就是BoW (Bag of Word)模型, 问题很大, 位置全部丢失:

如何理解归一化(Normalization)对于神经网络(深度学习)的帮助?

早过忘川 提交于 2020-11-15 18:16:05
如何理解归一化(Normalization)对于神经网络(深度学习)的帮助? 作者:知乎用户 链接:https://www.zhihu.com/question/326034346/answer/730051338 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 回顾一下围绕normalization的一些工作(由最新到最旧的BatchNorm): 2019, Weight Standardization (没有发表,但是有大佬Alan Yuille加持) Weight Standardization 2019 WS叫权重标准化,建立在 BN可以平滑损失landscape / BN可以平滑激活值 这个观点上,进一步提升GN的效果匹配到BN的水平上,针对GN在micro-batch训练时性能不及BN。WS的原理是: 减小损失和梯度的Lipschitz常数 。 2019, Dynamic Normalization Differentiable Dynamic Normalization for Learning Deep Representation ICML 2019 跟SN类似,加入了GN。 2019, Switchable Normalization Differentiable Learning-to-Normalize via

关于SSD和YOLO对小目标的思考

穿精又带淫゛_ 提交于 2020-11-08 08:30:35
所谓的小目标,要看是绝对小目标(像素),和相对小目标(相对原图的长宽来看的)。大目标小目标只跟receptive field(感受野)有关,cnn本身可以检测任何尺度的物体。ssd对小目标检测不太适用,但R-FCN速度和鲁棒存在问题。 小目标分为很多种,背景单一还是比较好做的。有一篇小人脸检测用的是 fullyconvolutionalnetwork(FCN) + ResNet ,此篇论文检测小目标用了其周边的信息,如头发,肩膀。 小目标像素特征少,不明显,因此和大目标相比,小目标的检测率低,这个用任何算法上都是无法避免的。SSD,YOLO等单阶段多尺度算法,小目标检测需要高分辨率,但是SSD对小目标的检测是在浅层特征上进行,而深层的特征用来检测大目标,但是!深层的特征语义信息非常丰富,这是一个矛盾。例如底层conv4_3anchor设置的是0.1~0.2:30x60,对于720p的图像检测尺寸就有72个像素,还是太大了。事实上SSD的源码允许一个特征层做多个尺度的滑窗,将参数min_sizes里的每个元素初始化为一个列表,就可以在相应特征层中生成不同尺度的anchor,如果你设计的足够仔细,基本就可以覆盖足够小的目标了,不过此时anchor的数量估计会涨不少,速度也会降下来。 faster rcnn,yolo,ssd对小目标检测结果都不好

Flink基于Kafka-Connector 数据流容错回放机制

可紊 提交于 2020-10-29 10:54:28
Flink基于Kafka-Connector 数据流容错回放机制及代码案例实战-Flink牛刀小试 Flink牛刀小试系列目录 Flink牛刀小试-Flink 集群运行原理兼部署及Yarn运行模式深入剖析 Flink牛刀小试-Flink Window类型及使用原理案例实战 Flink牛刀小试-Flink Broadcast 与 Accumulators 应用案例实战 Flink牛刀小试-Flink与SparkStreaming之Counters& Accumulators 累加器双向应用案例实战 Flink牛刀小试-Flink分布式缓存Distributed Cache应用案例实战 Flink牛刀小试-Flink状态管理与checkPoint数据容错机制深入剖析 Flink牛刀小试-Flink Window分析及Watermark解决乱序数据机制深入剖析 Flink牛刀小试-Flink Restart Strategies 重启策略机制深入剖析 Flink牛刀小试-Flink CheckPoint状态点恢复与savePoint机制对比剖析 Flink牛刀小试-Flink SQL Table 我们一起去看2018中超联赛 Flink牛刀小试-Flink基于Kafka-Connector 数据流容错回放机制及代码案例实战 [Flink牛刀小试-Flink