Semantic

摘要： 生活垃圾的分类和处理是目前整个社会都在关注的热点，如何对生活垃圾进行简洁高效的分类与检测对垃圾的运输处理至关重要。AI技术在垃圾分类中的应用成为了关注焦点。 如今AI已经是这个时代智能的代名词了，任何领域都有AI的身影，垃圾分类及监管等场景自然也少不了“AI+”的赋能。 不过，垃圾往往属于商品的极端变形体，情况比较特殊。目前的技术在视觉可见的基础上，是可以做到垃圾分类报警提醒的，比如判断垃圾是否是经过分类整理的。至于是否能够直接进行视觉检测并分类，且达到某种效果，需要更多的数据和实验支撑才能判断这件事情的可行性。针对这些问题，我们或许可以从海华垃圾分类挑战赛中去听听参赛者都是如何用技术来改变世界的。 海华垃圾分类挑战赛数据包括单类垃圾数据集以及多类垃圾数据集。单类垃圾数据集包含80,000张单类生活垃圾图片，每张单类垃圾图片中仅有一个垃圾实例。多类垃圾数据集包括4998张图像，其中2,998张多类垃圾图片作为训练集数据，A榜和B榜各包含1000张测试图像，每张多类垃圾图片中包含至多20类垃圾实例。我们将对两种数据集分别进行介绍。 一、多类别垃圾 图1 多类垃圾数据类别分布 如图1所示，多类别垃圾涵盖了204类垃圾，但这204类的数据非常不均衡，有一些类别数目非常少甚至没有出现。 图2 多类垃圾数据可视化 图2中两张图是训练集中的两张图像

转自： https://zhuanlan.zhihu.com/p/71128505 我们可能已经了解了很多机器学习和深度学习的算法，但是那似乎离我们心中的 “人工智能” 还很遥远。我们训练的模型，更像是一个具有统计知识的机器，从关联和概率的角度出发，试图在描述世界背后的 “真理”。然而，我们更希望的是，像人一样，具有分析和推理能力的机器智能。如果你问我，哪一种形式最接近我心中的 “人工智能”，我会说：知识图谱。 今天，就让我们来解决一个问题：什么是知识图谱？ 知识图谱 “考古史” 2012 年 5 月 17 日，Google 正式提出了 知识图谱（Knowledge Graph） 的概念，其初衷是为了优化搜索引擎返回的结果，增强用户搜索质量及体验。 假设我们想知道 “王健林的儿子” 是谁，百度或谷歌一下，搜索引擎会准确返回王思聪的信息，说明搜索引擎理解了用户的意图，知道我们要找 “王思聪”，而不是仅仅返回关键词为 “王健林的儿子” 的网页： 编者按：知乎文章《为什么需要知识图谱？什么是知识图谱？——KG的前世今生》是一个很好的入门文章，感兴趣可以进一步阅读： https://zhuanlan.zhihu.com/p/31726910 。《知识图谱的技术与应用（18版）》是一个更为全面和详细的介绍， https://zhuanlan.zhihu.com/p/38056557 。

1.作者可能把scannet数据集分成了训练集和测试集并处理成了.pickle文件。 2.在代码运行过程中，作者从.pickle文件中读出训练集1201个场景的x、y、z坐标和测试集312个场景的x、y、z坐标。 3.考虑把点存到.txt文件中，用cloudcompare可视化一下。 2--地板 3--椅子 8--沙发 20--靠枕 单独存入训练数据到txt文件 ： TRAIN_DATASET = scannet_dataset.ScannetDataset( root=DATA_PATH , npoints=NUM_POINT , split= 'train') for i in range(len(TRAIN_DATASET.scene_points_list)): filename = '' .join([ " TRAIN_DATASET_ " ,str(i+1), ' .txt ' ]) np.savetxt(filename, TRAIN_DATASET.scene_points_list[i],fmt = " %.8f " , delimiter= ' , ' ) 单独存入训练数据的标签到txt文件 ： for i in range(len(TRAIN_DATASET.semantic_labels_list)): filename = '' .join([ "

小样本学习（few-shot learning） SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation Learning Task-aware Local Representations for Few-shot Learning Transductive Relation-Propagation Network for Few-shot Learning Few-shot Visual Learning with Contextual Memory and Fine-grained Calibration Few-shot Human Motion Prediction via Learning Novel Motion Dynamics Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings Self-Supervised Tuning for Few-Shot Segmentation Multi-attention Meta Learning for Few-shot Fine-grained Image Recognition

流程图： hive查询语法： 1.基本函数： 2.条件查询 3.join关联查询 准备数据 a.txt name nmb a,1 b,2 c,3 d,4 b.txt name nick a,xx b,yy d,zz e,pp 创建表： create table t_a(name string,nmb int) row format delimited fields terminated by ','; create table t_b(name string,nick string) row format delimited fields terminated by ','; 导入数据： load data local inpath '/root/a.txt' into table t_a; load data local inpath '/root/b.txt' into table t_b; 各类join 1.【内连接】 --笛卡尔积： select a.*,b.* from t_a a (inner) join t_b b; 从连起来的表去查询 左表的每一条与右表的每一条都进行连接 表连接就是把所有的表进行关联，如何没有告知如何连接，那么就会全部进行关联 --指定join条件 select a.*,b.* from t_a a join t_b b on a.name=b

近日，计算机视觉方向的三大国际顶级会议之一的ECCV 2020公布论文获奖结果。本次ECCV 2020有效投稿5025篇，最终被接受发表论文 1361 篇，录取率为 27 %，较上届有所下降。其中，oral的论文数为 104 篇，占提交总量的 2% ；spotlight的数目为 161 篇，占提交总量的 5% ；其余论文均为poster。 ECCV （European Conference on Computer Vision，即欧洲计算机视觉国际会议)是国际顶尖的计算机视觉会议之一，每两年举行一次。随着人工智能的发展，计算机视觉的研究深入和应用迅速发展，每次举行都会吸引大量的论文投稿，而今年ECCV的投稿量更是ECCV 2018的两倍还多，创下历史新高。在竞争越来越激烈的情况下，本次ECCV 腾讯优图实验室共入选 8 篇论文，涵盖 目标跟踪、行人重识别、人脸识别、 人体姿态估计 、动作识别、 物体检测 等热门及前沿领域，再次展示了腾讯在计算机视觉领域的科研及创新实力。 以下为部分腾讯优图入选ECCV 2020的论文： 01 链式跟踪器：基于目标对回归的端到端联合检测跟踪算法 Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object

前言 ：本文将介绍如何基于ProxylessNAS搜索semantic segmentation模型，最终搜索得到的模型结构可在CPU上达到36 fps的测试结果，展示自动网络搜索（NAS）在语义分割上的应用。 随着自动网络搜索（ N eural A rchitecture S earch）技术的问世，深度学习已慢慢发展到自动化设计网络结构以及超参数配置的阶段。尤其在AI落地的背景下，许多模型需要部署在移动端设备。依据不同设备（GPU， CPU，芯片等），不同的模型需求（latency， 模型大小，FLOPs），使用NAS自动搜索最佳网络结构将会是一个很有潜力的方向。 上一篇 介绍了NAS的基本框架和入门必读DARTS [1]，以及在semantic segmentation领域的应用。 距离现在才不过几个月，NAS论文数量明显增长：在理论研究方面，search strategy，evaluation performance的方法看似趋于稳定，不得不提到最近FAIR团队的RegNet [2]探讨了搜索空间的设计，通过大量实验把常见的设计模型的理论一一验证，我们可以根据它的结论缩小搜索空间从而提高搜索效率；在应用方面以还是object detection为主，也有segmentation， reID， GAN等领域。 NAS算是一项新技术，但是语义分割semantic

一般系统或服务生成的日志都是一大长串。每个字段之间用空格隔开。logstash在获取日志是整个一串获取，如果把日志中每个字段代表的意思分割开来在传给elasticsearch。这样呈现出来的数据更加清晰，而且也能让kibana更方便的绘制图形。 Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。 grok表达式 下面针对Apache日志来分割处理 filter { if [type] == "apache" { grok { match => ["message" => "%{IPORHOST:addre} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_method} %{NOTSPACE:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:status} (?:%{NUMBER:bytes}|-) \"(?:%{URI:http_referer}|-)\" \"%{GREEDYDATA:User_Agent}\""] remove_field => ["message"] } date { match => [ "timestamp", "dd/MMM/YYYY:HH:mm

UI： 用于提交查询的客户端，hive自带有CLI(command line)，现在推荐使用beeline DRIVER： 1.用于接收客户端提交的SQL，并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能 COMPILER： 编译器，负责解析SQL，并从METASTORE那里获取元数据生成执行计划，然后发给DRIVER 执行计划就是一个DAG(有向无环图) 组件： 1.Parser：将查询语句转变成一个parse tree 2.Semantic Analyser：将parse tree变成一个内部的查询表示(依然是基于查询块，而不是operator tree)。同时在这一步也会做语法检查，类型检查和类型隐式转换 3.Logical Plan Generator：将内部的查询表示转变成一个逻辑计划(包含一个operator tree)，一些operator是关系代数的filter，join等，另一些是hive特定的，用于将逻辑计划变成一系列的map/reduce job,比如reduceSink operator(出现在map-reduce边界)；这一步Optimizer也会对查询进行优化,比如map端聚合等 4.Query Plan Genertor：将逻辑计划转换成一系列的map-reduce tasks.做法是，通过对operator

　　图像修改是图像生成领域的一个特殊任务，它要求生成对原图进行修改后得到的图片。例如常用的美颜、修图软件，可以得到原照调整后的美颜人像。目前，绝大多数的图片操纵和生成都是在像素级别进行的。随着技术的进步，基于语义的图像修改和生成成为可能。 　　一篇 CVPR2020 的论文 Semantic Image Manipulation Using Scene Graphs 就聚焦图片语义级别修改问题，实现针对场景图的修改图片生成问题。即给定一张图片，先生成一个表示图片中出现的对象及其关系的语义场景图，用户可以利用场景图方便地修改其中的节点（对象）和边（关系），模型再根据这些修改后的场景图和原图生成修改后的图片，如图一所示。 　　这需要模型对原图中的对象进行替换或者改变原图中对象之间的关系，但还要保持生成的图片和原图中语义关系以及风格一致。 　　 　　图丨基于语义关系的图片修改。基于原图（source image），模型首先生成场景图，接下来用户对场景图进行修改，最后模型根据修改的场景图生成新的图片。图中用户将女孩和马的关系由 “骑” 变为“在旁边”（来源：Semantic Image Manipulation Using Scene Graphs） 　　高层级的图片修改是以语义为中心的，这项技术有广泛的应用场景。 　　编辑旅行风景照时，不需要再手动切割、删除其中多余的旅客