TITAN

TiKV正式从CNCF毕业,成为云原生时代构建分布式系统基石

感情迁移 提交于 2020-10-04 23:28:07
今日,云原生计算基金会 ( CNCF ) 宣布 TiKV 正式从 CNCF 毕业。TiKV 是继 Harbor 之后在 CNCF 毕业的第二个中国原创开源项目。从孵化项目晋升为毕业项目,标志着 TiKV 在产品成熟度、项目采用率以及社区持续性等方面取得一系列进展,可应用到各类行业、各种规模的生产环境。 TiKV 是一个开源的分布式事务 Key-Value 数据库,专注为下一代数据库提供可靠、高质量、实用的存储架构。最初由 PingCAP 团队在 2016 年 1 月作为 TiDB 的底层存储引擎设计并开发,第一版于 2016 年 4 月开源。2018 年 8 月被 CNCF 宣布接纳为沙箱云原生项目,在 2019 年 5 月从沙箱晋级至孵化项目。目前,TiKV 已经在知乎、一点资讯、Shopee、美团、京东云、转转等多行业头部企业得到上线应用。 TiKV 通过 Raft 一致性算法来实现数据多副本之间的一致性,本地采用了 RocksDB 存储引擎存储数据,同时 TiKV 支持数据自动切分和迁移。TiKV 的跨行事务最初参考 Google Percolator 事务模型,并进行了一些优化,提供快照隔离与带锁快照隔离,支持分布式事务。TiKV 的核心特性如下: 跨区复制:采用 Raft 协议和 Placement Driver 支持跨区复制。 可扩展性:通过 Raft 复制数据以及

Gremlin 图查询概述

强颜欢笑 提交于 2020-10-01 09:40:51
图数据库基本概念 图形数据库是 NoSQL 数据库的一种类型,它应用图形理论存储实体之间的关系信息。最常见的例子,就是社会网络中人与人之间的关系。关系型数据库用于存储关系型数据的效果并不好,其查询复杂、缓慢、超出预期,而图形数据库的独特设计恰恰弥补了这个缺陷。Google的图形计算系统名为 Pregel。 目前主流的图数据库有:Neo4j,FlockDB,GraphDB,InfiniteGraph,Titan,JanusGraph,Pregel等。 下面介绍几个图数据库中的几个基本概念: RDF :RDF(Resource Description Framework),即资源描述框架,其本质是一个数据模型(Data Model)。它提供了一个统一的标准,用于描述实体/资源。简单来说,就是表示事物的一种方法和手段。RDF 形式上表示为 SPO 三元组,有时候也称为一条语句(statement),知识图谱中我们也称其为一条知识。RDF 由节点和边组成,节点表示实体/资源、属性,边则表示了实体和实体之间的关系以及实体和属性的关系。 RDF 没有外键和主键,它使用的是 URI ,万维网的标准引用格式。通过 URI,一个三元组库可以直接链接到任何三元组库的其他任何数据。 属性图 :属性图是由 顶点(Vertex),边(Edge),标签(Lable),关系类型 还有 属性(Property

图数据库调研

女生的网名这么多〃 提交于 2020-09-25 18:33:28
概述 本文转自:http://tang.love/2018/08/31/graph_database_research/ 这里记录一下图数据相关的调研结论。下面是图数据库的定义: A graph database is a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data. 注意,这里只是说了通过 提供类似图的语义查询功能,并没有规定图的存储结构。图数据库的主要优点: 更好,更快速的查询和分析; 更简单和更自然的数据建模; 同时支持实时更新和查询; 数据结构的灵活性。 图数据库是所有数据管理系统中成长最快的分类,下面分别从图检索语言和图数据库两个方面来介绍图数据市场的发展。 图检索语言 这里主要对比下面: Cypher :Neo4j 的查询语言称作 Cypher,Cypher 是对图形的声明查询语言,使用图形模式匹配作为主要的机制作 图形数据选择(包括只读和变更操作)。Cypher 的声明模式匹配性质意味着可以通过描述想从它那里得到什么查询图形数据。 SPARQL :面向 RDF(Resource Description Framework)的三元组数据,W3C 标准,无 schema

【OCR技术系列之四】基于深度学习的文字识别(3755个汉字)

余生长醉 提交于 2020-09-24 06:00:46
上一篇提到文字数据集的合成,现在我们手头上已经得到了3755个汉字(一级字库)的印刷体图像数据集,我们可以利用它们进行接下来的3755个汉字的识别系统的搭建。用深度学习做文字识别,用的网络当然是CNN,那具体使用哪个经典网络?VGG?RESNET?还是其他?我想了下,越深的网络训练得到的模型应该会更好,但是想到训练的难度以及以后线上部署时预测的速度,我觉得首先建立一个比较浅的网络(基于LeNet的改进)做基本的文字识别,然后再根据项目需求,再尝试其他的网络结构。这次任务所使用的深度学习框架是强大的Tensorflow。 网络搭建 第一步当然是搭建网络和计算图 其实文字识别就是一个多分类任务,比如这个3755文字识别就是3755个类别的分类任务。我们定义的网络非常简单,基本就是LeNet的改进版,值得注意的是我们加入了batch normalization。另外我们的损失函数选择sparse_softmax_cross_entropy_with_logits,优化器选择了Adam,学习率设为0.1 #network: conv2d->max_pool2d->conv2d->max_pool2d->conv2d->max_pool2d->conv2d->conv2d->max_pool2d->fully_connected->fully_connected def build

【你只需看一次】YOLO 全系列目标检测算法

六月ゝ 毕业季﹏ 提交于 2020-08-20 02:56:22
文章目录 一、概述 二、Yolo系列全家桶 YOLOv1 开山鼻祖之作 YOLOv2 YOLOv3 YOLOv4 目标检测tricks集大成者 YOLOv5 Fast YOLO Complex-YOLO MV-YOLO YOLO3D YOLO-6D YOLO-LITE Spiking-YOLO DC-SPP-YOLO SpeechYOLO Complexer-YOLO SlimYOLOv3 REQ-YOLO YOLO Nano xYOLO IFQ-Tinier-YOLO DG-YOLO Poly-YOLO E-YOLO PP-YOLO 一、概述 我对yolo系列好感较高,虽不及其他系列的精度,速度,但是他现在已经精度与速度之中做了trade off ,侧端也友好。本文引自我爱计算机视觉,后续我将对这些算法消融对比,关注公众号(原文底部)敬请期待。 YOLO目标检测算法诞生于2015年6月,从出生的那一天起就是“高精度、高效率、高实用性”目标检测算法的代名词。 在原作者Joseph Redmon博士手中YOLO经历了三代到YOLOv3,今年初Joseph Redmon宣告退出计算机视觉研究界后,YOLOv4、YOLOv5相继而出,且不论谁是正统,这YOLO算法家族在创始人拂袖而出后依然热闹非凡。 本文带领大家细数在此名门之中自带“YOLO”的算法,总计 23 项工作

PFLD:高精度实时人脸关键点检测算法

给你一囗甜甜゛ 提交于 2020-08-17 08:33:45
这篇文章作者分别来自天津大学、武汉大学、腾讯AI实验室、美国天普大学。该算法对在高通ARM 845处理器可达140fps;另外模型大小较小,仅2.1MB;此外在许多关键点检测的benchmark中也取得了相当好的结果。 摘要: 高精度,速度快,模型小是人脸关键点的实际使用必不可少的要求。为了同时考虑这三个问题,本文研究了一个整洁的模型,该模型在野外环境(如无约束的姿态、表情、光照和遮挡条件)和移动设备上的超实时速度下具有良好的检测精度。更具体地说,我们定制了一个与加速技术相关的端到端single stage 网络。在训练阶段,对每个样本进行旋转信息进行估计,用于几何规则的关键点定位,然后在测试阶段不涉及。在考虑几何规则化的基础上,设计了一种新的损失算法通过调整训练集中不同状态(如大姿态、极端光照和遮挡)的样本权重,来解决数据不平衡的问题。我们进行了大量的实验来证明我们的有效性,在被广泛采用的具有挑战性的基准测试中, 300W(包括iBUG, LFPW, AFW, HELEN,以及XM2VTS)和AFLW,设计并显示其优于最先进的替代品的性能。我们的模型只有2.1Mb 大小和达到140帧/张在手机上 (高通ARM 845处理器)高精度,适合大规模或实时应用。 为了能更清晰了解文章的内容,用下面的思维导图来展示文章的主要贡献 Introduction 人脸关键点检测也称为人脸对齐

CUDA编程之快速入门

廉价感情. 提交于 2020-08-12 14:35:27
CUDA(Compute Unified Device Architecture)的中文全称为计算统一设备架构。做图像视觉领域的同学多多少少都会接触到CUDA,毕竟要做性能速度优化,CUDA是个很重要的工具,CUDA是做视觉的同学难以绕过的一个坑,必须踩一踩才踏实。CUDA编程真的是入门容易精通难,具有计算机体系结构和C语言编程知识储备的同学上手CUDA编程应该难度不会很大。本文章将通过以下五个方面帮助大家比较全面地了解CUDA编程最重要的知识点,做到快速入门: GPU架构特点 CUDA线程模型 CUDA内存模型 CUDA编程模型 CUDA应用小例子 1. GPU架构特点 首先我们先谈一谈串行计算和并行计算。我们知道,高性能计算的关键利用多核处理器进行并行计算。 当我们求解一个计算机程序任务时,我们很自然的想法就是将该任务分解成一系列小任务,把这些小任务一一完成。在串行计算时,我们的想法就是让我们的处理器每次处理一个计算任务,处理完一个计算任务后再计算下一个任务,直到所有小任务都完成了,那么这个大的程序任务也就完成了。如下图所示,就是我们怎么用串行编程思想求解问题的步骤。 但是串行计算的缺点非常明显,如果我们拥有多核处理器,我们可以利用多核处理器同时处理多个任务时,而且这些小任务并没有关联关系(不需要相互依赖,比如我的计算任务不需要用到你的计算结果),那我们为什么还要使用串行编程呢

如何配置一台高效的GPU(深度学习)服务器

梦想的初衷 提交于 2020-08-12 11:27:55
目前GPU深度学习服务器在AI、视频处理、科学计算等领域都有广泛应用。随着NVIDIA推出更多的GPU硬件和工具软件,如何配置一台属于自己的GPU服务器,在开发者的工作中成为了重中之重。 文章大概: 1、硬件平台的搭建 o 深度学习服务器的性能需求 o NVIDIA GPU的性能特点 o 硬件环境的配置搭配要点 2、软件环境的配置 o 深度学习环境的系统配置,环境搭建 o NVIDIA CUDA的安装 o 介绍NVIDIA Deep Learning 相关SDK工具,包括类似于Transfer Learning Toolkit,CuDNN,CuBlas, TesnorRT… o NVIDIA GPU Cloud 介绍 o 成熟的解决方案或者案例 最近开始学习深度学习(Deep Learning)技术,特别是google的Tensorflow深度学习包开源后,深度学习已经成为大数据领域的重大计算革命,配合Teras顶层框架,使得Deep learning的学习成本降低。(百度也开源了飞桨开源平台也不错) 目前Deep learning技术应用越来越广,一切数据都是图,CNN卷积神经网络技术充满了神奇的计算魅力。DL技术广泛应用于:图像处理、人脸识别、自动驾驶、聊天机器人、AI人工智能、机器语言翻译、图片推荐系统、声音处理、音乐作曲、机器写作等领域。 现今,日益完善的深度学习技术和

高糊视频秒变4K!Facebook发布低分辨率视频实时渲染算法,网友:是好东西,但是玩不起

风流意气都作罢 提交于 2020-07-27 13:51:55
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PULSE问世不久后,一个针对模糊视频进行实时高分辨率渲染的算法问世了。 前几天,Facebook公布了一项在即将举行的SIGGRAPH 2020会议上展示的新论文,提出了一种新的神经网络算法神经超采样。 新算法实现了低分辨率视频的4*4的实时渲染,也就是说能把大部分视频分辨率提升16倍,直接变成4K视频! 而1080p的视频渲染延迟更是控制到24.4ms! 除了超低延迟,这种算法的巨大进步在于摆脱了特定硬件和技术的束缚(如虚幻引擎的TAAU和英伟达的DSSL),在PC上就可以实现。 高糊骑兵视频马上变4K! 话不多说,直接上实时渲染效果实测。 下图由上至下,分别是低分辨率输入视频、神经超采样算法(分辨率提高16倍)渲染结果、离线渲染目标视频截图。 可以看出,“神经超采样”算法的实时渲染输出,视频细节的精度已经高度接近目标渲染视频。 这样的优秀表现引来网友一片惊叹,尽管Facebook方面认为这项技术未来主要用于游戏开发和实时VR技术,但网友们纷纷喊话FB,希望看到这项技术用在早年的3D游戏重置上,比如三角洲部队、放逐等等。

重磅!YOLOv4阅读笔记(附思维导图和论文译文)!

梦想与她 提交于 2020-07-27 00:51:40
今天刷看到了YOLOv4之时,有点激动和兴奋,等了很久的YOLOv4,你终究还是出现了 论文地址: https://arxiv.org/pdf/2004.10934.pdf GitHub地址: https://github.com/AlexeyAB/darknet 觉得作者很地道,论文附上开源,没有比这更开心的事情了吧! 首先附上对论文总结的思维导图,帮助大家更好的理解! 下边是对论文的翻译,有些地方可能翻译的不是很准备,欢迎指正补充 (思维导图和论文译文PDF均可在公众号【计算机视觉联盟】回复YOLOv4获取) 摘要 有很多特征可以提高卷积神经网络(CNN)的准确性。需要在大型数据集上对这些特征的组合进行实际测试,并需要对结果进行理论证明。某些特征仅在某些模型上运行,并且仅在某些问题上运行,或者仅在小型数据集上运行;而某些特征(例如批归一化和残差连接)适用于大多数模型,任务和数据集。我们假设此类通用特征包括加权残差连接(WRC),跨阶段部分连接(CSP),交叉小批量标准化(CmBN),自对抗训练(SAT)和Mish激活。我们使用以下新功能:WRC,CSP,CmBN,SAT,Mish激活,马赛克数据增强,CmBN,DropBlock正则化和CIoU丢失,并结合其中的一些特征来实现最新的结果: 在MS COCO数据集上利用Tesla V10以65 FPS的实时速度获得了43.5