TiDB

汉得技术中台HZERO 一款基于微服务架构的技术中台产品，可支持企业各类系统搭建或产品研发，帮助企业快速构建技术中台。 汉得技术中台HZERO是企业级技术中台， 结合汉得多年的项目实施经验，应用微服务、容器、DevOps等云原生技术，封装了大量技术开发包、技术应用组件、技术场景实现能力，并结合以人工智能、大数据、物联网和云技术为代表的新一代信息技术，建设成为可支持各种企业级数字化应用的技术开发与应用平台。 基于沉淀的各种技术组件与能力，能快速组合实现业务场景，帮助企业更加高效便捷地落地产品研发、业务需求，快速进行数字化转型，减少企业在数字化过程中重复造轮子带来的成本浪费。支持SaaS模式应用， 提供了一个可支持企业各业务系统及产品快速开发实现的微服务应用数字化融合平台， 富含各类开箱即用的组件G-General、A-AI、B-BigData、M-Mobile、D-DevOps，助力企业跨越Cloud（IaaS/PaaS）与自身数字化的鸿沟，共享业务服务的组合重用，为企业服务化中台整合、数字化转型提供强力支撑，也为企业提供了最佳架构实践。 同时，HZERO 使用 Spring Cloud 作为微服务分布式系统，还基于 Spring Boot 进行了通用性模块的封装，例如鉴权服务、调度服务、消息服务等等；前端使用 React 作为开发组件，基于AntD进行二次封装和改造并自研了C7N

作者介绍：李淳竹（lichunzhu），TiDB 研发工程师。 Tools SIG Community ：主要涵盖 TiDB 数据处理工具，包含 TiDB 数据备份/导入导出，TiDB 数据变更捕获，其他数据库数据迁移至 TiDB 等。 Dumpling 是由 Go 语言编写的用于对数据库进行数据导出的工具。目前支持 MySQL 协议的数据库，并且针对 TiDB 的特性进行了优化。Dumpling 的主要特点包括： 1. 适配 Mydumper，轻松上手。 2. Go 语言编写，定制开发简单。 自定义导出过滤条件； 多种导出格式。目前支持 SQL、CSV 格式的导出； 多种目标源。目前支持本地盘，S3/GCS 正在开发中； 未来计划支持导出多种数据库源。 Go 语言支持 给 Mydumper 贡献代码没有那么容易。主要原因如下： Mydumper 由 C 编写，相比起来编译与准备环境要更为复杂。 Mydumper 调试不太方便，这也不利于在发现问题后查错。 C 语言更难做抽象化，定制化功能困难。 Mydumper repo 没有单元测试与集成测试，只能手动验证功能是否正确。 而 Dumpling 由 Go 语言实现，非常易于维护。 Go 生态有非常丰富的扩展包，这使得在 Dumpling 上实现添加新功能更加容易。同时 Go

作者 | 马超 责编 | 伍杏玲 出品 | CSDN（ID:CSDNnews） 鹰击长空，鱼翔浅底，万类霜天竞自由。——《沁园春 · 长沙》 去年底，一国外程序员写的《中国的开源项目正在破坏 GitHub 的排行榜》博客引起国内开发者热议，他在博客对中国项目占领 GitHub 趋势榜进行了无奈的吐槽。 这样火爆的场面是我国开源事业蓬勃发展的一个侧影。如今越来越多中国年轻程序员投身到开源社区，目前在 GitHub 全球 4000 万注册用户中，中国开发者从数量和贡献度上均位列第二，越来越多的国内企业在国际合作的开源项目中扮演着重要角色。我国的活跃开源项目贡献者，有40%以上是在2019年里加入的，他们大多是 90 后，是年轻程序员的代表。 纵观开源在我国发展的二十多年历程里，开源软件从无到有，从小到大，目前已成为IT软件的基石：我们使用的安卓手机中运行着开源的操作系统，日常访问的网站中由众多开源软件来支撑。 中国开源事业始于互联网，发力于互联网，崛起于移动互联网，并在即将到来的万物互联时代迎来爆发。 那么什么是开源软件，中国开源软件的历史上又有哪些故事和传奇？ 为了讲清楚开源的那些事，笔者找到了中国开源史上的五位代表性人物，他们是 LVS创始人章文嵩、MiniGui创始人魏永明、RT-Thread创始人熊谱翔、TDengine创始人陶建辉、TiDB创始人黄东旭 ，共同畅谈中国开源史

时光荏苒、岁月如梭，2020年已经进入下半场。尽管新冠病毒引起的疫情已经肆虐了6个月，全世界的人们都身受其带来的深远影响，但我们仍应保持信心，随着疫情得到控制、经济重启、业务量回升，整个社会活动终将回归正轨。特别是在数据时代，疫情在某种程度上加速了数字化进程，因此数据库行业必将迎来更加强劲的发展。这点，从疫情得到全面控制的国内环境来看，已经得到了验证。 在为大家整理的这份2020年7月号 国产数据库流行度排行榜 上，TiDB、OceanBase和达梦数据库依旧稳居前三，是国产数据库中的佼佼者。6月上旬TiDB DEVCON 2020的举办，获得了金融、制造、电信、电商、物流、能源、快消、新零售等诸多领域更广泛的认可，也促使TiDB的得分再创新高。OceanBase和达梦则持续深耕细作，在业界保持着口碑和实力的双轮驱动。 ::: 为了给予更多国产数据库一个展示机会，让更多的人了解和关注国产数据库，这次我们还是截取了 墨天轮的国产数据库排行榜 Top 20。这里告诉大家一个彩蛋：点击排行榜中各数据库的名称，均可跳转至对应的百科页面，可以更详细、更全面地了解该数据库哦~~~ 在具体排名上，Top 10虽相较上个月没有任何变化，但以阿里、腾讯、华为为代表的国内大厂纷纷动作不断，从月初到月末，新品、新闻频出，着实令人兴奋： 6月1日，在OceanBase数据库问世十年之际

　　64912 的贡献量！ 　　 　　图 | 2019 CNCF 年度报告对 PingCAP 的报道 　　该排名来自美国 Linux 基金会旗下的云原生计算基金会（CNCF）。自 2015 年成立以来，PingCAP 以 64912 的贡献量，位居贡献总榜单第七名。 　　 　　图 | CNCF 自成立以来的成员贡献量排行 　　可在五年前， “国外人能做，你们肯定做不出来”，这是黄东旭创业伊始，听到最多的声音。 　　2015 年 4 月 19 日，他的合伙人 PingCAP CEO 刘奇发了条招人微博，阅读量 47 万多，但却没收到一封简历，批评声倒是雪片般飞来。 　　 　　图 | 刘奇创业后的首条微博 　　由于 PingCAP 要做的是开源数据库，很多网友觉得这事很不“中国”，一听就像是国外的事，还有人劝他说数据库是个大坑。 　　更有人怼他：“如果本职工作都没做好，一味忙活开源、框架，以提高影响力，那未必说明他就是技术大牛，也更未必是创业企业所需要的人。” 　　在这条微博下，黄东旭也在留言区鼓励大家投简历。和黄东旭以及刘奇，同为创始人的还有崔秋，他们相识于前东家豌豆荚。 　　当被问到三人职位是怎么划分的，黄东旭开玩笑说：“我们仨当时约定，谁技术能力最强，谁就当 CEO。” 　　说完他又补充称，也没有这么简单，分工主要综合了三人的性格、优势偏好等。最后，黄东旭和崔秋，分别成为 CTO

高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。 在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解，但是能系统性地回答好此问题的人并不多，大概分成这样几类： 1、** 对数据化的指标没有概念**：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，甚至不知道自己系统的总用户量、活跃用户量，平峰和高峰时的QPS和TPS等关键数据。 2、设计了一些方案，但是细节掌握不透彻： 讲不出该方案要关注的技术点和可能带来的副作用。比如读性能有瓶颈会引入缓存，但是忽视了缓存命中率、热点key、数据一致性等问题。 3、理解片面，把高并发设计等同于性能优化： 大谈并发编程、多级缓存、异步化、水平扩容，却忽视高可用设计、服务治理和运维保障。 4、掌握大方案，却忽视最基本的东西： 能讲清楚垂直分层、水平分区、缓存等大思路，却没意识去分析数据结构是否合理，算法是否高效，没想过从最根本的IO和计算两个维度去做细节优化。 这篇文章，我想结合自己的高并发项目经验，系统性地总结下高并发需要掌握的知识和实践思路，希望对你有所帮助。内容分成以下3个部分： 如何理解高并发？ 高并发系统设计的目标是什么？ 高并发的实践方案有哪些

作者介绍：王志刚，光大银行数据库运维主管。 大家好，我是来自中国光大银行信息科技部的王志刚，非常高兴有机会给大家分享一些分布式数据库在光大银行的应用探索。我目前在光大银行银行信息科技部负责数据库管理团队，在加入光大银行之前在三星、索尼爱立信，还有 Oracle 工作过，一直在负责数据库相关的工作。在近十年我和我的团队一直负责光大银行总行的数据库运维，这里面既包括我们的交易型数据库，也包括 MPP，还有 Hadoop 这样的大数据运维。在运维的过程中，我们一直也在思考现在的数据库有哪些问题、面临哪些风险、数据库技术的发展趋势是什么，这一点是很重要的，因为它决定了我们为什么要转向分布式，我们希望分布式能替我们解决哪些问题，它能够解决哪些问题和它不能够解决哪些问题。 我们现在运维的数据库包括商业数据库，像 Oracle、SQL Server、DB2；也有开源数据库，像关系型的 MySQL、NoSQL 数据库、Redis（KV 型），还有大数据、MPP，和分布式数据库等等。 目前运维的数据库面临哪些挑战？ 以我们的观点去看现在银行数据库面临哪些挑战呢？我们认为有下面几点。 1. 处理能力受限 很多人都认为我们现在处理能力受限，但是数据库能力受限到底瓶颈在哪里？在我们看来在高的业务压力下瓶颈主要有两点： 一是集中式存储资源的压力 。我们可以用最高端的存储，用最好的设备，但他终究是一个单点

经常思考一个问题，为什么我们需要分布式？很大程度或许是不得已而为之。如果摩尔定律不会失效，如果通过低成本的硬件就能解决互联网日益增长的计算存储需求，是不是我们也就不需要分布式了。 过去的二三十年，是一场软件工程师们自我拯救的，浩浩荡荡的革命。分布式技术的发展，深刻地改变了我们编程的模式，改变了我们思考软件的模式。通过随处可见的 X86 或者 Arm 机器，构建出一个无限扩展的计算以及存储能力，这是软件工程师最浪漫的自我救赎。 值 2019 年末，PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术”专题， 邀请转转、Pulsar、微众银行、UCloud、知乎、贝壳金服等技术团队共同参与，从数据库、硬件、测试、运维等角度，共同探索这个古老领域的新生机。 系列一：存储之数据库篇 回看这几年，分布式系统领域出现了很多新东西，特别是云和 AI 的崛起，让这个过去其实不太 sexy 的领域一下到了风口浪尖，在这期间诞生了很多新技术、新思想，让这个古老的领域重新焕发生机。站在 2010s 的尾巴上，我想跟大家一起聊聊分布式系统令人振奋的进化路程，以及谈一些对 2020s 的大胆猜想。 无论哪个时代，存储都是一个重要的话题，今天先聊聊数据库。在过去的几年，数据库技术上出现了几个很明显的趋势。 存储和计算进一步分离 我印象中最早的存储-计算分离的尝试是 Snowflake

数据库管理系统（Database Management System，DBMS） a.关系型数据库 RDBMS RelationalDBMS 其代表有Oracle、MySQL、MSSQL、PG。 b..非关系型数据库 NoSQL 其代表有MongoDB、ES、Redis； c.云数据库RDS(Relational Database Service) 其代表有阿里的PolarDB、腾讯的TDSQL； d.NewSQL 其代表有国内PingCAP公司的TiDB; 再来看一下数据库排行榜， 关系和NoSQL数据库管理系统的知识库 ，如图1-1所示： 图1-1 各大数据库引擎 直接正题！！！ 结构化查询语言(Structured Query Language,SQL)定义了操作所有关系型数据库的规则。每种数据库的操作方式都有一定的差异，通俗的理解就是，SQL就相当于国内的普通话，MySQL相当于武汉话。 注释方式，如图1-2所示： 图1-2 3种注释方式 SQL分类，见图1-3所示： 1) DDL(Data Definition Language)数据定义语言 用来定义数据库对象：数据库，表，列等。关键字：create, drop,alter 等 2) DML(Data Manipulation Language)数据操作语言 用来对数据库中表的数据进行增删改。关键字：insert,

作者简介：余军，PingCAP 解决方案事业部总经理。 对于金融企业来说，尤其是银行、证券、保险这些行业，在一个 IT 系统运行支撑业务的过程当中，考虑到硬件的故障、网络的故障，等一切可能会对业务产生影响的突发故障。那么，在过去漫长的 IT 发展的过程当中，大量的技术被应用在关于如何解决组件级的高可用，整个服务的容灾和灾备，包括如何保证整体业务的连续性。 在金融行业来说，数据库作为最核心的基础组件之一，要求它能够安全运行和保障数据安全，这是一个刚需。另外，数据库服务本身的高可用，是我们实现整个对外数据服务连续性的最重要的基石。在这些基础上，光有高可用还是不够的，我们需要考虑到机房级的、数据中心级的、站点级的灾难导致的对业务的影响。配套的容灾技术，以及对应事件的方案，应运而生。在过去的二、三十年里面，关于容灾和技术的技术手段、软件工具，包括各种各样的方案、管理方法，在不断的展现。 传统数据库支撑关键计算的高可用/容灾方案短板 回到传统的数据库领域，在过去至少三四十年的时间里，我们都是在使用集中式的数据库，比如大家非常熟悉的 Oracle、DB2 包括曾经很辉煌的 Sybase、Informix 等等。这些数据库都是以大家所熟知的“ IOE”的架构来实现数据服务的。 在这些技术体系下，在长期的技术发展过程当中，也有产生对应的高可用和容灾的方案，比如说大家非常熟悉的 Oracle RAC