snowflake

来源：rrd.me/g9zP3 一、数据库瓶颈 不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。 1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。 第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库。 2、CPU瓶颈 第一种：SQL问题，如SQL中包含 join ，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引，在业务Service层进行业务计算。 第二种：单表数据量太大，查询时扫描的行太多，SQL效率低，CPU率先出现瓶颈 -> 水平分表。 二、分库分表 1、水平分库 概念： 以字段为依据，按照一定策略（hash、range等），将一个库中的数据拆分到多个库中。 结果： 每个库的结构都一样； 每个库的数据都不一样，没有交集； 所有库的并集是全量数据； 场景： 系统绝对并发量上来了，分表难以根本上解决问题，并且还没有明显的业务归属来垂直分库。 分析： 库多了，io和cpu的压力自然可以成倍缓解。 2、水平分表 概念： 以字段为依据，按照一定策略

一、背景 在复杂分布式系统中，特别是微服构架中，往往需要对大量的数据和消息进行唯一标识。随着系统的复杂，数据的增多，分库分表成为了常见的方案，对数据分库分表后需要有一个唯一ID来标识一条数据或消息（如订单号、交易流水、事件编号等），此时一个能够生成全局唯一ID的系统是非常必要的。 业务对分布式ID规则有哪些要求？对分布式ID系统有什么要求？分布式ID算法有哪些？业内大厂是怎么用的？我们又是怎么玩的？接下来一 一揭晓。 二、分布式序列要求 分布式序列是一个通用的产品，要满足以要求： 1、全局唯一性 在同一场景下不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 2、趋势递增 在主键的选择上面我们应该尽量使用有序的主键保证写入性能、同时有利于索引提高查询的性能。 3、序列数据类型 序列的数据类型决定的存储空间大小，序列尽可能用整类型，以MYSQL bigint unsigned为例存储空间为8字节，范围(0~2*2^63-1 )是一个极大的整数，足以满足需求。 4、简单易用 能够拿来即用，接入方便，同时在系统设计和实现上要尽可能的简单。 三、序列常用算法 3.1、UUID UUID 含义是通用唯一识别码 (Universally Unique Identifier)，这是一个软件建构的标准。 UUID是由一组32位数的16进制数字所构成，UUID理论上的总数为1632=2128

本文根据黄东旭在 PingCAP D 轮融资线上发布会的演讲实录进行整理。 TiDB 的现在和未来 大家好，我是黄东旭，是 PingCAP 的联合创始人和 CTO，这是 PingCAP 成立以来的第一次发布会，我想跟大家简单聊聊 TiDB 在产品和技术上的更新。考虑到线上的很多观众不一定是有很强的技术背景，我将尽我所能将技术的部分说得让大家都能够理解。 在讲正题之前有一个小故事，我们做基础软件的产品经理去跟客户聊需求的时候，客户经常都会说：对于数据库，我的要求特别简单、特别基础、非常朴素，我不要求很多功能，安全稳定是必须的，最好能高可用，性能一定要好，如果数据量大了，能实现弹性伸缩就更好了；另外，最好别让我学太多新东西，用起来跟过去使用的产品差不多，这就是一款完美的数据库产品。 就像大家在家里用自来水一样，我们对自来水的需求就是拧开水龙头水就能出来，但是背后自来水厂是怎么处理的大家不用知道，我们只需要根据实际情况使用冷水或者热水就好。但是从技术的角度来说，刚才类似冷热水这个非常朴素的基础需求，类比一下放到数据库的世界这就是一个图灵奖级别的基础需求，稍微解释一下图灵奖是计算机行业学术界最顶级的，相当于计算机界的诺贝尔奖。 这里有两位行业泰斗级的人物，左边 Leslie Lamport 在 2013 年研究相关问题拿了图灵奖，右边这位跟我们挺有缘的，发型跟（我们的 CEO）刘奇同学挺像

刷题记录 2019.12.26 【暴力】Temporarily unavailable 【dp】B. K for the Price of On 【找规律】CF1263A Sweet Problem 【结论题】Everyone is a Winner! 【并查集+思维】Codeforces Round #603 (Div. 2) D. Secret Passwords 【线段树+思维】E. Editor 没调出来 2019.12.28 【线段树+思维】E. Editor 没调出来 【dp+dfs】P1441 砝码称重 【模拟】T112459 「SWTR-03」Password 【贪心】增减描述的排列 2019.12.29 【dp】P1387 最大正方形 【树形dp】P2279 [HNOI2003]消防局的设立 【线段树+思维】E. Editor 依旧没调出来 2019.12.31 【dfs+剪枝】P1120 小木棍 ［数据加强版］从04-19 15:16:20就开始提交一直到12-31 14:53:54终于A了 2020.1.2 【神仙hash表+空间优化】Snowflake Snow Snowflakes 【字符串hash】兔子与兔子 2020.1.4 【kmp,奇妙的next数组用法】Period poj1961 【trie】前缀统计 【trie】最大异或对 【$\color

不管我们是不是有身份的人，我们一定是有身份证的人，身份证上面的号码就是我们的 ID ，理论上这个ID是全国唯一的，而且通过这个号码，我们还可以得到一些个人信息，比如前两位可以确定我们第一次申请身份证的时候所在的省份、接下来的四位可以确定我们所在的区县，然后还可以知道我们出生的年月以及性别。 在我们的计算机应用中，也处处存在的ID， 比如订单编号、商品ID、微博ID、微信消息ID、书的ISDN号、商品条码等等。通过ID，可以迅速定位到对象实体、为对象之间建立关联、跟踪对象在不同服务之间的流转等等。 有的ID是无意义的唯一的标识，有的ID还能提供额外的信息，比如时间和机房信息等等。为了确保唯一性，有的ID使用很长的字节数，比如256个字节，有的通过递增的long类型，只需要8个字节来表示。考虑到存储、信息包含量、性能、安全等因素，一个好的ID的设计至关重要。 介绍ID生成和分布式的方案的文章已经非常非常多了，比如文末中的参考资料中的文章，所以我在本文中简洁的汇总各个方案的优缺点，然后介绍一个分布式的ID生成器项目rpcxio/did,它可以实现单节点百万级的ID生成。 ID 生成方案 UUID/GUID 通用唯一识别码（ Universally Unique Identifier ，缩写： UUID ）是用于计算机体系中以识别信息数目的一个128位标识符，也就是可以通过16个字节来表示

类SnowFlake这种方式为划分具体命名空间的一种ID生成方式。把64bits划分为多段，大致为标识+worker+时间戳+递增序列。具体位数划分决定了ID使用年限及ID的利用率。比如以上图示例：41位的时间戳可标识（1<<41）/(1000*60*60*24*365)大概为65年时间。10bit的worker可部署在1024台机器上10bit的自增序列可每毫秒产生1024个id.理论上每台机器可达到百万QPS值。具体划分根据公司内业务并发情况，业务可接入系统数来决定。 优点: 1.时间戳在高位，序列在低位保证ID是递增的。 2.无任何依赖外部系统，数据库以及中间件，保证服务更高的稳定性以及生成id的高性能。 3.可灵活分配bit位数。 缺点: 1.强依赖于硬件时钟，如果硬件时间回拨，可能会导致ID重复。 避免时钟回拨方案Id生成方式选择上还是选择类snowflake的方式，生成方式更灵活，可控，但需解决硬件时钟回拨的问题。解决时钟回拨的问题可以有以下两种方案: A. 代码发现发生时钟回拨后判断回拨长度，如果<=5ms则等待时间追上上次更新时间，如果>则抛出异常，返回错误码给调用端。(美团leaf分布式id做法) B. 消费未来时间，只在系统初次启动时记录System.currentTimeMillis().赋值为lastTime之后通过消费未来时间得到lastTime.

ID是数据的唯一标识，传统的做法是利用UUID和数据库的自增ID，在互联网企业中，大部分公司使用的都是Mysql，并且因为需要事务支持，所以通常会使用Innodb存储引擎，UUID太长以及无序，所以并不适合在Innodb中来作为主键，自增ID比较合适，但是随着公司的业务发展，数据量将越来越大，需要对数据进行分表，而分表后，每个表中的数据都会按自己的节奏进行自增，很有可能出现ID冲突。这时就需要一个单独的机制来负责生成唯一ID，生成出来的ID也可以叫做 分布式ID ，或 全局ID 。下面来分析各个生成分布式ID的机制。 这篇文章并不会分析的特别详细，主要是做一些总结，以后再出一些详细某个方案的文章。 数据库自增ID 第一种方案仍然还是基于数据库的自增ID，需要单独使用一个数据库实例，在这个实例中新建一个单独的表： 表结构如下： CREATE DATABASE `SEQID`; CREATE TABLE SEQID.SEQUENCE_ID ( id bigint(20) unsigned NOT NULL auto_increment, stub char(10) NOT NULL default '', PRIMARY KEY (id), UNIQUE KEY stub (stub) ) ENGINE=MyISAM; 可以使用下面的语句生成并获取到一个自增ID begin;

ID是数据的唯一标识，传统的做法是利用UUID和数据库的自增ID，在互联网企业中，大部分公司使用的都是Mysql，并且因为需要事务支持，所以通常会使用Innodb存储引擎，UUID太长以及无序，所以并不适合在Innodb中来作为主键，自增ID比较合适，但是随着公司的业务发展，数据量将越来越大，需要对数据进行分表，而分表后，每个表中的数据都会按自己的节奏进行自增，很有可能出现ID冲突。这时就需要一个单独的机制来负责生成唯一ID，生成出来的ID也可以叫做 分布式ID ，或 全局ID 。下面来分析各个生成分布式ID的机制。 数据库自增ID 第一种方案仍然还是基于数据库的自增ID，需要单独使用一个数据库实例，在这个实例中新建一个单独的表： 表结构如下： CREATE DATABASE `SEQID`; CREATE TABLE SEQID.SEQUENCE_ID ( id bigint(20) unsigned NOT NULL auto_increment, stub char(10) NOT NULL default '', PRIMARY KEY (id), UNIQUE KEY stub (stub) ) ENGINE=MyISAM; 可以使用下面的语句生成并获取到一个自增ID begin; replace into SEQUENCE_ID (stub) VALUES (

点击上方" 悟能之能 ",选择" 设为星标 " 回复" 面经 "获取面试资料 ID是数据的唯一标识，传统的做法是利用UUID和数据库的自增ID，在互联网企业中，大部分公司使用的都是Mysql，并且因为需要事务支持，所以通常会使用Innodb存储引擎，UUID太长以及无序，所以并不适合在Innodb中来作为主键，自增ID比较合适，但是随着公司的业务发展，数据量将越来越大，需要对数据进行分表，而分表后，每个表中的数据都会按自己的节奏进行自增，很有可能出现ID冲突。这时就需要一个单独的机制来负责生成唯一ID，生成出来的ID也可以叫做 分布式ID ，或 全局ID 。下面来分析各个生成分布式ID的机制。 数据库自增ID 第一种方案仍然还是基于数据库的自增ID，需要单独使用一个数据库实例，在这个实例中新建一个单独的表： 表结构如下： CREATE DATABASE `SEQID`; CREATE TABLE SEQID.SEQUENCE_ID ( id bigint ( 20 ) unsigned NOT NULL auto_increment, stub char ( 10 ) NOT NULL default '', PRIMARY KEY (id) , UNIQUE KEY stub (stub) ) ENGINE =MyISAM; 可以使用下面的语句生成并获取到一个自增ID begin

　　1956 年，福特公司上市，成为有史以来最大的 IPO。由于融资规模巨大，这次公开募股，几乎囊括了华尔街的每一家公司，其中就包括巴菲特的伯克希尔哈撒韦。 　　64 年后的 2020 年 9 月，SNOWFLAKE 上市，成为有史以来软件行业最大的 IPO 案例。同时，巴菲特继参与福特 IPO 之后再次出手，投资 SNOWFLAKE，这对于常年回避科技股的巴菲特来说，极为罕见。 　　虽然相隔 64 年，但由于巴菲特仅参与过这两次 IPO，于是，两件事被联系起来。某种意义上说，SNOWFLAKE 和当年的福特汽车颇有相似之处。 　　因流水线生产获得巨大成功，福特汽车真正地将汽车变成了工人阶级也能够买得起的快消品，这是对当时 “美国制造业翻天覆地的改革与创新”。 　　 而 SNOWFLAKE，在数据分析领域做到了这一点。基于公有云和弹性计算，SNOWFLAKE 将数据分析工具变成了快消品。对下游企业用户来说，存储、处理和分析海量数据，成为了 “绑定一张企业信用卡，就能马上开始” 的快捷消费。 　　 　　图｜SNOWFLAKE 公司 （来源：企业） 　　国内新型分布式数据库公司 PingCAP 在海外与 SNOWFLAKE 有相似业务。在与 DeepTech 谈到 SNOWFLAKE 模式成功的意义时，PingCAP 的 CTO 黄东旭打了一个比方， “SNOWFLAKE 出现之前