哈希算法

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、 平衡性(Balance) ：平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。 2、 单调性(Monotonicity) ：单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到原有的或者新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区。 3、 分散性(Spread) ： 在分布式环境中，终端有可能看不到所有的缓冲，而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时，由于不同终端所见的缓冲范围有可 能不同，从而导致哈希的结果不一致，最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的，因为它导致相同内容被存储到不 同缓冲中去，降低了系统存储的效率

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 简介： 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 平衡性(Balance)： 平衡性是指 哈希的结果能够尽可能分布到所有的缓冲中去 ，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。 单调性(Monotonicity)： 单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够 保证原有已分配的内容可以被映射到原有的或者新的缓冲中去 ，而不会被映射到旧的缓冲集合中的其他缓冲区。 分散性(Spread)： 在分布式环境中，终端有可能看不到所有的缓冲，而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时，由于不同终端所见的缓冲范围有可能不同，从而导致哈希的结果不一致，最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的，因为它导致相同内容被存储到不同缓冲中去， 降低了系统存储的效率

什么是工作量证明： 1、工作的结果作为数据加入区块链成为一个区块 2、完成这个工作的人会获得奖励（这也就是通过挖矿获得比特币） 3、整个“努力工作并进行证明”的机制，就叫工作量证明 为什么采用哈希算法： 1、不可逆：无法从一个哈希值恢复原始数据，哈希并不是加密 2、唯一性：对于特定的数据，只能有一个哈希值，并且这个哈希值是唯一的 3、防篡改：改变输入数据中的一个字节，导致输出一个完全不同的哈希 哈希算法特征： 1、正向快速：给定明文和hash算法，在有限时间和有限资源内能计算出hash值 2、逆向困难：给定hash值，在有限时间内很难逆推出明文 3、输入敏感：原始输入信息修改一点信息，产生的hash值会有很大的不同 4、冲突避免：很难找到两段内容不同的明文，使得他们的hash值一致（发生冲突） main.go package main import ( "core" "fmt" "strconv" ) func main() { bc := core.NewBlockChain() bc.AddBlock("Send 1 BC to Ivan") bc.AddBlock("Send more BC to Ivan") for _,block := range bc.Blocks { fmt.Printf("Prev hash: %x\n", block.PrevBlockHash)

1 概述 1.1 传统哈希(硬哈希) 分布式系统中，假设有 n 个节点，传统方案使用 mod(key, n) 映射数据和节点。 当扩容或缩容时(哪怕只是增减1个节点)，映射关系变为 mod(key, n+1) / mod(key, n-1)，绝大多数数据的映射关系都会失效。 1.2 一致性哈希(Consistent Hashing) 1997年，麻省理工学院(MIT)的 David Karger 等6个人发布学术论文《Consistent hashing and random trees: distributed caching protocols for relieving hot spots on the World Wide Web（一致性哈希和随机树：用于缓解万维网上热点的分布式缓存协议）》，对于 K 个关键字和 n 个槽位(分布式系统中的节点)的哈希表，增减槽位后，平均只需对 K/n 个关键字重新映射。 1.3 哈希指标 评估一个哈希算法的优劣，有如下指标，而一致性哈希全部满足： 均衡性(Balance)：将关键字的哈希地址均匀地分布在地址空间中，使地址空间得到充分利用，这是设计哈希的一个基本特性。 单调性(Monotonicity): 单调性是指当地址空间增大时，通过哈希函数所得到的关键字的哈希地址也能映射的新的地址空间，而不是仅限于原先的地址空间。或等地址空间减少时

散列表： hash冲突解决 1）开放定址法 ： 存入：冲突的 进行二次处理，加线性，平方等；以线性为例，会逐个向下找，直到找到一个空的位置然后放进去 查找：与存入相似，先hash定位起始的查找位置，然后向下找等于的对象，如果遇到空的说明不存在 删除：因为上面查找遇空则说明不存在，所以不可以直接删除，仅仅可以标记删除 2）链表: 3）再hash:产生冲突时，计算另一个哈希函数地址，到不冲突为止。使用一组散列函数 hash1(key)，hash2(key)，hash3(key)……我们先用第一个散列函数，如果计算得到的存储位置已经被占用，再用第二个散列函数，依次类推，直到找到空闲的存储位置。 4）公共溢出区：把溢出的放到一起 装载因子=填入表中的元素个数/散列表的长度 假设我们有 10万条URL 访问日志次数表，如何按照访问次数给 URL 排序？ 1：保存次数 遍历 10 万条数据，以 URL 为 key，访问次数为 value，存入散列表，同时记录下访问次数的最大值 K，时间复杂度 O(N)。 k不大可以使用桶排序，否则快排 有两个字符串数组，每个数组大约有 10 万条字符串，如何快速找出两个数组中相同的字符串？ 一个用来查，一个用来插入 以第一个字符串数组构建散列表，key 为字符串，value 为出现次数。再遍历第二个字符串数组，以字符串为 key 在散列表中查找，如果

select dbms_metadata.get_ddl('TABLE','TABLE_NAME') from dual; 返回包括索引信息： CONSTRAINT "XXX_PK" PRIMARY KEY ("F1", "F2") DISABLE 关于所以的具体数据结构介绍:https://blog.csdn.net/xiaoxin0630/article/details/88786873 二叉 B- B+ Hash 1、哈希索引就是采用一定的哈希算法把键值换算成新的哈希值，检索时不需要类似B+树那样从根节点到叶子节点逐级查找，只需一次哈希算法即可立刻定位到相应的位置，速度非常快。 2、B+树索引和哈希索引有如下四点明显区别： a、如果是等值查询，那么哈希索引明显有优势，因为只需要经过一次算法即可找到相应的键值； b、如果是范围查询检索，这时候哈希索引没有优势了，因为原先是有序的键值，经过哈希算法后，有可能变成不连续的了，就没办法再利用索引完成范围查询检索； 同理，哈希索引也没办法利用索引完成排序，以及like ‘xxx%’ 这样的部分模糊查询（这种部分模糊查询，其实本质上也是范围查询）；------------------- 这里HBASE 分布式数据库就能做到Row Key order. 不理解为什么做不到。看来是存储方式不灵活 c、哈希索引也不支持多列联合索引的最左匹配规则

有没有好奇过redis、memcache等是怎么实现集群负载均衡的呢？ 其实他们都是通过一致性hash算法实现节点调度的。 讲一致性hash算法前，先简述一下求余hash算法： hash(object)%N 一个缓存服务器宕机了，这样所有映射到这台服务器的对象都会失效，我们需要把属于该服务器中的缓存移除，这时候缓存服务器是 N-1 台，映射公式变成了 hash(object)%(N-1) ； 由于QPS升高，我们需要添加多一台服务器，这时候服务器是 N+1 台，映射公式变成了 hash(object)%(N+1) 。 1 和 2 的改变都会出现所有服务器需要进行数据迁移。 一致性HASH算法 一致性HASH算法的出现有效的解决了上面普通求余算法在节点变动后面临全部缓存失效的问题： 　　type Consistent struct { 　　 numOfVirtualNode int 　　hashSortedNodes [] uint32 　　 circle map[ uint32] string 　　 nodes map[ string] bool } 简单地说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某空间哈希函数H的值空间是0-2^32-1（即哈希值是一个32位无符号整形），整个哈希空间如下： 下一步将各个服务器使用哈希算法计算出每台机器的位置

一致哈希是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对 K/n个关键字重新映射，其中K是关键字的数量， n是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对所有关键字进行重新映射。 原理 一致性Hash算法通过一个叫做一致性Hash环的数据结构实现Key到缓存服务器的Hash映射。 先构造一个长度为2的32次方的整数环（这个环被称为一致性Hash环），根据节点名称的Hash值（其分布为[0, 232-1]）将服务器节点放置在这个Hash环上，然后根据数据的Key值计算得到其Hash值（其分布也为[0, 232-1]），接着在Hash环上顺时针查找距离这个Key值的Hash值最近的服务器节点，完成Key到服务器的映射查找。 环形Hash空间 环形Hash空间 把数据通过一定的hash算法处理后映射到环上 现在我们将object1、object2、object3、object4四个对象通过特定的Hash函数计算出对应的key值，然后散列到Hash环上。如下： Hash(object1) = key1； Hash(object2) = key2； Hash(object3) = key3； Hash(object4) = key4； 数据Hash 将节点通过hash算法映射到环上 在采用一致性哈希算法的分布式集群中将新的节点加入

python的内存管理 计数器 垃圾回收机制 垃圾回收：引用计数为主，标记清除和分带回收为辅 开启一个新的对象会存放到双端链表中 通过引用计数来决定是不是垃圾，但是会有循环引用的问题 为了解决循环引用，使用了标记清除，标记清除就是将循环引用的内容引用计数自动减一 为了解决多次扫描一个双端链表，使用了分袋回收，一共3个袋，0袋，1袋，2袋 当0袋的总长度>=700时扫描一下0袋，当0袋扫描10次后扫描一次1袋，扫描10次后计数仍大于等于1的进入1袋 当1袋扫描10次后扫描一次2袋，1袋扫描10次后计数仍大于等于1的进入2袋 内存池 a = 3.14 del a print(id(a)) b = 2.7 print(id(b)) #a和b的内存地址一样，因为有内存池的存在，浮点数和列表会使用和之前创建的对象同一内存地址 如何避免哈希冲突 可哈希？ 如果一个对象在其生命周期内，其哈希值(可以通过python的内置函数hash获得)从未改变(这需要一个__hash__()方法)，并且可以与其他对象进行比较(这需要一个__eq__()或__cmp__()方法)，那么这个对象就是可哈希的。哈希对象的相等意味着其哈希值的相等。 哈希性使得对象可以用作dictionary键和set成员，因为这些数据结构在内部使用了哈希值。 Python的所有不可变的内置对象都是可hashable的，但可变容器

在学习Java集合 HashMap 源码时，了解到了 HashMap 是底层的数据结构是基于哈希表（也叫散列表），意识到以前对于哈希表的学习也是浅尝辄止的，故做了一番功课以后，写下这篇文章。 散列表（Hash table，也叫哈希表），是根据关键码值(Key)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。 给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash）表，函数f(key)为哈希(Hash) 函数。 这样说可能有些抽象，但是别急，我们从哈希表的产生原因慢慢道来。 我们知道，数组通过下标直接访问一个元素的是非常快速的，专业一点来讲就是时间复杂度只有 O(1) ，其原因是因为数组在计算机内存内存储是直接申请了一块连续的内存，而数组的下标会直接对应一个元素的内存地址， 也就是说CPU就可以直接拿到元素地址去访问。 但是有些特殊的需求，比如一个键值对 （"《新华字典》":"cn-12345"） 这种形式的数据，如果使用数组这种数据结构， 是很难实现物理意义上键和值的映射关系的。 当然你可以使用一维数组强行实现。 // 一维数组强行实现键值对映射，但需要定义自己的分隔符（我们使用 :) String