murmurhash

Bloom Filter实现大数据集查询 1、什么情况下需要布隆过滤器？ 先来看几个比较常见的例子 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点： 如何判断一个元素是否存在一个集合中？ 常规思路 数组 链表 树、平衡二叉树、Trie Map (红黑树) 哈希表 虽然上面描述的这几种数据结构配合常见的排序、二分搜索可以快速高效的处理绝大部分判断元素是否存在集合中的需求。但是当集合里面的元素数量足够大，如果有500万条记录甚至1亿条记录呢？这个时候常规的数据结构的问题就凸显出来了。数组、链表、树等数据结构会存储元素的内容，一旦数据量过大，消耗的内存也会呈现线性增长，最终达到瓶颈。有的同学可能会问，哈希表不是效率很高吗？查询效率可以达到O(1)。但是哈希表需要消耗的内存依然很高。使用哈希表存储一亿 个垃圾 email 地址的消耗？哈希表的做法：首先，哈希函数将一个email地址映射成8字节信息指纹；考虑到哈希表存储效率通常小于50%（哈希冲突）；因此消耗的内存：8 * 2 * 1亿 字节 = 1.6G 内存，普通计算机是无法提供如此大的内存。这个时候，布隆过滤器（Bloom Filter）就应运而生

很多同学应该都知道什么是哈希函数，在后端面试和开发中会遇到「一致性哈希」，那么什么是一致性哈希呢？ 名字听起来很厉害的样子，其实原理并不复杂，这篇文章带你彻底搞懂一致性哈希！ 进入主题前，先来一场紧张刺激的模拟面试吧。 模拟面试 面试官：看你简历上写参与了一个大型项目，用到了分布式缓存集群，那你说说你们是怎么做缓存负载均衡？ 萌新 ：这个我知道，我们用的是轮询方式，第一个key 给第一个存储节点，第二个 key 给第二个，以此类推。 面试官：还有其他解决方案吗？ 萌新：可以用哈希函数，把请求打散随机分配到缓存集群内机器。 面试官：考虑过这种哈希方式负载均衡的扩展性和容错性吗？ 萌新：... 面试官：回去等通知吧。 以上如有雷同，算你抄我的。 什么是哈希 数据结构中我们学习过哈希表也称为散列表，我们来回顾下散列表的定义。 散列表，是根据键直接访问在指定储存位置数据的数据结构。通过计算一个关于键的函数也称为哈希函数，将所需查询的数据映射到表中一个位置来访问记录，加快查找速度。这个映射函数称做「散列函数」，存放记录的数组称做散列表。 散列函数能使对一个数据序列的访问过程更加迅速有效，是一种空间换时间的算法，通过散列函数数据元素将被更快定位。 下图示意了字符串经过哈希函数映射到哈希表的过程。没错，输入字符串是用脸滚键盘打出来的：） 哈希示意图.png 常见的哈希算法有MD5、CRC

  《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇，最新系列文章请前往 公众号“zxiaofan” 查看，或 百度搜索“玩转Redis zxiaofan” 即可。 本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构； 大纲 伯努利试验 HyperLogLog结构 HyperLogLog对象头 pfcount及基数缓存 pfadd底层逻辑 密集存储结构和稀疏存储结构 HyperLogLog引发的思考 名词解释： 1、基数 ：集合中不重复元素的个数； 2、HLL ：HyperLogLog 的简写； 概要   上文 《玩转Redis-HyperLogLog统计微博日活月活》 介绍了牛逼哄哄的HyperLogLog，传入元素数量或体积非常大时，HLL所需空间固定且很小。12kb内存可计算接近 2^64 个不同元素的基数。如此厉害，怎能不继续深入探索呢？ PS：看完这篇文章，你会发现HyperLogLog能统计的基数值实际并不是 2^64 。 1. 伯努利试验   介绍HyperLogLog底层原理前，我们先了解下伯努利试验（援引百度百科）。   伯努利试验（Bernoulli experiment）是在同样的条件下重复地、相互独立地进行的一种随机试验。   其特点是该随机试验只有两种可能结果

什么情况下需要布隆过滤器？ 先来看几个比较常见的例子 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点： 如何判断一个元素是否存在一个集合中？ 常规思路 数组 链表 树、平衡二叉树、Trie Map (红黑树) 哈希表 虽然上面描述的这几种数据结构配合常见的排序、二分搜索可以快速高效的处理绝大部分判断元素是否存在集合中的需求。但是当集合里面的元素数量足够大，如果有500万条记录甚至1亿条记录呢？这个时候常规的数据结构的问题就凸显出来了。数组、链表、树等数据结构会存储元素的内容，一旦数据量过大，消耗的内存也会呈现线性增长，最终达到瓶颈。有的同学可能会问，哈希表不是效率很高吗？查询效率可以达到O(1)。但是哈希表需要消耗的内存依然很高。使用哈希表存储一亿 个垃圾 email 地址的消耗？哈希表的做法：首先，哈希函数将一个email地址映射成8字节信息指纹；考虑到哈希表存储效率通常小于50%（哈希冲突）；因此消耗的内存：8 * 2 * 1亿 字节 = 1.6G 内存，普通计算机是无法提供如此大的内存。这个时候，布隆过滤器（Bloom Filter）就应运而生。在继续介绍布隆过滤器的原理时，先讲解下关于哈希函数的预备知识。 哈希函数

参考 https://www.jianshu.com/p/05bf8a945944 字典结构 https://github.com/antirez/redis/blob/unstable/src/dict.h typedef struct dict { // 特定于类型的处理函数 dictType *type; // 类型处理函数的私有数据 void *privdata; // 哈希表（2个） dictht ht[2]; // 记录 rehash 进度的标志，值为-1 表示 rehash 未进行 int rehashidx; // 当前正在运作的安全迭代器数量 int iterators; } dict; typedef struct dictht { dictEntry **table;// 二维 unsigned long size;// 第一维数组的长度 unsigned long sizemask; unsigned long used;// hash 表中的元素个数 } dictht; typedef struct dictEntry { void *key; union { void *val; uint64_t u64; int64_t s64; double d; } v; struct dictEntry *next; } dictEntry; 图示如下 基本操作