bitset

问题 假设你现在要处理这样一个问题，你有一个网站并且拥有很多访客，每当有用户访问时，你想知道这个ip是不是第一次访问你的网站。这是一个很常见的场景，为了完成这个功能，你很容易就会想到下面这个解决方案： 把访客的ip存进一个hash表中，每当有新的访客到来时，先检查哈希表中是否有改访客的ip，如果有则说明该访客在黑名单中。你还知道，hash表的存取时间复杂度都是O(1),效率很高，因此你对你的方案很是满意。 然后我们假设你的网站已经被1亿个用户访问过，每个ip的长度是15，那么你一共需要15 * 100000000 = 1500000000Bytes = 1.4G，这还没考虑hash冲突的问题（hash表中的槽位越多，越浪费空间，槽位越少，效率越低）。 于是聪明的你稍一思考，又想到可以把ip转换成无符号的int型值来存储，这样一个ip只需要占用4个字节就行了，这时1亿个ip占用的空间是4 * 100000000 = 400000000Bytes = 380M，空间消耗降低了很多。 那还有没有在不影响存取效率的前提下更加节省空间的办法呢? BitSet 32位无符号int型能表示的最大值是4294967295，所有的ip都在这个范围内，我们可以用一个bit位来表示某个ip是否出现过，如果出现过，就把代表该ip的bit位置为1

#include <boost/dynamic_bitset.hpp> using namespace boost; int main() { // 构造函数 dynamic_bitset<> db; // 空 dynamic_bitset<> db1(10); // 大小为10 dynamic_bitset<> db2(0x16, BOOST_BINARY(11101));// 大小为22 dynamic_bitset<> db3(std::string("0100")); // 大小为4 dynamic_bitset<> db4(db2); dynamic_bitset<> db5 = db3; cout << db2.to_ulong() << endl;// 29 转换为整数 cout << db3.to_ulong() << endl;// 4 // dynamic_bitset内部由高到底存储二进制位 // 访问 cout << db3[0];// 0 cout << db3[1];// 0 cout << db3[2];// 1 cout << db3[3] << endl;// 0 db3[0] = 1;// 非0就会置为1 cout << db3[0];// 1 cout << db3[1];// 0 cout << db3[2];// 1 cout << db3

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 布隆过滤器 Bloom Filter 是由Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况，可见 Bloom filter 是牺牲了正确率和时间以节省空间。 当然布隆过滤器也有缺点，主要是误判的问题，随着数据量的增加，误判率也随着增大，解决办法：可以建立一个列表，保存哪些数值是容易被误算的。 Bloom Filter最大的特点是不会存在false negative，即：如果contains()返回false，则该元素一定不在集合中，但会存在一定的true negative，即：如果contains()返回true，则该元素可能在集合中。 Bloom Filter在很多开源框架都有实现，例如： Elasticsearch：org.elasticsearch.common.util.BloomFilter guava：com.google.common.hash.BloomFilter Hadoop：org