海量数据处理面试题
何谓海量数据处理？ 所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。 那解决办法呢？针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如布隆过滤器/Hash/bit-map/堆/数据库或倒排索引/trie树，针对空间，无非就一个办法：大而化小，分而治之（hash映射），你不是说规模太大嘛，那简单啊，就把规模大化为规模小的，各个击破不就完了嘛。 海量数据处理主要方法： 分而治之-hash映射 + hash统计 + 堆排序/外排序 布隆过滤器 布隆过滤器+分层 哈希函数的性质： 典型的哈希函数都有无限的输入值域。 当给哈希函数传入相同的输入值时，返回值一样，即哈希值一样。 当给哈希函数传入不同的值时，返回值可能一样，也可能不一样。 很多不同的输入之所得到的返回值会均匀的分布在S上，S为输出域–范围固定。这条性质是评判一个哈希函数优劣的关键。 堆排序的注意点： 要找出最大的TopK，要建立最小堆，堆顶元素为最小的，先拿K个数建立最小堆，接下来每拿一个数都和堆顶元素比较，如果比堆顶元素大，则代替堆顶元素，然后对该堆进行凋整，使之成为最小堆。重复操作直到遍历所有数据。 要找出最小的TopK，要建立最大堆，每次与最大堆的堆顶元素比较，小于堆顶元素则代替堆顶元素，然后进行调整