外部排序

上篇： http://www.cnblogs.com/foreach-break/p/external_sort.html 字符集和编码 字节序 I/O方式 内存 磁盘 线程/同步/异步 数据特点 字符集和编码 为什么要考虑文件的编码？ 当你将文件从阿拉伯传到中国，告诉你的中国朋友要进行一个外部排序，你的中国朋友也许会傻： 上面是什么？ 乱码 . 你也可以这样体验乱码： echo "数" > t.txt iconv -f UTF-8 -t UNICODE t.txt ��pe 好了，你知道了如果不知道文件的编码，你可能会解析到乱码. 字符集是什么？ charset - > char-set，字符的集合.比如 UNICODE、ASCII 编码是什么？ encoding,字符的表示.比如 UTF-8、ASCII 字符集和编码的关系 你晕了，我也晕了，ASCII码怎么既是字符集又是编码？ 历史上，字符集和编码是同义词，实际却又不尽相同，没有一个规范地定义，那怎么理解呢？ 字符集，往往强调其所“支持”的字符范围，集外的字符它不支持.集合就有一个边界，边界内的我给个表示，边界外的我不知道怎么表示。 编码，往往强调针对某个字符集的字符，我这么去转换表达为机器可理解的方式-二进制，如果对某个字符集的字符，我的转换方式和其一致，那么我既是编码也是字符集，否则我就只是一种字符集的转换格式。 那么

外部排序： 一、定义问题 外部排序指的是大文件的排序，即待排序的记录存储在外存储器上，待排序的文件无法一次装入内存，需要在内存和外部存储器之间进行多次数据交换，以达到排序 整个文件的目的。外部排序最常用的算法是多路归并排序，即将原文件分解成多个能够一次性装入内存的部分，分别把每一部分调入内存完成排序。然后，对已经排 序的子文件进行多路归并排序。 二、处理过程 （ 1）按可用内存的大小，把外存上含有 n个记录的文件分成若干个长度为 L的子文件，把这些子文件依次读入内存，并利用有效的内部排序方法对它们进行排序，再将排序后得到的有序子文件重新写入外存； （ 2）对这些有序子文件逐趟归并，使其逐渐由小到大，直至得到整个有序文件为止。 先从一个例子来看外排序中的归并是如何进行的？ 假设有一个含10000 个记录的文件，首先通过10 次内部排序得到10 个初始归并段R1～R10 ，其中每一段都含1000 个记录。然后对它们作如图10.11 所示的两两归并，直至得到一个有序文件为止 如下图 三 、多路归并排序算法以及败者树 多路归并排序算法在常见数据结构书中都有涉及。从2路到多路（k路），增大k可以减少外存信息读写时间，但k个归并段中选取最小的记录需要比较k-1次， 为得到u个记录的一个有序段共需要(u-1)(k-1)次，若归并趟数为s次，那么对n个记录的文件进行外排时

漫画，什么是外部排序 还记得面试现场第一篇文章【面试现场】如何判断一个数是否在40亿个整数中？发出之后，最后蛋哥说把40亿个数先进行外部排序。有读者问到，内存无法一次性加载40亿个数，如何排序？ 背景 西天取经的路上，一样上演着编程的乐趣..... (互联网侦察注：160亿字节大概是16G吧，20亿int32大概8G) 置换选择 例如我们可以从12个数据读取3个存到内存中，然后从内存中选出最小的那个数放进子串p1里； 之后再从在从剩余的9个数据读取一个放到内存中，然后再从内存中选出一个数放进子串p1里，这个数必须满足比p1中的其他数大，且在内存中尽量小。 这样一直重复，直到内存中的数都比p1中的数小，这时p1子串存放结束，继续来p2子串的存放。例如(这时假设内存只能存放3个int型数据)： 12个无序的int数据 读入3个到内存中，且选出一个最小的到子串p1 从内存中再次读取一个元素86 从内存中再次读取一个元素3 从内存中再次读取一个元素24 从内存中再次读取一个元素8 这个时候，已经没有符合要求的数了，且内存已满，进而用p2子串来存放，以此类推。 通过这种方法，p1子串存放了4个数据，而原来的那种方法p1子串只能存放3个数据。 (不知道堆排序的可以看下我之前写的文章：【算法与数据结构】堆排序是什么鬼？) 从12个数据中读取3个数据，构建成一个最小堆

排序算法是《数据结构与算法》中最基本的算法之一。 排序算法可以分为 内部排序 和 外部排序 。 内部排序是数据记录在内存中进行排序。 而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。 常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。 用一张图概括： 时间复杂度与空间复杂度 关于时间复杂度： 平方阶 (O(n2)) 排序 各类简单排序：直接插入、直接选择和冒泡排序。 线性对数阶 (O(nlog2n)) 排序 快速排序、堆排序和归并排序； O(n1+§)) 排序，§ 是介于 0 和 1 之间的常数。 希尔排序 线性阶 (O(n)) 排序 基数排序，此外还有桶、箱排序。 关于稳定性： 稳定的排序算法：冒泡排序、插入排序、归并排序和基数排序。 不是稳定的排序算法：选择排序、快速排序、希尔排序、堆排序。 1. 冒泡排序 1.1 算法步骤 比较相邻的元素。如果第一个比第二个大，就交换他们两个。 对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。 针对所有的元素重复以上的步骤，除了最后一个。 持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。 1.2 动画演示 冒泡排序动画演示 1.3 参考代码 1// Java 代码实现 2public

排序之外部排序 有时，待排序的文件很大，计算机内存不能容纳整个文件，这时候对文件就不能使用内部排序了（这里做一下说明，其实所有的排序都是在内存中做的，这里说的内部排序是指待排序的内容在内存中就可以完成，而外部排序是指待排序的内容不能在内存中一下子完成，它需要做内外存的内容交换），外部排序常采用的排序方法也是归并排序，这种归并方法由两个不同的阶段组成： 1、采用适当的内部排序方法对输入文件的每个片段进行排序，将排好序的片段（成为归并段）写到外部存储器中（通常由一个可用的磁盘作为临时缓冲区），这样临时缓冲区中的每个归并段的内容是有序的。 2、利用归并算法，归并第一阶段生成的归并段，直到只剩下一个归并段为止。 例如要对外存中4500个记录进行归并，而内存大小只能容纳750个记录，在第一阶段，我们可以每次读取750个记录进行排序，这样可以分六次读取，进行排序，可以得到六个有序的 归并段 ，如下图： 每个归并段的大小是750个记录，记住，这些归并段已经全部写到临时缓冲区（由一个可用的磁盘充当）内了，这是第一步的排序结果。 完成第二步该怎么做呢？这时候归并算法就有用处了，算法描述如下： 1、将内存空间划分为三份，每份大小250个记录，其中两个用作输入缓冲区，另外一个用作输出缓冲区。首先对Segment_1和Segment_2进行归并，先从每个归并段中读取250个记录到输入缓冲区，对其归并