Introduction

本篇来自于笔者学习MIT的公开课算法导论的学习笔记，仅仅是我个人接受课程教育后，进行的学习笔记，可能理解并不到位，仅供参考。

课程视频地址：
Lecture 3: Insertion Sort and Merge Sort

Insertion Sort and Merge Sort

Why Sorting?

首先让我们思考一个问题，为什么我们需要排序？

在日常生活中的很多场景，例如管理MP3的歌曲列表、维护手机通讯录等等，针对这些场景，排序可以将问题变得更加的简单。

Insertion Sort

接下来我们介绍一种排序算法，叫做插入排序（Insertion Sort）。

假定给定有序数组A[1…j-1]，我们希望将元素A[j]插入有序数组数组中，如下图：

simple insert sort

当然，这是非常理想的情况，我们只需要遍历数组，通过前后元素大小比较，找到A[j]应该插入到的位置，在该种情况下，时间复杂度为O(n)。

但是情况往往不可能会这么好，假定给定数组A[1…j-1]，其中元素是乱序，我们希望将元素A[j]插入有序数组数组中，如下图：

unsorted array

最简单的思路，我们随机选定一个位置的元素，然后进行两两比较，比较前后元素的大小，如果前面元素大于自身，那么将前面的元素与自身交换，以此类推：

unsorted array

这就是最基本的插入排序算法，但是我们可以看出来，这种方式是非常的“看运气”，时间复杂度取决于原有的数组的元素排列顺序，时间复杂度非常不稳定，最差时间复杂度为T = O( $n ^ 2$ ) + O( $n ^ 2$ )，需要 $n ^ 2$ 次比较和 $n ^ 2$ 次交换。
插入算法时间复杂度
OK，这显然并不是一个非常棒的解决方案，那么是否可以对其进行优化呢，答案是可以的。

Binary Insertion Sort

二分法查找是一个非常经典的查找算法，我们在上一章中也介绍过二分法查找，该种算法的时间复杂度为O( $\log_2(n)$ )，我们可以尝试将二分法查找引入插入排序算法，即二分插入排序。

结合上面的步骤，插入排序算法中需要将被插入元素与其他元素进行比较，需要 $n ^ 2$ 次比较，我们可以将该步操作改为二分法，即需要 $\log_2(n)$ 次比较， $n ^ 2$ 次交换。

因此二分查找算法的时间复杂度为T = O( $\log_2(n)$ ) + O( $n ^ 2$ )，需要 $\log_2(n)$ 次比较和 $n ^ 2$ 次交换。
二分插入算法时间复杂度
引入二分法后，我们取得了一定的性能提升，但是这仍不是一个特别出色性能的算法，我们希望寻找一个O( $\log_2(n)$ )的排序算法来解决排序问题。