来源：https://blog.csdn.net/osanwenyu/article/details/48439461
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
一、前言
汉字编码是让人比较头疼的一块，最近下定决定把他搞懂。网上翻了个遍，讲得详细透彻的让人头疼看不下去，讲得通俗的不够详细，只言片语。更有甚者开篇即讲Unicode是啥，多少个字符，GB2312巴拉巴拉，多少个汉字，全然不讲应用场景，不理知识接受的先后，遂结合翻看过的几篇写一写心得。
二、字符编码的发展
ASCII
--> 拓展字符集
-->GB2312(中国大陆)
-->GBK
--> unicode
1.ASCII
最早的时候计算机只在美国使用，人民解决英文与二进制的映射关系，发明了ASCII编码，将所有大小写英文字母以及常用的英文标定符号编进去。还有一些并不代表文字意义但又经常要表达的操作也加了进去，这就是控制字符，如换行、回车、制表符等等。这时发现所有的字符都编进去了，才占用了127个，每个字符占用一个字节，这是一套完美的编码方式。
2.拓展字符集
后来科技发展，计算机在世界各国普及开来，英语地区还好，直接能显示英文，非英语地区就没那么好运了。为此程序员们为自己的母语开发了自己文字与二进制的映射关系（主要是拉丁系文字的国家），从128一直占用到字节的最后一个255，这拓展的128个加上原有的128个，一共256个九叫做ASCII拓展字符集，又称IBM拓展字符集。
3.本地化（GB2312、BIG5、Shift JIS...）
再后来非拉丁系国家一看不行啊，我也要搞自己的字符集，于是百花齐放的时代来了，由于一个字节的已经被占满了，各国都采用2个字节代表自己的一个文字，如中国将第一个字节的AI~F7,第二个字节的00~FF合起来表示一个汉字，来代表7000多个汉字，直接抛弃不兼容拓展字符集，并将此字符集称为GB2312。后来又加入一些少数民族的文字、繁体字，演化出GBK。
4.Unicode一统天下
各国的字符编码都有自己的一套编码方法，彼此之间并不兼容，这显然不是最好的解决方案。为此ISO国际标准化组织提出unicode方案，以2个字节表示一个字符：
0000-007F：原基本ASCII字符集中的字符0080-00FF：原拓展字符集中的字符......0600-06FF：阿拉伯文......
4E00-9FBF：CJK 统一表意符号（包含中文字符）
......
将ASCII编码中的前128个字符保持不变，即第一个字节保持不变，后一个字节用0填充，如"A"的unicode为 0X0041，其他文字依次排在后面的空余位置，兼容世界上所有的字符！
至此字符编码演化到了最终形态。unicode与各种本地化编码共存，至于为什么共存，有太多原因，如ASCII，本来只需要1个字节表示1个"A"，现在要用2个字节，容量足足翻了一番。至于GB2312，就如同国际上有了W-CDMA中国还要搞TD-CDMA一样。
唉？等等，你说UTF8?
三、unicode 与 UTF8
unicode在计算机内部（或者说单机）使用时，使用unicode是没问题的，如一个记事本，以unicode方式保存，操作系统会在记事本的开头标记一下FFEF或FEFF，以此说明是采用双字节的unicode编码，因内存读写极少出错，所以基本不会发生丢字节的情况。此时的编码即UTF-16。
那传输（联网）时呢?
考虑一个现实问题：假设你是一台计算机(小端)，需要将另一台计算机（小端）传过来的unicode数据（你0x4f60 好0x597d 吗0x5417）转为字符并显示在屏幕上。
第一次，你遇到一个0x4F60，好办！显示器！给我显示”你“！
第二次，0x7d丢失，你遇到一个0x5917，也好办，”夗“！
第三次，你遇到一个0x5400，“吀”
显示结果：你夗吀 (什么鬼！)
可见，unicode在传输方面还是有缺陷的，因为每个字符看着都像是独立的，跟前后没有什么依赖关系，也没有相关标识，一旦少了一个字节，后面的所有内容都乱码了。
解决方法也显而易见，就是每个字节都标识一下，UTF-8应运而生。
四、unicode与UTF8的转换
UTF8的第一个字节的前4位用以标识本次传输的字符占用多少个字节，如1110 xxxx 标识占用3个字节。
剩余的字节都采用开头为10的方式，如10xx xxxx。
比如“ 直 ”， unicode编码： 76f4 , 相应二进制 0111 0110 1111 0100
因为汉字的unicode固定是2个字节，而转成utf8则是固定3个字节。
1110 ____, 10__ ____, 10__ ____
将“ 直” 0111 0110 1111 0100 连续填入：
二进制 : 1110 0111, 1001 1011, 1011 0100, ，十六进制 : e79b94，此为UTF-8
五、被滥用的UTF-8
UTF-8一开始只用于网络传输，并不作为本地存储形式，后来程序员们因为懒、麻烦，不会引起其他问题等种种不啦不啦原因，直接将UTF-8用于存储。
如何知道文件用的是什么方式编码的呢？
二进制打开文件，开头字节能区分。
开头字节
Charset/encoding
EF BB BF
UTF-8
FE FF
UTF-16/UCS-2, little endian
FF FE
UTF-16/UCS-2, big endian
FF FE 00 00
UTF-32/UCS-4, little endian.
00 00 FE FF
UTF-32/UCS-4, big-endian.
开头字节 Charset/encoding \ ANSI（中文是GB2312）
六、要点
unicode能表示所有的字符，任何其他的编码方式都是针对特定字符的。
unicode在本地的形式是UTF-8，UTF-16，UTF-32，网络传输形式只能是UTF-8
开头字节能区分编码方式