字符编码

Unicode只有一个字符集，中、日、韩的三种文字占用了Unicode中0x3000到0x9FFF的部分 Unicode目前普遍采用的是UCS-2,它用两个字节来编码一个字符， 比如汉字"经"的编码是0x7ECF,注意字符码一般用十六进制来 表示，为了与十进制区分，十六进制以0x开头，0x7ECF转换成十进制 就是32463,UCS-2用两个字节来编码字符，两个字节就是16位二进制， 2的16次方等于65536,所以UCS-2最多能编码65536个字符。 编码从0到127的字符与ASCII编码的字符一样，比如字母"a"的Unicode 编码是0x0061,十进制是97,而"a"的ASCII编码是0x61,十进制也是97, 对于汉字的编码，事实上Unicode对汉字支持不怎么好，这也是没办法的， 简体和繁体总共有六七万个汉字，而UCS-2最多能表示65536个，才六万 多个，所以Unicode只能排除一些几乎不用的汉字，好在常用的简体汉字 也不过七千多个，为了能表示所有汉字，Unicode也有UCS-4规范，就是用 4个字节来编码字符 中文名 Unicode码 外文名 Unicode 文 字 中、日、韩 字 符 UCS-2 分 类 计算机科学 目录 1 定义 2 方法 定义 编辑 Unicode码扩展自ASCII 字元集 。在严格的ASCII中，每个字元用7位元表示

一、Class 文件结构 JDK 的版本号已经到 14 了，相对于语言、API 以及 Java 技术体系中其他方面的变化，Class 文件结构一直处于比较稳定的状态，Class 文件的主体结构、字节码指令的语义和数量几乎没有出现过变动。 Class 文件是一组以8位字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑地排列在 Class 文件中，中间没有添加任何分隔符，这使得整个 Class 文件中存储的内容几乎全部是程序运行的必要数据，没有空隙存在。 根据 Java 虚拟机规范的规定，Class 文件格式采用一种类似于 C 语言结构体的伪结构来存储数据，这种伪结构只有两种数据类型：无符号数和表： 无符号数：以 u1、u2、u4、u8 来分别代表1个字节、2个字节、4个字节和8个字节的无符号数，无符号数可以用来描述数字、索引引用、数量值或者按照 UTF-8 编码构成字符串值。 表：由多个无符号数或者其他表作为数据项构成的复合数据类型，所有表都习惯性的以“_info” 结尾，用于描述有层次关系的复合结构的数据，整个 Class 文件本质上就是一张表。 下面是 Class 文件格式： 类型 名称 数量 描述 u4 magic 1 表示这个文件是否为一个能被虚拟机接受的 Class 文件 u2 minor_version 1 次版本号 u2 major_version 1 主版本号

python 变量 Python 使用等号（＝）作为赋值运算符， 注意，变量名其实就是标识符，因此在命名时，既要遵守标识符的命名规范，还要避免和 Python的内置函数重名。 强类型语言和弱类型语言 必须指定该变量所能存储的数据类型，以 C 语言为例： int a = 20 和强类型语言相对应的是弱类型语言，Python 就是典型代表之一。弱类型语言有以下 2 个特征： 变量无须声明即可直接赋值，对一个不存在的变量赋值就相当于定义了一个新变量。 变量的数据类型可以动态改变：同一个变量可以一会儿被赋值为整数值，一会儿被赋值为字符串。 python 数值类型 Python 中的数值类型主要包括整形、浮点型和复数类型。整形专门用来表示整数，即没有小数部分的数。在 Python 中，整数包括正整数、0 和负整数。 short、int、long 整形类型存储，除此之外，Python 的整型还支持 None 值（空值） [root@kube python]# py demo6.py <class 'int'> <class 'int'> <class 'int'> <class 'NoneType'> [root@kube python]# cat demo6.py a=1 b=222 c=4444444444444444444444444444444444444444444444444444

前言： 在MySQL中，比较常用的字符集是utf8和utf8mb4。这两个字符集是类似的，utf8是utf8mb3的别名，所以之后在MySQL中提到utf8就意味着使用1~3个字节来表示一个字符，如果大家有使用4字节编码一个字符的情况，比如存储一些emoji表情啥的，需要使用utf8mb4。其实每个字符集下对应着若干个比较规则（也可以翻译为排序规则或校对规则，英文是COLLATE），同一字符集下，使用不同的比较规则会影响字符字段的比较和排序。本文以utf8为例，介绍下常用的几个比较规则的不同。 1.utf8下比较规则概览 我们先查看下utf8字符集下支持的所有比较规则： mysql> SHOW COLLATION LIKE 'utf8\_%'; +--------------------------+---------+-----+---------+----------+---------+ | Collation | Charset | Id | Default | Compiled | Sortlen | +--------------------------+---------+-----+---------+----------+---------+ | utf8_general_ci | utf8 | 33 | Yes | Yes | 1 | | utf8_bin |

Unicode ：宽字节字符集 1. 如何取得一个既包含单字节字符又包含双字节字符的字符串的字符个数？ 可以调用Microsoft Visual C++的运行期库包含函数_mbslen来操作多字节（既包括单字节也包括双字节）字符串。 调用strlen函数，无法真正了解字符串中究竟有多少字符，它只能告诉你到达结尾的0之前有多少个字节。 2. 如何对DBCS（双字节字符集）字符串进行操作？ 函数 描述 PTSTR CharNext （ LPCTSTR ）; 返回字符串中下一个字符的地址 PTSTR CharPrev （ LPCTSTR, LPCTSTR ）； 返回字符串中上一个字符的地址 BOOL IsDBCSLeadByte( BYTE )； 如果该字节是DBCS字符的第一个字节，则返回非0值 3. 为什么要使用Unicode？ （1） 可以很容易地在不同语言之间进行数据交换。 （2） 使你能够分配支持所有语言的单个二进制.exe文件或DLL文件。 （3） 提高应用程序的运行效率。 Windows 2000是使用Unicode从头进行开发的，如果调用任何一个Windows函数并给它传递一个ANSI字符串，那么系统首先要将字符串转换成 Unicode，然后将Unicode字符串传递给操作系统。如果希望函数返回ANSI字符串，系统就会首先将Unicode字符串转换成ANSI字符串

在计算机中字符通常并不是保存为图像，每个字符都是使用一个编码来表示的，而每个字符究竟使用哪个编码代表，要取决于使用哪个字符集(charset)。 在最初的时候，Internet上只有一种字符集——ANSI的ASCII字符集，它使用7 bits来表示一个字符，总共表示128个字符，其中包括了英文字母、数字、标点符号等常用字符。之后，又进行扩展，使用8 bits表示一个字符，可以表示256个字符，主要在原来的7 bits字符集的基础上加入了一些特殊符号例如制表符。 后来，由于各国语言的加入，ASCII已经不能满足信息交流的需要，因此，为了能够表示其它国家的文字，各国在ASCII的基础上制定了自己的字符集，这些从ANSI标准派生的字符集被习惯的统称为ANSI字符集，它们正式的名称应该是MBCS(Multi-Byte Chactacter System，即多字节字符系统)。这些派生字符集的特点是以ASCII 127 bits为基础，兼容ASCII 127，他们使用大于128的编码作为一个Leading Byte，紧跟在Leading Byte后的第二（甚至第三）个字符与Leading Byte一起作为实际的编码。这样的字符集有很多，我们常见的GB-2312就是其中之一。 例如在GB-2312字符集中，“连通”的编码为C1 AC CD A8，其中C1和CD就是Leading Byte

电脑发展的初期，只是在美国等英文国家使用，英文只有26个字母和其它字符，一个字节最多可以表示256个字符，如字母“A”用0x41（二进制01000001）表示，字母“a”用0x61（二进制01100001）表示。为了使各家电脑公司生产的电脑统一，美国搞了个国家标准ANSI，一直沿用至今，我们今天用的电脑普通情况下使用的都ANSI编码。 ANSI编码，每个字符占一个字节，但最多只能表示256个字符。 汉字等东亚语言字符怎么办呢？于是采用两个字节共同表示一个汉字的方法。二个字节理论上可以表示65535个字符。 因为ANSI标准是用一个字节的7个位表示一个普通字符，最高位为0（如字母“A”的二进制01000001），所以表示汉字就采用最高位为1来表示。如“中”字就是用0xD6、0xD0表示（二进制11010110、11010000）。 程序员判断一个字符是否为汉字，就是通过最高位是否为1来判断的。 但是，中国大陆的汉字表示方法叫GB码（中国国家标准，如GB2312），中国台湾、香港的汉字表示方法叫BIG5码（大五码，台湾一家民营公司提出），还有韩、日等字符，还是造成了计算机文字表示的不统一。 所以，在W98时代，电脑上网、收发邮件等经常出现乱码的现象（就是文字标准不统一造成的） ANSI编码字符，叫多字节字符 UNICODE编码，每个字符占二个字节。也叫万国码（一种国际标准字符集

我们知道在ascii编码，每个字符占用一个字节，这样能够表示的字符数远远不够表示世界所有语言的符号，所以Unicode编码就是出现了，当然Unicode也有8位 16位 32位的编码，UTF-8、UTF-16、UTF-32分别以char、char16_t、char32_t作为编码单位，本文讨论16位 即UTF-16，（注： char16_t 和 char32_t 是 C++ 11 标准新增的关键字。如果你的编译器不支持 C++ 11 标准，请改用 unsigned short 和 unsigned long。） 当然本文着重讨论Unicode在Windows中的应用，至于具体细节以及原理上的东西，本人才疏学浅，不配在此谈论此问题，呵呵。还请各位到Google去寻找大牛吧。。由于个人能力有限，文中难免有错误之处，还请各位多多批评和指正，多多包涵才是。 许久以前我在学习MFC的过程中，用GetDlgItemText获取Edit Control的值，其得到的值是CString，我们看下该函数的原型： int GetDlgItemText( HWND hDlg , int nID, LPTSTR lpStr, int nMaxCount) const; int GetDlgItemText( int nID, CString& rString) const;

Unicode ：宽字节字符集 1. 如何取得一个既包含单字节字符又包含双字节字符的字符串的字符个数？ 可以调用Microsoft Visual C++的运行期库包含函数_mbslen来操作多字节（既包括单字节也包括双字节）字符串。 调用strlen函数，无法真正了解字符串中究竟有多少字符，它只能告诉你到达结尾的0之前有多少个字节。 2. 如何对DBCS（双字节字符集）字符串进行操作？ 函数 描述 PTSTR CharNext （ LPCTSTR ）; 返回字符串中下一个字符的地址 PTSTR CharPrev （ LPCTSTR, LPCTSTR ）； 返回字符串中上一个字符的地址 BOOL IsDBCSLeadByte( BYTE )； 如果该字节是DBCS字符的第一个字节，则返回非0值 3. 为什么要使用Unicode？ （1） 可以很容易地在不同语言之间进行数据交换。 （2） 使你能够分配支持所有语言的单个二进制.exe文件或DLL文件。 （3） 提高应用程序的运行效率。 Windows 2000是使用Unicode从头进行开发的，如果调用任何一个Windows函数并给它传递一个ANSI字符串，那么系统首先要将字符串转换成 Unicode，然后将Unicode字符串传递给操作系统。如果希望函数返回ANSI字符串，系统就会首先将Unicode字符串转换成ANSI字符串

字符编码： py3中默认字符编码是unicode；py2中默认字符编码是 ASCII，如果文件中出现了中文，需要在顶部加入coding声明 #coding:utf8 让用户输入：py3中直接使用 input() ； py2中需要使用 raw_input() range和xrange：py3中的 range == py2中的 xrange ， 返回类似迭代器的东西，节省内存空间 语句变函数: py3中为 print() , exec() 是一个方法，必须加上括号； py2中为 print , exec 数据传输： py3中socket传过来的数据是byte类型 / hashlib包update也需要传bytes类型的数据； py2中则可以直接传入str eg: # python3 import hashlib m = hashlib.sha256() m.update(b"Nobody inspects") # python2 import hashlib m = hashlib.md5() m.update("Nobody inspects") 来源： https://www.cnblogs.com/sea-stream/p/11188390.html