gbk | 易学教程

Python乱码、编码问题汇总

阅读更多关于 Python乱码、编码问题汇总

为什么Python使用过程中会出现各式各样的乱码问题，明明是中文字符却显示成“\xe4\xb8\xad\xe6\x96\x87”的形式？为什么会报错“U nicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。 encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码代码中字符串的默认编码与代码文件本身的编码一致。如：s='中文' 如果是在utf8的文件中

JSP内置对象--4种属性范围 (pageContext,request,session,application)

阅读更多关于 JSP内置对象--4种属性范围 (pageContext,request,session,application)

pageContext： javax.servlet.jsp.JspContext 抽象类的父类 JspContext 中有以下方法。 request：javax.servlet.http.的接口HttpServletRequest session：javax.servlet.http的接口HttpSession application： javax.servlet 的接口： ServletContext 以上4个对象都存在以下3个方法：设置属性名称是string，内容是object。 page范围：例子： page属性只能当前页面取得： page_scope_01.jsp: <%@ page contentType="text/html" pageEncoding="GBK"%> <%@ page import="java.util.*"%> <html> <head><title>www.mldnjava.cn，MLDN高端Java培训</title></head> <body> <% // 设置属性 pageContext.setAttribute("name","李兴华") ; pageContext.setAttribute("birthday",new Date()) ; %> <% String username = (String) pageContext

Unicode字符编码规范

阅读更多关于 Unicode字符编码规范

http://www.aoxiang.org 2006-4-2 10:48:02 Unicode是一种字符编码规范。　　先从ASCII说起。ASCII是用来表示英文字符的一种编码规范，每个ASCII字符占用1个字节（8bits）　　因此，ASCII编码可以表示的最大字符数是256，其实英文字符并没有那么多，一般只用前128个（最高位为0），其中包括了控制字符、数字、大小写字母和其他一些符号。　　而最高位为1的另128个字符被成为“扩展ASCII”，一般用来存放英文的制表符、部分音标字符等等的一些其他符号，这种字符编码规范显然用来处理英文没有什么问题。（实际上也可以用来处理法文、德文等一些其他的西欧字符，但是不能和英文通用），但是面对中文、阿拉伯文之类复杂的文字，255个字符显然不够用　　于是，各个国家纷纷制定了自己的文字编码规范，其中中文的文字编码规范叫做“GB2312-80”，它是和ASCII兼容的一种编码规范，其实就是利用扩展ASCII没有真正标准化这一点，把一个中文字符用两个扩展ASCII字符来表示。　　但是这个方法有问题，最大的问题就是，中文文字没有真正属于自己的编码，因为扩展ASCII码虽然没有真正的标准化，但是PC里的ASCII码还是有一个事实标准的（存放着英文制表符），所以很多软件利用这些符号来画表格。这样的软件用到中文系统中

中文字符集编码unicode,gb2312,cp936,GBK,GB18030介绍

阅读更多关于中文字符集编码unicode,gb2312,cp936,GBK,GB18030介绍

概要： UTF-8的一个特别的好处是它与ISO- 8859-1完全兼容，可以表示世界上所有的字符，汉字通常用３个字节来表示。GB2312的code page是CP20936。GBK的code page是CP936 。GB18030支持的字符数更多。GB2312、GBK、GB18030均为双字节。整理这篇文章的动机是两个问题：问题一：使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？问题二：最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节。作者写成一篇文章，送给有过类似疑问的朋友

转: gbk, gb2312,big5,unicode,utf-8,utf-16的区别

阅读更多关于转: gbk, gb2312,big5,unicode,utf-8,utf-16的区别

以前收藏的一篇标题谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词选择自 fmddlmyy 的 Blog 关键字谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题：问题一：使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？问题二：最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节

字符集和字符编码的区别

阅读更多关于字符集和字符编码的区别

1、字符，字符集，字符编码概念字符：在计算机和电信技术中，一个字符是一个单位的字形、类字形单位或符号的基本信息。即一个字符可以是一个中文汉字、一个英文字母、一个阿拉伯数字、一个标点符号等。字符集：多个字符的集合。例如GB2312是中国国家标准的简体中文字符集，GB2312收录简化汉字（6763个）及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母，共 7445 个图形字符。字符编码：把字符集中的字符编码为（映射）指定集合中的某一对象（例如：比特模式、自然数序列、电脉冲），以便文本在计算机中存储和通过通信网络的传递。字符集和字符编码的关系：字符集是书写系统字母与符号的集合，而字符编码则是将字符映射为一特定的字节或字节序列，是一种规则。通常特定的字符集采用特定的编码方式（即一种字符集对应一种字符编码（例如：ASCII、IOS-8859-1、GB2312、GBK，都是即表示了字符集又表示了对应的字符编码，但Unicode不是，它采用现代的模型）），因此基本上可以将两者视为同义词。 2、发展过程（1）单字节 ASCII （American Standard Code for Information Interchange），128个字符，用7位二进制表示（00000000-01111111即0x00-0x7F）

python文件操作与字符编码

阅读更多关于 python文件操作与字符编码

知识内容: 1.文件对象与文件处理流程 2.基本操作 3.上下文管理 4.文件的修改与文件内光标的移动 5.字符编码一、文件对象与文件处理流程 1.文件对象 (1)文件分类按文件中数据的组织形式可以把文件分为文本文件和二进制文件文本文件中存储的是常规字符串，由若干文本行组成，通常每行以换行符('\n')结尾二进制文件把对象内容以字节串(bytes)进行存储，无法用记事本及其他普通文本处理软件打开，也无法直接被人阅读理解，需要使用专门的软件进行解码才能读取其中的内容 (2)文件对象: python中内置了文件对象，通过open函数可以打开一个文件并创建一个文件对象，通过对这个文件对象的一系列操作来修改、读、写文件 eg：文件对象名 = open(文件名[, 打开方式[,缓冲区]]) 　　 f1 = open('file.txt', 'r') (3)文件打开方式(文件打开模式): r ，只读模式【默认模式，文件必须存在，不存在则抛出异常】 w，只写模式【不可读；不存在则创建；存在则清空内容】 x，只写模式【不可读；不存在则创建，存在则报错】 a，追加模式【不存在则创建；存在则只追加内容】 "+" 表示可以同时读写某个文件 r+，读写【可读，可写】 w+，写读【可读，可写】 x+ ，写读【可读，可写】 a+，写读【可读，可写】 "b"表示以字节的方式操作 rb 或

字符编码（copy from linhaifeng）

阅读更多关于字符编码（copy from linhaifeng）

一计算机基础知识二文本编辑器存取文件的原理（nodepad++，pycharm，word） #1、打开编辑器就打开了启动了一个进程，是在内存中的，所以，用编辑器编写的内容也都是存放与内存中的，断电后数据丢失 #2、要想永久保存，需要点击保存按钮：编辑器把内存的数据刷到了硬盘上。 #3、在我们编写一个py文件（没有执行），跟编写其他文件没有任何区别，都只是在编写一堆字符而已。三 python解释器执行py文件的原理，例如python test.py #第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器 #第二阶段：python解释器相当于文本编辑器，去打开test.py文件，从硬盘上将test.py的文件内容读入到内存中(小复习：pyhon的解释性，决定了解释器只关心文件内容，不关心文件后缀名) #第三阶段：python解释器解释执行刚刚加载到内存中test.py的代码( ps：在该阶段，即真正执行代码时，才会识别python的语法，执行文件内代码，当执行到name="egon"时,会开辟内存空间存放字符串"egon") 四总结python解释器与文件本编辑的异同 #1、相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样 #2、不同点：文本编辑器将文件内容读入内存后，是为了显示或者编辑

宽字节注入

阅读更多关于宽字节注入

当传入id=1'时，传入的单引号又被转义符（反斜线）转义，导致参数ID无法逃逸单引号的包围，所以在一般情况下，此处是不存在SQL注入漏洞的。不过有一个特例，就是当数据库的编码为GBK时，可以使用宽字节注入，宽字节的格式是在地址后先加上一个%df，再加上单引号，因为反斜线的编码为%5c,而在GBK编码中，%df%5c是繁体字“軍”，所以这时，单引号成功逃脱，爆出错误。什么情况下使用宽字节注入：1、要PHP编码和数据库不同（常见的是GBK、UTF-8非unicode) 2、当看到魔术引号直接尝试宽字节（数据库编码必须是GBK）开网站靶场进行测试是否存在注入当输入时发现回显是正确的观察我的引号发现引号倍转义了那么我们需要让他的转移字符无效所以我在引号的左边加入了一个%df使转义不产生作用引号不产生发现会先错误证明成功了然后使用order by判断字段数得到3个字段使用联合查询语句查到 2,3 可用接着使用59.63.200.79:8812/New/WidecharBased/RankOne/sql-one/?id=1%df' and 1=2 union select 1,2,database()--+database()查询数据库名称得到为security 在查询标明的时候出现了问题发现security无法直接使用所以进行转十六进制测试一下

python学习Day06--编码

阅读更多关于 python学习Day06--编码

【主要内容】 1. is 和 == 区别 id()函数 == 判断两边的值 is 判断内存地址回顾编码: 1. ASCII: 英文, 特殊字符, 数字, 8bit, 1byte 2. GBK: 中文 16bit, 2byte. 兼容ASCII 3. unicode:　万国码, 32bit 4byte. 兼容ASCII 4. UTF-8: 长度可变的unicode. 英文:8bit, 欧洲:１６bit, 中文:24bit 3byte python2 只能用ASCII python3 有unicode, 默认的编码就是unicode 内存里用的是unicode. 硬盘和网络传输用的是utf-8或者GBK2. encode() 编码. 获取到的是编码之后的结果. bytes3. decode() 解码. 把bytes编程我们熟悉的字符串【代码】 1、is和== 1 # s = "alex 是大 xx" 2 # abc = id(s) # 得到内存地址 3 # print(abc) 4 5 # lst = ["大阳哥", "佳琪哥", "小花生", "燃哥"] 6 # print(id(lst)) # 就是一个内存地址. 毫无意义 7 8 9 # lst = ["周杰伦", "燃哥"] 10 # lst1 = ["周杰伦", "燃哥"] 11 # print(id(lst)) 12 #

订阅 gbk