文件常用IO操作
open | 打开 |
read | 读取 |
write | 写入 |
close | 关闭 |
readline | 行读取 |
readlines | 多行读取 |
seek | 文件指针操作 |
tell | 指针位置 |
打开操作
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
打开一个文件,返回一个文件对象(流对象)和文件描述符。开发文件失败,则返回异常
基本使用:创建一个文件,然后打开它,用完关闭
f = open("data.txt") print(f.read()) f.close()
文件操作中,最常用的操作就是读和写。文件访问的模式有两种:文本模式和二进制模式,不同模式下,操作函数不尽相同,表现的结果也不一样。
open的参数
file
打开或者要创建的文件名,如果不指定路径,默认是当前路径
mode模式
描述字符 | 意义 |
r | 缺省的,表示只读打开 |
w | 只写打开 |
x | 创建并写入一个新文件 |
a | 写入打开,如果文件存在,则追加 |
b | 二进制模式 |
t | 缺省的,文本模式 |
+ | 读写打开一个文件,给原来只读,只写方式打开提供缺失的读或者写能力 |
# r模式 f = open('test') # 只读还是只写? f.read() f.write('abc') #报错没有写权限 f.close() f = open('test', 'r') # 只读 f.write('abc') f.close() f = open('test1', 'r') # 只读,文件不存在 # w模式 f = open('test','w') # 只写打开 f.write('abc') f.close() cat test --> abc f = open('test', mode='w') f.close() cat test #没内容,说明覆盖了 f = open('test1', mode='w') f.write('123') f.close() cat test1 #说明w 还有创建文件的能力 --> 123
open默认是只读模式r打开已经存在的文件。
r 只读打开文件,如果使用write方法,会抛异常。 如果文件不存在,抛出FileNotFoundError异常
w 表示只写方式打开,如果读取则抛出异常 如果文件不存在,则直接创建文件 如果文件存在,则清空文件内容
f = open('test2','x') f.read() # 报错not readable 没有读权限 f.write('abcd') f.close() f = open('test2','x') # 报错 File exists: 'test2' 不能覆盖原文件
x 文件不存在,创建文件,并只写方式打开
文件存在,抛出FileExistsError异常
f = open('test2','a') #说明 可以覆盖 还可以追加内容 #f.read() # 报错not readable 没有读的权限 f.write('abcde') f.close() cat test2 --> abcdabcde f = open('test2','a') f.write('\n hello') f.close() cat test2 -->abcdabcde --> hello f = open('test3','a') f.write('test3') f.close()
a 文件存在,只写打开,追加内容 文件不存在,则创建后,只写打开,追加内容
r是只读,wxa都是只写。 wxa都可以产生新文件,w不管文件存在与否,都会生成全新内容的文件;a不管文件是
否存在,都能在打开的文件尾部追加;x必须要求文件事先不存在,自己造一个新文件
文本模式t 字符流,将文件的字节按照某种字符编码理解,按照字符操作。open的默认mode就是rt。 二进制模式b 字节流,将文件就按照字节理解,与字符编码无关。二进制模式操作时,字节操作使用bytes类型
f = open("test3",'rb') # 二进制只读 s = f.read() print(type(s)) # bytes print(s) f.close() # 关闭文件 f = open("test3",'wb') # IO对象 s = f.write("翟坤".encode()) print(s) # 是什么 f.close()
f = open("test3",'r+') s = f.read() f.write("翟坤翟坤") print(f.read()) # 没有显示,因为没有close,还在缓存中。 f.close() f = open("test3",'r+') s = f.write("magedu") # print(f.read()) f.close() cat test3 --> magedu教育翟坤翟坤 f = open('test3', 'a+') f.write('mag') f.read() f.close() cat test3 -->magedu教育翟坤翟坤mag f = open('test3', 'a+') f.write('edu') f.close() cat test3 -->magedu教育翟坤翟坤magedu f = open('test3', 'x+') # f = open('test4', 'x+') # f.write('python') f.read() f.close() #f = open('test3', 'x+') # 报错,文件已存在 f = open('test4', 'x+') # f.write('python') f.read() f.close() cat test4 --> python
+ 为r、w、a、x提供缺失的读或写功能,但是,获取文件对象依旧按照r、w、a、x自己的特征。 +不能单独使用, 可以认为它是为前面的模式字符做增强功能的。
文件指针
上面的例子中,已经说明了有一个指针。
文件指针,指向当前字节位置
mode=r,指针起始在0 mode=a,指针起始在EOF
tell() 显示指针当前位置
seek(offset[, whence]) 移动文件指针位置。offest偏移多少字节,whence从哪里开始。
文本模式下 whence 0 缺省值,表示从头开始,offest只能正整数 whence 1 表示从当前位置,offest只接受0 whence 2 表示从EOF开始,offest只接受0
# 文本模式 f = open('test4','r+') f.tell() # 起始 f.read() f.tell() # EOF f.seek(0) # 起始 f.read() f.seek(2,0) f.read() f.seek(2,0) f.seek(2,1) # offset必须为0 f.seek(2,2) # offset必须为0 f.close() # 中文 f = open('test4','w+') f.write('你好你好') f.tell() f.close() f = open('test4','r+') f.read(2) f.seek(1) f.tell() f.read() # f.seek(2) # f.seek(3) f.close()
文本模式支持从开头向后偏移的方式。 whence为1表示从当前位置开始偏移,但是只支持偏移0,相当于原地不 动,所以没什么用。 whence为2表示从EOF开始,只支持偏移0,相当于移动文件指针到EOF。 seek是按照字节偏 移的。
二进制模式下 whence 0 缺省值,表示从头开始,offest只能正整数 whence 1 表示从当前位置,offest可正可负 whence 2 表示从EOF开始,offest可正可负
# 二进制模式 f = open('test4','rb+') f.tell() # 起始 f.read() f.tell() # EOF f.write(b'abc') f.seek(0) # 起始 f.seek(2,1) # 从当前指针开始,向后2 f.read() f.seek(-2,1) # 从当前指针开始,向前2 f.seek(2,2) # 从EOF开始,向后2 f.seek(0) f.seek(-2,2) # 从EOF开始,向前2 f.read() f.seek(-20,2) # OSError f.close()
二进制模式支持任意起点的偏移,从头、从尾、从中间位置开始。 向后seek可以超界,但是向前seek的时候,不 能超界,否则抛异常。
buffering:缓冲区
-1 表示使用缺省大小的buffer。如果是二进制模式,使用io.DEFAULT_BUFFER_SIZE值,默认是4096或者8192。
如果是文本模式,如果是终端设备,是行缓存方式,如果不是,则使用二进制模式的策略。
- 0 只在二进制模式使用,表示关buffer
- 1 只在文本模式使用,表示使用行缓冲。意思就是见到换行符就flush
- 大于1 用于指定buffer的大小
buffer 缓冲区
缓冲区一个内存空间,一般来说是一个FIFO队列,到缓冲区满了或者达到阈值,数据才会flush到磁盘。
flush() 将缓冲区数据写入磁盘 close() 关闭前会调用flush()
io.DEFAULT_BUFFER_SIZE 缺省缓冲区大小,字节
先看二进制模式
import io f = open('test4','w+b') print(io.DEFAULT_BUFFER_SIZE) f.write("magedu.com".encode()) # cat test4 f.seek(0) # cat test4 f.write("www.magedu.com".encode()) f.flush() f.close() f = open('test4','w+b', 4) # 缓冲区大小 f.write(b"mag") # cat test4 f.write(b'edu') # cat test4 f.close()
文本模式
# buffering=1,使用行缓冲 f = open('test4','w+', 1) f.write("mag") # cat test4 f.write("magedu"*4) # cat test4 f.write('\n') # cat test4 f.write('Hello\nPython') # cat test4 f.close() # buffering>1,使用指定大小的缓冲区 f = open('test4','w+', 15) f.write("mag") # cat test4 f.write('edu') # cat test4 f.write('Hello\n') # cat test4 f.write('\nPython') # cat test4 f.write('a' * (io.DEFAULT_BUFFER_SIZE - 20)) # 设置为大于1没什么用 f.write('\nwww.magedu.com/python') f.close()
buffering=0 这是一种特殊的二进制模式,不需要内存的buffer,可以看做是一个FIFO的文件。
f = open('test4','wb+', 0) f.write(b"m") # cat test4 f.write(b"a") # cat test4 f.write(b"g") # cat test4 f.write(b"magedu"*4) # cat test4 f.write(b'\n') # cat test4 f.write(b'Hello\nPython') f.close()
buffering | 说明 |
buffering=-1 | t和b,都是io.DEFAULT_BUFFER_SIZE |
buffering=0 | b 关闭缓冲区 t 不支持 |
buffering=1 | b 就1个字节 t 行缓冲,遇到换行符才flush |
buffering>1 |
b模式表示行缓冲大小。缓冲区的值可以超过io.DEFAULT_BUFFER_SIZE,直到设定的值超 出后才把缓冲区flush t模式,是io.DEFAULT_BUFFER_SIZE字节,flush完后把当前字符串也写入磁盘 |
似乎看起来很麻烦,一般来说,只需要记得:
- 文本模式,一般都用默认缓冲区大小
- 二进制模式,是一个个字节的操作,可以指定buffer的大小
- 一般来说,默认缓冲区大小是个比较好的选择,除非明确知道,否则不调整它
- 一般编程中,明确知道需要写磁盘了,都会手动调用一次flush,而不是等到自动flush或者close的时候
encoding:编码,仅文本模式使用
None 表示使用缺省编码,依赖操作系统。windows、linux下测试如下代码
f = open('test1','w') f.write('啊') f.close()
windows下缺省GBK(0xB0A1),Linux下缺省UTF-8(0xE5 95 8A)
其它参数
errors 什么样的编码错误将被捕获 None和strict表示有编码错误将抛出ValueError异常;ignore表示忽略
newline 文本模式中,换行的转换。可以为None、'' 空串、'\r'、'\n'、'\r\n' 读时,None表示'\r'、'\n'、'\r\n'都被 转换为'\n';''表示不会自动转换通用换行符;其它合法字符表示换行符就是指定字符,就会按照指定字符分行 写 时,None表示'\n'都会被替换为系统缺省行分隔符os.linesep;'\n'或''表示'\n'不替换;其它合法字符表示'\n'会被 替换为指定的字符
f = open('test', 'w') f.write('python\rwww.python.org\nwww.magedu.com\r\npython3') f.close() newlines = [None, '', '\n', '\r\n'] for nl in newlines: f = open('o:/test', 'r+' , newline=nl) # 缺省替换所有换行符 print(f.readlines()) f.close()
closefd 关闭文件描述符,True表示关闭它。False会在文件关闭后保持这个描述符。fileobj.fileno()查看
read
read(size=-1) size表示读取的多少个字符或字节;负数或者None表示读取到EOF
f = open('test4','r+', 0) f.write("magedu") f.write('\n') f.write('你好你好') f.seek(0) f.read(7) f.close() # 二进制 f = open('test4','rb+') f.read(7) f.read(1) f.close()
行读取
readline(size=-1) 一行行读取文件内容。size设置一次能读取行内几个字符或字节。
readlines(hint=-1) 读取所有行的列表。指定hint则返回指定的行数。
# 按行迭代 f = open('test') # 返回可迭代对象 for line in f: print(line) f.close()
write
write(s),把字符串s写入到文件中并返回字符的个数 writelines(lines),将字符串列表写入文件。
f = open('test', 'w+') lines = ['abc', '123\n', 'magedu'] # 提供换行符 f.writelines(lines) f.seek(0) print(f.read()) f.close()
close
flush并关闭文件对象。
文件已经关闭,再次关闭没有任何效果
其他
名称 | 说明 |
seekable() | 是否可seek |
readable() | 是否可读 |
writeable() | 是否可写 |
closed | 是否已经关闭 |
上下文管理
异常处理
当出现异常的时候,拦截异常,但是,因为很多代码都可能出现OSError异常,还不好判断异常就是应为资源限制产生的
f = open('test') try: f.write("abc") # 文件只读,写入失败 finally: f.close() # 这样才行
使用finally可以保证打开的文件可以被关闭
上下文管理
一个特殊语法,交给解释器去释放文件对象
del f with open('test') as f: f.write("abc") # 文件只读,写入失败 # 测试f是否关闭 f.closed # f的作用域
上下文管理
- 使用with .. as 关键字
- 上下文管理的语句块并不会开启新的作用域
- with语句块执行完的时候,会自动关闭文件对象
另一种写法:
f = open('test') with f: f.write("abc") # 文件只读,写入失败 # 测试f是否关闭 f.closed # f的作用域
对于类似于文件对象的IO对象,一般来说都需要在不使用的时候关闭、注销,以释放资源。 IO被打开的时候,会获得一个文件描述符。计算机资源是有限的,所以操作系统都会做限制。就是为了保护计算机 的资源不要被完全耗尽,计算资源是共享的,不是独占的。 一般情况下,除非特别明确的知道资源情况,否则不要提高资源的限制值来解决问题。