python IO编程（文件读写、StringIO和BytesIO、操作文件和目录、序列化）
学习目标：
python学习十二、
学习内容：
1、文件读写
2、StringIO和BytesIO
3、操作文件和目录
4、序列化
1、文件读写
读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）
1、读文件
- Python内置的open()函数，传入文件名和标示符，读文件的模式打开一个文件对象
- 调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示
- yyt.txt当我没有加路径时时默认当前路径，在yyt.txt前也可与加上路径
- encoding可以选择文件的编码方式
- 在最后记得用close关闭文件，否则会占用系统内存，操作系统能同时打开的文件是有限的
f = open('yyt.txt','r',encoding='utf-8')print(f.read())f.close()输出：欢迎来到德莱联盟！！！
- 由于读取文件时可能会报错，就不会调用后面的close函数，于是就可以用try…finally来实现最后都会实现close函数
- 调用read()会一次性读取文件的全部内容，可以调用read(size)方法，每次最多读取size个字节的内容
- 调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list
- 如果有字符编码的错误，可以在encoding后面接一个errors='ignore’忽略掉
try: f = open('yyt.txt','r',encoding='utf-8') print(f.read())finally: if f: f.close()输出：欢迎来到德莱联盟！！！with open('yyt.txt', 'r') as f: print(f.read())输出：欢迎来到德莱联盟！！！读取二进制文件，比如图片、视频等等，用’rb’模式打开文件
try: f = open('1.jpg','rb') print(f.read())finally: if f: f.close()输出：5(\xd9\xd5\xa4\xe1M87\x18\xc63U%\x05-f\x94\x1a_\x... 2、写文件
写文件与读文件差不多，只不过传入标识符’w’覆盖写入或者’wb’表示写文本文件或写二进制文件，'w '覆盖写入并且可读，'a '追加写入并且可读(a写入时光标默认在尾部，可以用.seek()函数把光标移动位置)
- close函数在写入函数时，操作系统才保证把没有写入的数据全部写入磁盘
- 如果没有调用时，close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了
f = open('test.txt', 'w')f.write('Hello, world!')f.close()with open('test1.txt', 'a ') as f: f.write('Hello, world!')a = 'test.txt'with open(a, 'a ') as f: f.write('hello world !!!') f.seek(0) c = f.read() print(c)运行了四次f的输出：hello world !!!hello world !!!hello world !!!hello world !!!从网上下载图片到默认目录
import requestssource = requests.get('http://pic.netbian.com/uploads/allimg/170725/103840-150095032034c0.jpg').contentprint(source)yyt = open('yt.jpg','wb')yyt.write(source)yyt.close()从网上某个页面提取某些信息
import requestsimport jsonsource = json.loads(requests.get('http://www.szse.cn/api/report/ShowReport/data?SHOWTYPE=JSON&CATALOGID=1803&loading=first&random=0.5255326853258788').text)for i in source[0]['data']: print(i['zbmc'],i['brsz'],i['bsrzj'])输出：深证成指 14,026.66 55.97深证综指 2,301.83 11.49中小板指 9,273.68 67.74创业板指 2,730.84 18.31上市公司数 2,336 1上市证券数 11,374 -3股票总股本（亿） 22,753.28 41.90股票流通股本（亿） 18,748.88 1.20股票总市值（亿元） 335,779.03 1965.38股票流通市值（亿元） 259,774.23 1183.62股票成交金额（亿元） 4,204.59 -554.64平均股票价格（元） 14.75 0.05股票平均市盈率 33.89 0.18股票平均换手率 1.72 -0.302、StringIO和BytesIO
数据读写不一定是文件，也可以在内存中读写
1、StringIO
StringIO在内存中读写str
先创建一个StringIO，然后，像文件一样写入，getvalue()方法用于获得写入后的str
from io import StringIOf = StringIO()f.write('hello')print(f.getvalue())输出:hello读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取
from io import StringIOf = StringIO('Hello!\nHi!\nGoodbye!')while True: s = f.readline() if s == '': break print(s.strip()) 输出：Hello!Hi!Goodbye! 2、BytesIO
BytesIO实现了在内存中读写bytes
创建一个BytesIO，然后写入一些bytes，二进制字符编码一般是utf-8
from io import BytesIOf = BytesIO()f.write('hello world'.encode('utf-8'))print(f.getvalue())输出：b'hello world'StringIO类似，可以用一个bytes初始化BytesIO，然后，像读文件一样读取
from io import BytesIOf = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')print(f.read())输出：b'\xe4\xb8\xad\xe6\x96\x87'3、操作文件和目录
操作系统提供的命令简单地调用了操作系统提供的接口函数，Python内置的os模块也可以直接调用操作系统提供的接口函数
查看主机操作系统
import osprint(os.name)输出：nt查看、创建和删除、重命名目录
import os.pathprint(os.path.abspath('.')) #查看当前目录的绝对路径print(os.path.join('F:\pycharm\project','testdir')) #创建一个新目录，首先把新目录的完整路径表示出来print(os.mkdir('F:/pycharm/project/testdir')) #创建一个目录os.remove('F:/pycharm/project/testdir') #删除目录print(os.rename('testdir','yyt')) #重命名os.remove('yyt') #删除目录创建一个29的文件夹，并检查是否有文件夹29
import osif os.path.isdir('29'): passelse: os.mkdir('29')列出当前目录下的所有目录
import osprint([x for x in os.listdir('.') if os.path.isdir(x)])找出目录下的.py文件
import osprint([x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']) #os.path.splitext()可以直接让你得到文件扩展名，一般为两部分第二部分为[1]输出：['eleven.py', 'six.py', 'test.py', 'twelve.py']- os.path.join()函数，把两个路径合成一个
- os.path.split()函数，把一个路径拆分为两部分，后一部分总是最后级别的目录或文件名
- os.path.splitext()可以直接让你得到文件扩展名，一般为两部分第二部分为[1]
4、序列化
把变量从内存中变成可存储或传输的过程称之为序列化，序列化在Python中叫pickling
序列化（pickling）：就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上
反序列化（unpikling）：把变量内容从序列化的对象重新读到内存里
- Python提供了pickle模块来实现序列化
1、pickle.dumps/pickle.dump（向本地写入文件）
pickle.dumps()方法把任意对象序列化成一个bytes，把这个bytes写入文件
pickle.dump()直接把对象序列化后写入一个file-like Object
import pickled = dict(name='Bob',age=36,source=88)print(pickle.dumps(d))输出：b'\x80\x04\x95%\x00\x00\...import pickled = dict(name='Bob',age=36,source=88)f = open('dump.txt', 'wb') #会写入一个dump.txt二进制文件pickle.dump(d, f)f.close()2、pickle.loads()/pickle.load()（读取本地文件）
- pickle.loads():把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后反序列化出对象
- pickle.load():直接从一个file-like Object中直接反序列化出对象
import picklef = open('dump.txt','rb')d=pickle.load(f)f.close()print(d)输出：{'name': 'Bob', 'age': 36, 'source': 88}3、JSON
JSON是一个序列化标准，JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输，比XML更快，而且可以直接在Web页面中读取
- JSON和Python内置的数据类型对应如下：
- python内置的json模块提供了非常完善的Python对象到JSON格式的转换
- JSON编码是UTF-8，所以我们总是能正确地在Python的str与JSON的字符串之间转换
dumps()方法返回一个str，内容就是标准的JSON；dump()方法也可以直接把JSON写入一个file-like Object（存入一个文件）
import jsond = dict(name='Bob', age=20, score=88)print(json.dumps(d))输出：{"name": "Bob", "age": 20, "score": 88}JSON反序列化为Python对象，用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like-Object中读取字符串并反序列化（读出一个文件）
import jsond = '{"name": "Bob", "age": 20, "score": 88}'print(json.loads(d))输出：{'name': 'Bob', 'age': 20, 'score': 88}import jsonlists = [{'wang':'ning','水果':['大蒜','姜','萝卜']},{'error':0}]a = json.dumps(lists)print(a)b = json.loads(a)print(b) - JSON进阶：Python的dict对象可以直接序列化为JSON的{}，常用class表示对象，比如定义Student类，然后序列化
首先写一个类，再写一个函数把类转换为dict，因为JSON无法把class序列化并且class自带dict属性
一般形式：
import jsonclass Student(object): def __init__(self, name, age, score): self.name = name self.age = age self.score = scores = Student('Bob', 20, 88)def student2dict(std): return { 'name': std.name, 'age': std.age, 'score': std.score } print(json.dumps(s, default=student2dict))以为类一直可以变化所以把任意class的实例变为dict
import jsonclass Student(object): def __init__(self, name, age, score): self.name = name self.age = age self.score = scores = Student('Bob', 20, 88)print(json.dumps(s, default=lambda obj: obj.__dict__)) #把任意class的实例变为dict输出:{"name": "Bob", "age": 20, "score": 88}