Python（IO/线程/网络）

Python（IO/线程/网络）

常用第三方模块

第三方模块教程

Pilow

Python Imaging Library，已经是Python平台事实上的图像处理标准库

requests

它是一个Python第三方库，处理URL资源特别方便。

chardet

编码库，比内置的好用

psutil

process and system utilities，它不仅可以通过一两行代码实现系统监控，还可以跨平台使用，支持Linux／UNIX／OSX／Windows等，是系统管理员和运维小伙伴不可或缺的必备模块。

网络编程

用TCP协议进行Socket编程在Python中十分简单，对于客户端，要主动连接服务器的IP和指定端口，对于服务器，要首先监听指定端口，然后，对每一个新的连接，创建一个线程或进程来处理。通常，服务器程序会无限运行下去。

UDP的使用与TCP类似，但是不需要建立连接。此外，服务器绑定UDP端口和TCP端口互不冲突，也就是说，UDP的9999端口与TCP的9999端口可以各自绑定。

邮件

邮件发送详细

SMTP

SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。

POP3

收取邮件就是编写一个MUA作为客户端，从MDA把邮件获取到用户的电脑或者手机上。收取邮件最常用的协议是POP协议，目前版本号是3，俗称POP3。Python内置一个poplib模块，实现了POP3协议，可以直接用来收邮件。

访问数据库

安装MySQL驱动

pip install mysql-connector-python

执行INSERT等操作后要调用commit()提交事务；MySQL的SQL占位符是%s。

是数据库中存放关系数据的集合，一个数据库里面通常都包含多个表，比如学生的表，班级的表，学校的表，等等。表和表之间通过外键关联。要操作关系数据库，首先需要连接到数据库，一个数据库连接称为Connection；连接到数据库后，需要打开游标，称之为Cursor，通过Cursor执行SQL语句，然后，获得执行结果。Python定义了一套操作数据库的API接口，任何数据库要连接到Python，只需要提供符合Python标准的数据库驱动即可。

补充：魔法函数

__init__():

__str__():

__new__():

__unicode__():

对象上调用unicode()时被调用的。

__call__():

如果一个对象提供了该方法，就可以像函数一样使用它

__len__():

def __len__(self):    return 100

__repr__():

__setattr__():

该函数可以设置函数的属性

获取对象属性，只有在属性没有找到的时候调用：__getattr__()

__getattribute__()：

__getattr__很像，都是获取属性，但是__getattr__是在属性不存在时被调用，而__getattribute__是无条件被调用

__delattr__():

实现了该函数的类可以用del 命令来删除属性

__setitem__():

该函数可以给对象赋值，我们可以以下标的方式对其进行操作

__getitem__():

与上函数相反，__getitem__可以使对象支持已下标的方式获取值

__delitem__():

该函数支持以下标方式删除对象数据，实现了这三个函数，这个类就像字典一样，具备了基本的增删查功能

__iter__():

只要定义了__iter__()方法对象，就可以使用迭代器访问

__del__():

这可以说是一个析构器，或者回收器，在对象引用数降到0时执行

常用内建模块

datetime

from datetime import datetime

获取当前：now =datetime.now()

获取指定日期和时间

datatime和timestamp转换

str和datetime转换

datetime加减

本地时间转换UTC时间

时区转换

datetime表示的时间需要时区信息才能确定一个特定的时间，否则只能视为本地时间。如果要存储datetime，最佳方法是将其转换为timestamp再存储，因为timestamp的值与时区完全无关。

collections

defaultdict希望key不存在时，返回一个默认值from collections import defaultdictdd = defaultdict(lambda: 'N/A')

ChainMap默认参数from collections import ChainMap

Counter是一个简单的计数器from collections import Counterc = Counter()for ch in 'programming':c[ch] = c[ch] + 1

collections模块提供了一些有用的集合类，可以根据需要选用。

base64

import base64

b1=base64.b64encode(b'binary\\x00string')

struct

struct模块来解决bytes和其他二进制数据类型的转换。

hashlib

import hashlib

md5 = hashlib.md5()md5.update('how to use md5 in '.encode('utf-8'))md5.update('python hashlib?'.encode('utf-8'))print(md5.hexdigest())

hmac

itertools

itertools提供了非常有用的用于操作迭代对象的函数。

contextlib

urllib

from urllib import request 

with request.urlopen('https://api.douban.com/v2/book/2129650') as f:

Handler如果还需要更复杂的控制，比如通过一个Proxy去访问网站，我们需要利用ProxyHandler来处理

urllib提供的功能就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。

XML

HTML Parser

HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。

利用HTMLParser，可以把网页中的文本、图像等解析出来。

IO

文件读写

异常操作

for line in f.readlines():

file-like Object

除了file外，还可以是内存的字节流，网络流，自定义流等等

StringIO就是在内存中创建的file-like Object，常用作临时缓冲。

StringIO/BytesIO

很多时候，数据读写不一定是文件，也可以在内存中读写。

from io import BytesIO

BytesIO实现了在内存中读写bytes，我们创建一个BytesIO，然后写入一些bytes：

>>> f = BytesIO()>>> f.write('中文'.encode('utf-8'))

from io import StringIO

>>> f = StringIO()>>> f.write('hello')>>> print(f.getvalue())

StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。

操作文件和目录（os模块）

import os

os.uname()

os.environ

Python的os模块封装了操作系统的目录和文件操作，要注意这些函数有的在os模块中，有的在os.path模块中。

序列化（pickle/JSON）

pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object：

JSON

类序列化需要方法。考虑用装饰者

进程线程

异步Async

注意到consumer函数是一个generator，把一个consumer传入produce后：首先调用c.send(None)启动生成器；然后，一旦生产了东西，通过c.send(n)切换到consumer执行；consumer通过yield拿到消息，处理，又通过yield把结果传回；produce拿到consumer处理的结果，继续生产下一条消息；produce决定不生产了，通过c.close()关闭consumer，整个过程结束。整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程的抢占式多任务。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。

asyncio提供了完善的异步IO支持；异步操作需要在coroutine中通过yield from完成；多个coroutine可以封装成一组Task然后并发执行。

async/await

Python从3.5版本开始为asyncio提供了async和await的新语法；注意新语法只能用在Python 3.5以及后续版本，如果使用3.4版本，则仍需使用上一节的方案。

aiohttp

说明aiohttp

asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyncio实现的HTTP框架。

aiohttp的初始化函数init()也是一个coroutine，loop.create_server()则利用asyncio创建TCP服务。

正则

正则表达式

re模块

切分字符串

分组

贪婪匹配

编译

web开发

无论多么复杂的Web应用程序，入口都是一个WSGI处理函数。HTTP请求的所有输入信息都可以通过environ获得，HTTP响应的输出都可以通过start_response()加上函数返回值作为Body。复杂的Web应用程序，光靠一个WSGI函数来处理还是太底层了，我们需要在WSGI之上再抽象出Web框架，进一步简化Web开发。

Python Web Server Gateway Interface

框架

Django：全能型Web框架；web.py：一个小巧的Web框架；Bottle：和Flask类似的Web框架；Tornado：Facebook的开源异步Web框架。

模板

jinja2

基础部分

子主题