爬虫爬取并处理网页的流程图

on_extract_page

对方是否设置反爬虫

从待爬队列中取一个URL进行处理

field包含图片

爬虫开始运行

on_scan_page

抽取到一个field

on_attached_download_page

抽取fields

on_status_code

on_content_page

URL属于内容页content_urls

on_handle_img

on_extract_field

从网页中提取链接插入待爬URL队列中（如果 on_XXX_page 函数返回值为false，则跳过此步）

on_download_page

URL属于入口页scan_urls

is_anti_spider

下载URL对应的网页

URL属于列表页list_urls

on_start

on_list_page