爬虫基础知识
2018-12-11 11:16:37 0 举报AI智能生成
爬虫基础知识架构图
作者其他创作
大纲/内容
爬虫基础知识
定义: 爬虫又叫 网络爬虫 网页蜘蛛 网络机器人 等
分类: 通用爬虫 和 聚焦爬虫
爬去的一般流程:
聚焦爬虫
Robots协议
www.taobao.com/robots.txt
模拟人的行为(实质就是一种反爬的技术)
HTTP 和响应处理
Python概念-上下文管理协议中的__enter__和__exit__
User_Agent
示例
parse解析模块
Method提交方法
HTTP证书相关
Urllib3
Requets
职业：是发顺丰
0 条评论
回复 删除
下一页
