登录免费注册

首页  思维导图  详情



 



爬虫导图

爬虫导图

2023-11-23 16:05:32   15  举报





AI智能生成

非商业用途

学习笔记

模板推荐

作者其他创作

大纲/内容

数据解析

正则表达式

常见正则表达式符号

贪婪匹配（默认）：.*

懒惰匹配：.*？

bs4

实例化BeautifulSoup

from bs4 important BeautifulSoup

soup = BeautifulSoup( page_text, 'lxml' )（打开的html文件）

BeautifulSoup方法和属性

soup.tagName（第一个标签名）

soup.find( tagName, class_ )（默认第一个标签名）

soup.find_all( tagName) （所有标签）

soup.select( ) （ID，class，标签等选择器，win系统不可用）

xpath

实例化etree对象

from lxml import etree

tree = etree.HTML( page_text )

tree = etree.parse( filePath )（本地html路径）

r = tree.xpath( xpath表达式）

xpath表达式

/ 的两种含义

// 的两种含义

[@ ] 查找带属性的标签

@ 查找属性

./ 局部数据解析

| 或表达式

element对象转化文本

/text 直系内容转化

//text 所有内容转化

r此时为element对象

五步骤

step1.指定url

step2.发起请求

step3.获取响应数据

step4.数据解析

step5.持久化存储

原理

step1.指定标签定位

step2.提取标签或标签属性值

文件处理

os包

删除：os.remove（）

检验存在：os.exists（）

创建文件/文件夹：os.mkdir（）

删除文件夹：os.rmdir（）

删除文件夹及子目录：shutil.rmtree（）

（需要导shutil包）

文件打开

open/close

with open

数据处理

json对象：.json( )

存储：json.dump( obj, fp,  ensure_ascii=True )

读取:  json.loap( fp )

Python转json:  json.dumps( obj )

json转Python: json.loads( str )

jpg对象（二进制）：.content

html对象：

所有文本：.text

直系文本：.string

中文乱码

响应数据修改编码

response.encoding = 'utf-8' / 'gbk'

局部数据乱码修改

name = name.encode( iso-8859-1 ).decode( 'gbk')

爬虫简介

robots.txt协议

君子协议规定内容可否进行爬取

http协议

响应头：

Content-Type（响应数据类型）

请求头：

User-Agent

UA检测

UA伪装

Cookie

Referer

Connection（请求完毕后是否断开链接）

https协议

对称密钥加密

非对称密钥加密

证书密钥加密

requests模块

get请求

requests.get(url, params, headers)

返回状态为text/html

post请求：

requests.post(url, data, headers)

返回状态为json（text/plain）

ajax请求

四步骤

step1.指定url

step2.发起请求

step3.获取响应数据

step4.持久化存储

教学设计，教学计划，教学导图，教学流程图，教学架构图

 Collect

Get Started

教学设计，教学计划，教学导图，教学流程图，教学架构图

 Collect

Get Started

设计模式思维导图

 Collect

Get Started

整体功能导图

 Collect

Get Started

爬虫系统流程图













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document