python 数据爬虫 基础逻辑
2015-12-15 10:58:57 0 举报技术
作者其他创作
大纲/内容
确定需要的数据，新建数据库与数据表
通过 SQL INSERT 语句对提取的数据进行插入可以使用 sequel Pro 软件对数据进行查看
工作环境
引入MySQLdb实现将数据库记录到本地数据库中
在 charles 上可以看到手机上所有的数据流量，选择APP传输的数据，进行分析
编程工具：sublime 2语言版本：python 2.7编程系统环境： mac OS 10.11MYSQL ：5.5
分析：request发送的 headers、cookies、form等
用手机连接同一个 wifi，并配置代理pc 的局域网地址，端口设为8888
打开 sublime，进行编程
根据第一步在 charles 上对 app json 数据的分析结果，提取需要的数据
结束
解析过的 r 此时是一个dict格式的数据，可以通过r[ 'param' ]对其中的数据进行提取
开始
在 charles 上设置8888端口作为代理端口
分析：response 的json 数据格式
可以使用 sequel Pro 软件管理数据库，新建表格等（本例通过 sql 语言创建数据表）
引入 json 模块对返回的 r 进行解析
使用 charles 工具进行数据分析
职业：暂无
0 条评论
下一页
