Python爬虫学习笔记8:APP的爬取

走远了吗. 提交于 2021-02-11 12:54:26

说明:本学习笔记主要参考:Python3网络爬虫开发实战一书

 

常用的抓包软件有WireShark、Charles、Fildder、mitmproxy、AnyProxy等。

原理:通过设置代理的方式将手机处于抓包软件的监听之下,获取APP运行的过程中发生的所有请求及响应,如果请求的URL及参数有规律,用程序模拟爬取即可。如果没有,可以利用mitmdump对接Python脚本直接处理Response,还可以利用APPium 进行自动化爬取控制。

 

一、Charles

下载地址:https://www.charlesproxy.com/download/

证书配置:SSL证书是为了通过HTTPS协议,Charles客户端和手机都要同时转有SSL证书。

mac 

Help-ssl proxying - install charles root certificate

选择始终信任。

 

设置手机证书配置

先开启Charles代理,proxy-proxy settings

将手机同电脑连在同一个局域网下面。

查看本机IP地址,终端输入:ifconfig

安卓手机如何设置代理参考:https://blog.csdn.net/songzi1228/article/details/89950109

设置好代理后,charles界面会有提示,点击allow即可。

下面就是在手机上安装ssl证书

我的手机是一加7pro,在手机浏览器上打开chls.pro/ssl下载即可,不过直接安装不了。

可以从设置-安全与锁屏-加密与凭据-从存储设备中安装-左上角点击进去oneplus 7 pro-搜索charles,按提示安装即可。

 

下面试着监听下京东APP的信息。

第一个清空列表信息,第二个启动监听,红色状态是:监听中

如果遇到出来的response乱码,可以设置

proxy-ssl proxy settings - add 

Host:填*表示所有网站都抓 
Port:443 
点击OK,就不再乱码了。

 

打开手机京东APP,搜索华为,点开9xpro ,获取评论信息

成功获取到。

 

overview;里面显示了请求的接口URL,响应状态status code , 请求方式method

contents:里面显示的请求和响应的详细信息

这个按钮还可以对URL链接进行修改,重发请求,这样就能知道哪些参数字段是无关紧要的。

 

但是APP接口往往会带有迷药,并不能直接找到这里面的规律,可以利用Charles和mitmproxy直接对接python脚本实现实时处理抓取到的response

二、mitmproxy

两个关联组件:

mitmdump:命令行接口,利用它对接python脚本。

mitmweb:web程序,观察mitmproxy捕获的请求

mitmproxy配置安装 mac 版本

终端输入:brew install mitmproxy

终端输入:mitmdump  即可产生CA证书

进入用户目录,查看证书

cd ~

cd .mitmproxy

open ./

即可查看CA证书

 

证书说明:

mitmproxy-ca-cert.cer:与mitmproxy-ca-cert.pem相同,只是改变了后缀,适用部分andriod平台

mitmproxy-ca-cert.p12:PKCS12格式的证书,适用Windows 平台

mitmproxy-ca-cert.pem:使用大多数非Windows平台

mitmproxy-ca.p12:

mitmproxy-ca.pem:PEM格式的证书

mitmproxy-dhparam.pem:

mac端双击mitmproxy-ca-cert.pem进行配置即可,形式参考前面证书配置过程。

然后在把mitmproxy-ca-cert.cer证书发送到我的手机端进行配置,形式参考前面配置过程(我的手机是安卓版本),如果是苹果择选择mitmproxy-ca.pem。

 

mitmproxy 功能说明:

拦截HTTP和HTTPS的请求和响应

保存HTTP回话并进行分析

模拟客户端发送请求,模拟服务器返回响应

利用反向代理将流量转发给指定的服务器

支持mac和Linux上的透明代理

利用python对HTTP请求和响应进行实时处理

 

mitmproxy抓包原理

mitmproxy 会在pc端的8080端口运行,然后开启一个代理服务,手机和 PC 在同一个局域网内,设置代理为 mitmproxy 的代理地址,这样手机在访问互联网的时候流量数据包就会流经 mitmproxy, mitmproxy 再去转发这些数据包到真实的服务器,服务器返回数据 包时再由 mitmproxy 转发回手机,这样 mitmproxy 就相当于起了中间人的作用,抓取到所有 Request 和 Response ,另外这个过程还可以对接 mitmdump ,抓取到的 Request 和 Response 的具体内容都可以 直接用 Python 来处理,比如得到 Response 之后我们可以直接进行解析,然后存入数据库,这样就完 成了数据的解析和存储过程。

 

设置代理

终端运行:mitmproxy

会在8080端口运行一个代理服务,如下图

接下来把手机和PC链接在同一局域网下面,设置方法参考前面Charles设置方式。

 

mitmproxy使用

前面设置好证书后,mitmproxy就已经开始工作了

210/210代表一共发升了210个请求,当前箭头所指的是第210个请求。按回车即可进入请求的详情页面。

每个请求开头都有一个GET或POST , 这是各个请求的请求方式。 紧接的是请求的 URL。 第二行 开头的数字就是请求对应的响应状态码, 后面是响应内容的类型 , 如 text/html 代表网页文档、 image/gif 代表图片。 再往后是响应体的大小和响应的时间

在列表界面,按回车进入详情界面。

在详情界面,按q,返回列表界面。

在列表界面,按G跳到最新一个请求。

在列表界面,按g跳到第一个请求。

在列表界面,按d删除当前选中的请求,按D恢复刚才删除的请求。

 

三、mitmdump的使用

mitmdurnp 是 mitmproxy 的命令行接口, 同时还可以对接 Python 对请求进行处理,有了它我们可以不用手动截获利分析 HTTP 请求和响应,只需要写好请求和响应的处理逻辑即可。它还可以实现数据的解析、存储等士作, 这些过程都可以通过 Python 实现。

mitmdump -w outfile 截获数据并保存在outfile中

mitmdump -s scripy.py 使用-s参数指定一个脚本来处理获取的数据

from mitmproxy import ctx

def request(flow):
    # flow.request.headers['User-Agent'] = 'MitmProxy'
    # print(flow.request.headers)
    # ctx.log.info(str(flow.request.headers)) # info方法输出内容为白色
    # ctx.log.warn(str(flow.request.headers)) # warn方法输出内容为黄色
    # ctx.log.error(str(flow.request.headers)) # error方法输出内容为红色
    request = flow.request
    info = ctx.log.info
    info(request.url)
    info(str(request.headers))
    info(str(request.cookies))
    info(request.host)
    info(request.method)
    info(request.scheme)
    info(str(request.port))

 

 

四、Appium

Appi um 是一个跨平台移 动端向动化测试 工具,可以非常便捷地为 iOS 和 Android 平台创建自动化测试用例。 它可以模拟 App 内部的各种操作 , 如点击、滑动、 文本输入等, 只要我们手工操 作的 动作 Appium 都可以完成。 在前面我们了解 过 Selenium , 它是一个网页端 的向动化测试工 具。 Appium 实际上继承了 Se lenium, Appi um 也是利用 W巳bDriver 来实现 App 的向动化测试。 对 iOS 设备来说, Appium 使用 UIAutomation 来实现驱动 。 对于 Android 来说, 它使用 UiAutomator 和 Selendroid 来实现 驱动 。

下载地址:https://github.com/appium/appium-desktop/releases/tag/v1.13.0

安装对应电脑版本即可

打开软件,如图:

Android 开发环境配置

下载和配置 Android SDK ,推荐直接安装 Android Studio。地址:https://developer.android.com/studio/index.html?hl=zh-cn

添加环境变量,参考:https://blog.csdn.net/jlminghui/article/details/81204352

 

启动APP

两种方式:内置驱动器来打开APP,另外一种是利用python程序

启动Appium,点击start server,即可看到欢迎页面

用手机通过数据线和电脑相连接,同时打开USB调试功能(我手机是一加7pro,打开方式参考:https://www.jb51.net/shouji/674653.html)

打开后,电脑终端输入:adb devices -l

如出现上面结果,择说明PC已经正确链接手机了。

接下来用点击Appium上右上角的放大镜按钮

会出现一个配置界面

启动APP时要配置desired capabilities参数,分别为

点击启动后,会出现下面页面

点击下APP中登陆按钮,中间的APP source部分就会有高亮部分,点击高亮部分代码,右边的selected element 下面的tap \send keys\clear 即可使用

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!