使用selenium爬取猫眼,使用mitmproxy过美团检测

泄露秘密 提交于 2020-02-17 01:38:10

ubuntu环境下mitmproxy的安装配置详见:ubuntu环境下使用mitmproxy代理服务器

根据以上的连接,可以成功配置mitmproxy。

接下来,我们就要使用mitmproxy来拦截修改请求。由于猫眼使用的是对webdriver标示进行检测,所以我们可以拦截修改这个标示。拦截配置代码如下,按代码所示,如果拦截成功,会输出100个*的提示

proxy.py

def response(flow):
    if 'webdriver' in flow.response.text:
        print('*' * 100)
        print('find web_driver key')
        flow.response.text = flow.response.text.replace("webdriver", "fuck_that_1")
    if 'Webdriver' in flow.response.text:
        print('*' * 100)
        print('find web_driver key')
        flow.response.text = flow.response.text.replace("Webdriver", "fuck_that_2")
    if 'WEBDRIVER' in flow.response.text:
        print('*' * 100)
        print('find web_driver key')
        flow.response.text = flow.response.text.replace("WEBDRIVER", "fuck_that_3")

先在该py文件文件夹内终端运行

mitmdump -s proxys.py

 此时mitmproxy会按照proxys中规定的配置拦截修改wendriver。注意!!!运行该拦截默认端口为8080。所以为了减少mitmproxy的工作量,我关闭了电脑的手动代理配置,即电脑按照正常的方式上网,正常的流量不让他们经过mitmproxy,而是在运行爬虫的时候让爬虫代码走这个8080端口代理。详见如下:

from selenium import webdriver
from selenium.webdriver import ChromeOptions
from lxml import etree
import requests
import html
import re

option = webdriver.ChromeOptions()
PROXY = "127.0.0.1:8080"
option.add_argument('--proxy-server=%s'%PROXY)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
#打开浏览器
brower = webdriver.Chrome(options = option)
#让浏览器对指定url发起访问
brower.get('https://maoyan.com/films/1190122')

#获取浏览器当前打开页面的页面源码数据(可见即可得)
page_text = brower.page_source
#print(page_text)
if "验证中心" in page_text:
    print("美团验证")
else:
    tree = etree.HTML(page_text)
    score = tree.xpath('//div[@class="movie-index-content score normal-score"]/span[1]/span[1]/text()')[0]
    ASCll = str(score)
    utfs = str(ASCll.encode('unicode_escape')).replace("b","").replace("'","").replace("\\\\u",";&#x").split('.')
    unicode = utfs[0][1:]+";."+utfs[1][1:]+";"
    print(unicode)

接下来,我们运行如上代码,proxys.py代码运行终端部分结果如下,可见拦截修改成功。

上面爬取猫眼电影详情信息的代码如下,如下信息为评分,直接爬去由于编码的缘故出现乱码,我将其进行unicode编码,以便之后进行字体解密。

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!