Python爬虫连载14-动态HTML、PhantomJS和Chromedriver

主宰稳场 提交于 2020-03-14 01:47:28

一、动态HTML

1.爬虫跟反爬虫

2.动态HTML连载

(1)JavaScript

(2)jQuery

(3)Ajax

(4)DHTML

(5)Python采集动态数据

从JavaScript代码入手采集​;Python第三方库运行JavaScript,直接采集你在浏览器中看到的页面

二、Selenium + PhantomJS

1.Selenium:web自动化测试工具

(1)​自动加载页面;(2)​获取数据;(3)截屏

​(4)官方文档:http://selenium-python.readthedocs.io/index.html

2.PhantomJS

(1)基于WebKit的无界面的浏览器

(2)​官方网站:http://phantomjs.org/download.html

3.Selenium库有一个WebDriver的API

4.WebDriver可以跟页面上的元素进行各种交互,用它可以来进行爬取

 

"""

通过webdriver操作模拟进行查找

"""

from selenium import webdriver

import time

#通过keys模拟键盘

from selenium.webdriver.common.keys import Keys

#操作哪个浏览器就对哪个浏览器建立一个实例

#自动按照环境变量查找相应的浏览器

driver = webdriver.PhantomJS()#这个就是浏览器的实例

#如果浏览器没有相应的环境浏览器,需要指定浏览器位置

driver.get("http://www.baidu.com")#去访问这个网站,然后获取返回的数据

#通过函数查找title标签

print("Title:{0}".format(driver.title))

5.Chrome + Chromedriver

下载Chrome​:下载和安装

Chromdriver​安装

五、源码

Reptile14_1_DHTML.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptile14_1_DHTML.py

2.CSDN:https://blog.csdn.net/weixin_44630050

3.博客园:https://www.cnblogs.com/ruigege0000/

4.欢迎关注微信公众号:傅里叶变换,个人公众号,仅用于学习交流,后台回复”礼包“,获取大数据学习资料

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!