如何抓取Js动态生成数据且以滚动页面方式分页的网页
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 当我们在进行数据抓取的时候，如果目标网站是以Js的方式动态生成数据且以滚动页面的方式进行分页，那么我们该如何抓取呢？ 如类似今日头条这样的网站： http://toutiao.com/ 我们可以使用 Selenium 来搞定这件事情。Selenium的设计目的虽然是用于Web应用程序 的自动化 测试，但是却非常适合用来做数据抓取，可以非常简单地绕过网站的反爬虫限制，因为Selenium直接运行在浏览器中，就像真正的用户在操作一样。 使用 Selenium，我们不但可以抓取Js动态生成数据的网页，而且可以抓取以滚动页面方式分页的网页。 首先，我们使用maven引入 Selenium依赖： <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>2.47.1</version> </dependency> 接下来就可以写代码抓取了： import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; import org