Java简单爬虫系列（1）---什么是爬虫，爬虫原理，怎么来实现爬虫
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 很早就想写个小爬虫了，一直拖拖拖，真是应了一句话，人有多大胆就能拖多晚。这几天终于开始搞了搞，现写下一些需要用到的知识，用作自己储备和希望能给同样需要的oser们一点经验。 这个系列一共有5篇，分为 Java简单爬虫系列（1）---什么是爬虫，爬虫原理，怎么来实现爬虫 Java简单爬虫系列（2）---HttpClient的使用 Java简单爬虫系列（3）---正则表达式和Java正则API的使用 Java简单爬虫系列（4）--- 正则表达式获取百度LOGO Jsoup使用获取推荐列表 下面是第一篇的内容，《什么是爬虫，爬虫原理》 你让我给你说什么是爬虫，我也不知道，我知道的是它可以在互联网上根据取得的url，顺着url一个一个的去访问页面(页面资源都访问到了，你就可以干你想干的事情了) 关于原理下面这段话我觉得十分有用 for each 链接 in 当前网页所有的链接 { if(如果本链接是我们想要的 || 这个链接从未访问过) { 处理对本链接 把本链接设置为已访问 } } 想使用爬虫， 首先你要给它一个种子链接URL 在种子链接的页面查找其他的URL，重复1步骤 有链接有页面，然后你可以在页面中查找需要的内容 这其中需要的知识点 http请求器 由于不是用浏览器访问，我们需要在本地的文件中发起请求获取资源