大数据流行的今天，网络爬虫成为了获取数据的一个重要手腕。但要学习好爬虫并没有那么简单。由于学习点、学习方向等实在是太多了，而且它涉及到计算机网络、后端编程、前端开发、App 开发与逆向、网络安全、数据库、自动化运维、机器学习、数据分析等各个方向的内容，它像一张大网一样，把如今一些主流的技术栈都囊括在内。正由于设计内容的多样性，需要学习的东西也变得十分零散和杂乱。很多初学者找不到具体的学习方向。学习过程中遇到反爬、JS渲染等问题，也不知道该如何处理。基于这些年的爬虫经验，梳理了一下作为一个初学者，需要掌握的内容。
语言的选择
C语言历史悠久，Java横行当下，大多初学者可能在大学都接触过这两门语言。但他们都有缺点，C语言学习难度大，Java太复杂，效率也有点底，Python则刚刚好。所以，本文所讲内容均以Python为开发语言。
初学爬虫
一般的网站，常常不带任何反爬措施。比方某某博客站点，我们要爬全站的话就顺着列表页爬到文章页，再把文章的时间、作者、正文等信息爬下来就能够了。
那代码怎样写呢？用 Python 的 requests 等库就够了，写一个根本的逻辑，顺着把一篇篇文章的源码获取下来，解析的话用 XPath、BeautifulSoup、PyQuery 或者正则表达式，或者粗暴的字符串匹配把想要的内容抠出来，再加个文本写入存下来就完事了。
代码很简单，就几个办法调用。逻辑很简单，几个循环加存储。最后就能看到一篇篇文章就被我们存到本人的电脑里面了。如果有的童鞋说代码我也不想写，那么你就用第三方的可视化爬取工具，如某爪鱼、某裔采集器等，也能经过可视化点选的方式把数据爬下来。
如果在存储方面需要在扩展一下的话，可以结合MySQL、MongoDB、Elasticsearch、Kafka 等来完成数据的持久化。以后查询等也会方便很多。所以，在不考虑效率的情况下，一个完整没有反爬的网站用最最根本的方式就搞定了。
看到这里，你就说你学会采集了？NO，It's a long way off！
动态数据(Ajax、动态渲染)
随着互联网的开展，前端技术也在不时变化，数据的加载方式也不再是单纯的效劳端渲染了。如今你能够看到很多网站的数据，可能都是经过接口的方式传输的，或者即便不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染所来。
这时，你要再用 requests 来爬那就不顶用了，由于 requests 爬下来的是HTML或jsp等源文件内容，和浏览器中看到的内容并不一样。真正的数据是需要经过 JavaScript 渲染，数据来源可能是 Ajax，也可能是页面里的某些 Data，也可能是一些 ifame 页面等。不过，一般情况下 Ajax 接口获取方式较多。
所以很多状况下需要分析 Ajax流，分析这些接口的调用方式，然后通过代码来模拟访问，请求相应的数据。但是有些接口带着加密参数，比方 token、sign 等等，又不好模仿，咋整呢？
一种办法就是去剖析网站的 JavaScript 逻辑，死磕代码逻辑，分析出各个参数含义，梳理出思路，再用爬虫模仿重写就行了。假如你解出来了，那么直接模仿的方式获取数据的效率会极高。当然，这就需要你会一些 JavaScript 知识了，当然有些网站加密逻辑做的太牛逼了。有时，你可能花一个星期也解不出来，最后还是放弃了。
这时候咋办呢？那我们就用一种简单粗暴的办法来获取数据，那就是直接用模拟浏览器访问的方式来爬取，比方用 Puppeteer、Pyppeteer、Selenium、Splash 等，这样爬取到的源代码，就是JavaScript 渲染以后的真正的网页代码，数据自然就好提取了。同时也就绕过分析 Ajax 等 JavaScript 逻辑的过程。这种方式就做到了可见即可爬，难度也不大。
当然，现在的网站有一些技术挺牛的，能够辨识出webdriver等驱动，看到你是用的 Selenium 等工具，直接拒绝访问或不返回数据，所以碰到这种网站，还是需要具体情况具体分析一下，找到解决的方法。
多进程、多线程、协程
上面说的模拟浏览器方法的方式挺简单的，但是就是爬虫数据的速度较慢，不适合生产环境下使用。
爬虫是 IO 密集型的任务，大多数状况下都是在等候网络的响应，如果网络响应速度慢或者网站响应慢，就一直处于等待的状态。但这个等待时间，其实是可以让 CPU 去做其他的事情。那需要如何实现呢？这时，多线程就派上用途了。
虽然说多线程有 GIL 锁，但对于爬虫来说其实影响并不大，某些场景下加上多进程、多线程，数据的爬取速度会呈指数的增长。那怎么做呢？这时threading、multiprocessing等出现了。
如果能再使用上异步协程，就更牛X了，结合使员工 aiohttp、gevent、tornado 等插件，你想搞几并发就搞几并发，但还是要控制好速度，一方面是为了避免网站封你 IP、封你账号、弹验证码、返回假数据，另一方面，也要做一个有道德的爬虫，不能把别人的网站搞瘫了。
总之，用上这几个，采集速度一定是不用担心了。
分布式布式
多线程、多进程、协程都能够加快采集的速度，但终还是单机版。要真正做到规模化， 还得靠分布式来实现。分布式核心是资源共享。比方爬取队列、去重指纹等共享。现实中，小数据量的采集可以使用数据库，如MySQL、DB2、Oracle等实现，但是到规模化、大批量采集时，数据库会成为瓶颈，Redis等基于内存的NoSql数据库是个不错的选择。
如今主流的 Python 散布式爬虫还是基于 Scrapy 的，对接 Scrapy-Redis、Scrapy-Redis-BloomFilter 或者用 Scrapy-Cluster 等等，他们都是基于 Redis 来共享爬取队列的，总会多几少遇到一些内存的问题。所以一些人也思索对接到了其他的消息队列上，比方 RabbitMQ、Kafka 等等，其实效果也差不多少。
总之，想大规模、批量、高效的采集数据，分布式是必不可少的。
常在河边走哪有不湿鞋，爬取的网站多了，总会遇到那么几个难搞的网站，此时验证码就是其中之一。想要解决反爬，验证码首当其冲。
现在很多网站都会有各种各样的验证码了，比方最简单的图形验证码，要是验证码的文字规整的话，OCR 过一遍或者根本的模型库都能辨认，不想搞这个的话能够直接去对接个打码平台来搞，精确率还是有的。
但是现在图形验证码已经越来越少了，都在向行为验证码发展，如某验、某盾等等，国外也有很多，比方 reCaptcha 等等。一些略微简单一点的，比方滑动的，你能够找点方法辨认缺口，比方图像处置比对、深度学习辨认都是能够的。轨迹呢本人写个模仿正常人行为的，加点颤动之类的。有了轨迹之后咋模仿呢，假如你牛逼，那么能够直接去剖析验证码的 JavaScript 逻辑，把轨迹数据录入，那就能得到里面的一些加密参数，直接拿着这些参数放到表单或接口里面就能直接用了。当然也能够用模仿阅读器的方式来拖动，也能经过一定的方式拿到加密参数，或者直接用模仿阅读器的方式把登录一同做了，拿着 Cookies 来爬也行。
拖动只是一种验证码，还有文字点选、逻辑推理等，要是真不想搞，能够找打码平台来解出来再模仿，但毕竟花钱的，一些高手就会选择本人锻炼深度学习相关的模型，搜集数据、标注、锻炼，针对不同的业务锻炼不同的模型。这样有了中心技术，也不用再去花钱找打码平台了，再研讨下验证码的逻辑模仿一下，加密参数就能解出来了。不过有的验证码难得很，有的我也没搞定。
当然有些验证码可能是请求过于频繁时才会弹出来，这时换个IP什么的也就解决了。
封 IP
封 IP 也是个令人头疼的事，一般解决的办法就是使用代理。
代理很多种，市面上免费的，收费的太多太多了。但是访问速度都不是太好，这是可以买一批比较便宜的云主机作为代理服务器使用，不过就是成本高一点。如果对效率没有要求，可以把市面上免费的代理用起来，搭建一个代理池，搜集一切可用的免费代理IP，然后加一个测试器不断不时测试，测试的网址能够改成你要爬的网址。这样测试经过的普通都能直接拿来爬你的目的网站 。
付费代理也是一样，很多商家提供了代理提取接口，请求一次可以获取几个代理IP，我们能够同样把它们接入到代理池里面。但这个代理也分各种套餐，什么开放代理、独享代理等等的质量和被封的几率也是不一样的，一般情况下IP还有时效。
有的商家还应用隧道技术搭了代理，这样代理的地址和端口我们是不晓得的，代理池是由他们来维护的，比方某布云，这样用起来更省心一些，但是可控性就差一些。
还有更稳定的代理，比方拨号代理、蜂窝代理等等，接入本钱会高一些，但是一定水平上也能处理一些封 IP 的问题。
不过这些背后也不简单，为啥一个好好的高匿代理就是莫明其妙爬不了，背后的一些事就不多讲了。
封账号
有些信息，只有在模仿登录的情况下才能看到，如果爬的过快，人家网站直接把你的账号封禁了，就啥都没得说了。比方爬公众号的，人家把你 WX 号封了，那就全完了。
一种处理办法当然就是放慢频率，控制下节拍。
还有种办法就是看看别的终端，比方手机页、App 页、wap 页，看看有没有能绕过登录的法子。
另外比较好的办法，那就是分流。假如你号足够多，建一个池子，比方 Cookies 池、Token 池、Sign 池反正不论什么池吧，多个账号跑出来的 Cookies、Token 都放到这个池子里面，用的时分随机从里面拿一个。假如你想保证爬取效率不变，那么 100 个账号相比 20 个账号，关于每个账号对应的 Cookies、Token 的取用频率就变成原来的了 1/5，那么被封的概率也就随之降低了。
反爬
上面说的是几种比拟主流的反爬，当然还有十分多奇葩的反爬。比方返回假数据、返回图片化数据、返回乱序数据、返回骂人的数据、返回求饶的数据，一般情况下，具体问题就需要具体分析了。
这些反爬也得当心点，之前见过一个反爬直接返回 命令行 rm -rf 的也不是没有，你要是正好有个脚本模仿执行返回结果，结果就可以跑路了，哈哈哈....
JavaScript 逆向
这一步是比较有难度的。
随着前端技术的进步和网站反爬认识的加强，很多网站选择在前端上下功夫，那就是在前端对一些逻辑或代码停止加密或混杂。当然这不只仅是为了维护前端的代码不被随便盗取，更重要的是反爬。比方很多 Ajax 接口都会带着一些参数，比方 sign、token 等等，这些前文也讲过了。这种数据我们能够用前文所说的 Selenium 等方式来爬，但总归来说效率太低了，毕竟它模仿的是网页渲染的整个过程，而真实的数据可能仅仅就藏在一个小接口里。
假如我们可以把一些接口的参数真正找出其中的逻辑，用代码来模仿执行，那效率就会有成倍的提升，而且还能在一定水平上躲避上述的反爬现象。
但是.......好难好难啊。
Webpack 是一方面，前端代码都被紧缩和转码成一些 bundle 文件，一些变量的含义曾经丧失，不好复原。然后一些网站再加上一些 obfuscator 的机制，把前端代码变成你完整看不懂的东西，比方字符串拆散打乱、变量十六进制化、控制流扁平化、无限 debug、控制台禁用等等，前端的代码和逻辑曾经改头换面。有的用 WebAssembly 等技术把前端中心逻辑直接编译，那就只能渐渐抠了，固然说有些有一定的技巧，但是总归来说还是会破费很多时间。但一旦解出来了，那就万事大吉了。怎样说？就像奥赛题一样，解出来升天，解不出来 GG。
很多公司招聘爬虫工程师都会问有没有 JavaScript 逆向根底，破解过哪些网站，比方某宝、某多、某条等等，解出来某个他们需求的可能就直接录用你。每家网站的逻辑都不一样，难度也不一样。
App客户端
当然爬虫不只仅是网页爬虫了，随着互联网时期的开展，如今越来越多的公司都选择将数据放到 App 上面，以至有些公司只要 App 没有网站。所以数据只能经过 App 来爬。
咋爬呢？首当其冲的就是抓包工具了，如：Charles、Fiddler等，抓到接口之后，直接拿来模仿就行了。
假如接口有加密参数怎样办呢？一种办法你能够边爬边处置，比方 mitmproxy 直接监听接口数据。另一方面你能够走 Hook，比方上 Xposed 也能够拿到。
那爬的时分又怎样完成自动化呢？总不能拿手来戳吧。其实工具也多，安卓原生的 adb 工具也行，Appium 如今曾经是比拟主流的计划了，当然还有其他的某精灵都是能够完成的。
最后，有的时候可能真的就不想走自动化的流程，我就想把里面的一些接口逻辑抠出来，那就得搞逆向了，IDA Pro、jdax、FRIDA 等工具就派上用场了，当然这个过程和 JavaScript 逆向一样很痛苦，有时甚至得分析汇编指令。搞一个案例掉一把头发也不是不可能的。
智能化
上面的这一通，都搞熟了，祝贺你曾经超越了百分之八九十的爬虫玩家了，当然特地搞 JavaScript 逆向、App 逆向的都是站在食物链顶端的男人，这种严厉来说曾经不算爬虫范畴了，这种神我们就不算在里面了，反正我不是。
除了上面的一些技艺，在一些场所下，我们可能也需求分离一些机器学习的技术，让我们的爬虫变得更智能起来。
比方如今很多博客、新闻文章，其页面构造类似度比拟高，要提取的信息也比拟相似。
比方如何辨别一个页面是索引页还是详情页？如何提取详情页的文章链接？如何解析文章页的页面内容？这些其实都是能够经过一些算法来计算出来的。
所以，一些智能解析技术也营运而生，比方提取详情页，一位网友写的 GeneralNewsExtractor(GNE) 表现就十分好。
假设说我来了一个需求，我要爬取一万个新闻网站数据，要一个个写 XPath 吗？假如有了智能化解析技术，在一定的容错条件下，完成这个就是分分钟的事情。
总之，假如我们能把这一块也学会了，我们的爬虫技术就会如虎添翼。
运维
这块也是一个重头戏。爬虫和运维也是息息相关。
比方写完一个爬虫，怎样去快速部署到 100 台主机上跑起来。
比方怎样灵敏地监控每个爬虫的运转状态。
比方爬虫有处代码改动，如何去快速更新。
比方怎样监控一些爬虫的占用内存、耗费的 CPU 情况。
比方怎样科学地控制爬虫的定时运转、
比方爬虫呈现了问题，怎样能及时收到通知，怎样设置科学的报警机制。
这里面，部署大家各有各的办法，比方用 Ansible 当然能够。假如用 Scrapy 的话有 Scrapyd，然后配合上一些管理工具也能完成一些监控和定时任务。不过我如今用的更多是还是 Docker + Kubernetes，再加上 DevOps 一套，比方 GitHub Actions、Azure Pipelines、Jenkins 等等，快速完成分发和部署。
定时任务大家有的用 crontab，有的用 apscheduler，有的用管理工具，有的用 Kubernetes，我的话用 Kubernetes 就多一些了，定时任务也是很好完成。
至于监控的话，也有很多，一些爬虫管理工具自带了一些监控和报警功用。一些云后台也带了一些服务器监控的功能。我用的是 Kubernetes + Prometheus + Grafana，什么 CPU、内存、运转状态，了如指掌，报警机制在 Grafana 里面配一下也很便当，支持 Webhook、邮件以至某钉。
数据的存储和监控，用 Kafka、Elasticsearch 个人觉得也挺便当的，我主要用的是后者，然后再和 Grafana 配合起来，数据爬取量、爬取速度等等监控也都了如指掌。
结语
至此，爬虫的一些涵盖的学问点也就差不多了，怎样样，梳理一下，是不是计算机网络、编程根底、前端开发、后端开发、App 开发与逆向、网络平安、数据库、运维、机器学习都涵盖到了？上面总结的能够算是从爬虫小白到爬虫高手的途径了，里面每个方向其实可研讨的点十分多，每个点做精了，都会十分了不起。
爬虫常常学着学着，就成为了一名全栈工程师或者全干工程师，由于你可能真的啥都会了。但是没方法啊，都是被爬虫逼的啊，假如不是生活所困，谁愿意一身才气呢？
但是有了才气之后呢？摸摸头顶，卧槽，我的头发呢？
嗯，大家都懂的。最后最重要的，珍爱生命、珍爱每一根头发。
更多信息请关注：
本文分享自微信公众号 - 十点数据（crawler-small-gun）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
来源：oschina
链接：https://my.oschina.net/u/4221664/blog/4456226