robots协议

点击上方“ Python数据科学 ”， 星标公众号 重磅干货，第一时间送达 作者 l Hollis 来源 l Hollis（ID：hollischuang） 最近，有很多关于程序员被抓甚至被判刑的新闻在朋友圈疯传： "某程序员因为接了个外包，帮别人写了个软件，结果这个软件被用于赌博导致被抓。 某公司利用爬虫抓取用户信息，最后被发现，导致该公司的程序员被抓。 某P2P公司暴雷，老板跑路，程序员被抓。 中科大博士卖“外挂”非法牟利300多万，被警方逮捕。" 那么，作为一个程序员，如何避免这些坑呢？怎样尽可能的保护自己呢？ 为此，作者特地找自己法律专业的朋友了解了一些常见的问题，如参与爬虫、赌博网站、P2P以及外挂开发是否违法等问题。 总结出了这篇文章，一起探讨一下" 技术到底是不是真的无罪？ "，作为程序员如何避免面向监狱编程！ 由于作者并非专业的法律工作从业者，文中法规部分的引用如有偏差，请指正。希望通过本文可以帮助广大程序员们了解一下有哪些自己的人身自由息息相关的坑。 一、爬虫 爬虫，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。 随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式变得更加广泛和多样，较为常见的有新闻平台的内容汇聚和生成、电子商务平台的价格对比功能、基于气象数据的天气预报应用等等。

△Hollis, 一个对Coding有着独特追求的人△ 这是Hollis的第 233 篇原创分享 作者 l Hollis 来源 l Hollis（ID：hollischuang） 最近，有很多关于程序员被抓甚至被判刑的新闻在朋友圈疯传： "某程序员因为接了个外包，帮别人写了个软件，结果这个软件被用于赌博导致被抓。 某公司利用爬虫抓取用户信息，最后被发现，导致该公司的程序员被抓。 某P2P公司暴雷，老板跑路，程序员被抓。 中科大博士卖“外挂”非法牟利300多万，被警方逮捕。 " 那么，作为一个程序员，如何避免这些坑呢？怎样尽可能的保护自己呢？ 为此，作者特地找自己法律专业的朋友了解了一些常见的问题，如参与爬虫、赌博网站、P2P以及外挂开发是否违法等问题。 总结出了这篇文章，一起探讨一下" 技术到底是不是真的无罪？ "，作为程序员如何避免面向监狱编程！ 由于作者并非专业的法律工作从业者，文中法规部分的引用如有偏差，请指正。希望通过本文可以帮助广大程序员们了解一下有哪些自己的人身自由息息相关的坑。 一、爬虫 爬虫，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。 随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式变得更加广泛和多样，较为常见的有新闻平台的内容汇聚和生成、电子商务平台的价格对比功能

利用urllib的 robotparser 模块，我们可以实现网站Robots协议的分析。本节中，我们来简单了解一下该模块的用法。 1. Robots协议 Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。 当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。 下面我们看一个robots.txt的样例： User-agent: * Disallow: / Allow: /public/ 这实现了对所有搜索爬虫只允许爬取public目录的功能，将上述内容保存成robots.txt文件，放在网站的根目录下，和网站的入口文件（比如index.php、index.html和index.jsp等）放在一起。 上面的 User-agent 描述了搜索爬虫的名称，这里将其设置为*则代表该协议对任何爬取爬虫有效。比如，我们可以设置： User-agent: Baiduspider 这就代表我们设置的规则对百度爬虫是有效的。如果有多条 User

目录 安装requtests requests库的连接异常 HTTP协议 HTTP协议对资源的操作 requests库的7个主要方法 request方法 get方法 网络爬虫引发的问题 robots协议 robots协议的遵守方式 网络爬虫实战 京东商品页面的爬取 亚马逊商品页面的爬取 百度/360搜索关键字提交 网络图片的爬取和存储 IP地址归属地的自动查询 安装requtests python2安装requests python2 -m pip install requests python3安装requests python3 -m pip install requests 一个小demo >>> import requests >>> r = requests.get("http://www.baidu.com") # 访问百度主页 >>> r.status_code # 查看状态码，状态码为200表示访问成功 200 >>> r.encoding = 'utf-8' #更改编码为 >>> r.text # 打印网页内容 requests库的连接异常 requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等 requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常

最近，有关程序员因为参与某些项目开发导致被起诉，甚至被判刑的事件发生的比较多： 某程序员因为接了个外包，帮别人写了个软件，结果这个软件被用于赌博导致被抓。 某公司利用爬虫抓取用户信息，最后被发现，导致该公司的程序员被抓。 某P2P公司暴雷，老板跑路，程序员被抓。 中科大博士卖“外挂”非法牟利300多万，被警方逮捕。 那么，作为一个程序员，如何避免这些坑呢？怎样尽可能的保护自己呢？ 本文就从爬虫、赌博网站、P2P以及外挂等几个方向来介绍下，作为程序员如何避免面向监狱编程！ 由于作者并非专业的法律工作从业者，文中法规部分的引用如有偏差，请指正。希望通过本文可以帮助广大程序员们了解一下有哪些自己的人身自由息息相关的坑。 一、爬虫 爬虫，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。 随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式变得更加广泛和多样，较为常见的有新闻平台的内容汇聚和生成、电子商务平台的价格对比功能、基于气象数据的天气预报应用等等。 网络爬虫技术为数据收集者提供了极大的便利，也给专业网络爬虫公司带来巨大的收益。所以，很多公司都会有爬虫部门，或者负责开发爬虫的团队，在招聘网站上，也随处可见关于"爬虫工程师"的招聘贴。  关于这个问题，一直都是比较难定性的，因为爬虫本身只是个工具，就和菜刀一样