python爬虫(一)_爬虫原理和数据抓取
本篇将开始介绍Python原理，更多内容请参考： Python学习指南 为什么要做爬虫 著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经在2015年提到由IT转到DT，何谓DT，DT即数据技术，由数据在推倒人们的衣食住行，当今时代是一个 大数据时代 ，数据从何而来？ 企业产生的用户数据 ： 百度指数 、 阿里指数 、 TBI腾讯浏览指数 、 新浪微博指数 数据平台购买数据 ： 数据堂 、 国云数据市场 、 贵阳大数据交易所 政府机构公开的数据 ： 中华人民共和国国家统计局数据 、 世界银行公开数据 、 联合国数据 、 纳斯达克 数据管理咨询公司 ： 麦肯锡 、 埃森哲 、 艾瑞咨询 爬取网络数据 ：如果需要的数据市场上没有，或者不愿意购买，那么就可以招/做一名爬虫工程师，自己动手丰衣足食。 拉勾网Python爬虫职位 爬虫是什么？ 百度百科： 网络爬虫 关于Python爬虫，我们需要学习的有： Python基础语法学习(基础知识) HTML页面的内容抓取(数据抓取) HTML页面的数据提取(数据清洗) Scrapy框架以及scrapy-redis分布式策略(第三方框架) 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争。。。。 通用爬虫和聚焦爬虫 网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。