【大数据应用技术】作业八｜爬虫综合大作业（下）

本次所以的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075

前言

本次作业是爬取拉勾网python相关岗位的信息，通过爬取岗位id、城市、公司全名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限等数据并对其进行数据分析从而得出相应结论。

网页爬虫

1.代理IP

在爬取数据之前我们可以考虑使用代理ip进行爬取，所以这里我写了一段代码检测ip的有效性，这里我使用的是西刺免费代理ip进行测试。不过在测试中我发现可用的免费代理ip少之又少，并且时效性较短，用起来不太方便，所以如果有专门的爬虫需求的人可以考虑使用付费ip。

测试代理ip时效性代码如下：

import requests
import random

proxies = {'http': ''}
def loadip():
   url='https: // proxy.horocn.com / api / proxies?order_id = 3JXK1633928414619951 & num = 20 & format = text & line_separator = win & can_repeat = yes'
   req=requests.get(url)
   date=req.json()
   ipdate2=date['msg']
   global ipdate
   ipdate.extend(ipdate2)
   print(ipdate)

def getproxies():
    b=random.choice(ipdate)
    d = '%s:%s' % (b['ip'], b['port'])
    global proxies
    proxies['http']=d
    global msg
    msg=b

loadip()
getproxies()
print(proxies)

2.拉勾网python相关岗位爬虫

测试完代理IP之后，我们就可以开始正式对拉勾网python相关岗位的信息进行爬虫了。拉勾网python相关岗位网页爬虫代码如下所示：

（注意：在下面的 ip_list 中的代理IP到现在为止应该已经失效了，所以如果还要使用代理IP的话需要重新找新的代理IP）

  1 # encoding: utf-8
  2 import json
  3 import requests
  4 import xlwt
  5 import time
  6 import random
  7 
  8 def GetUserAgent():
  9     '''
 10     功能：随机获取HTTP_User_Agent
 11     '''
 12     user_agents=[
 13     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 14     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
 15     "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 16     "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
 17     "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
 18     "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
 19     "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
 20     "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
 21     "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
 22     "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
 23     "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
 24     "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
 25     "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
 26     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
 27     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
 28     "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
 29     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
 30     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
 31     "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
 32     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
 33     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
 34     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
 35     "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
 36     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
 37     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
 38     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
 39     "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
 40     "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
 41     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
 42     "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
 43     "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
 44     "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
 45     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
 46     "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
 47     ]
 48     user_agent = random.choice(user_agents)
 49     return user_agent
 50 
 51 # 获取存储职位信息的json对象，遍历获得公司名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限
 52 def get_json(url, datas):
 53     user_agent = GetUserAgent()
 54     ip_list = [
 55         {"http":"http://138.255.165.86:40600"},
 56         {"http":"http://195.122.185.95:3128"},
 57         {"http":"http://185.203.18.188:3128"},
 58         {"http":"http://103.55.88.52:8080"}
 59     ]
 60     proxies=random.choice(ip_list)
 61     my_headers = {
 62         "User-Agent": user_agent,
 63         "Referer": "https://www.lagou.com/jobs/list_Python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=",
 64         "Content-Type": "application/x-www-form-urlencoded;charset = UTF-8"
 65     }
 66     time.sleep(5)
 67     ses = requests.session()  # 获取session
 68     ses.headers.update(my_headers)  # 更新
 69     ses.proxies.update(proxies)
 70 
 71     cookie_dict = dict()
 72     ses.cookies.update(cookie_dict)
 73 
 74     ses.get(
 75         "https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=",headers=my_headers)
 76     time.sleep(5)
 77     content = ses.post(url=url, data=datas)
 78     result = content.json()
 79     info = result['content']['positionResult']['result']
 80     info_list = []
 81     for job in info:
 82         information = []
 83         information.append(job['positionId'])  # 岗位对应ID
 84         information.append(job['city'])  # 岗位对应城市
 85         information.append(job['companyFullName'])  # 公司全名
 86         information.append(job['companyLabelList'])  # 福利待遇
 87         information.append(job['district'])  # 工作地点
 88         information.append(job['education'])  # 学历要求
 89         information.append(job['firstType'])  # 工作类型
 90         information.append(job['formatCreateTime'])  # 发布时间
 91         information.append(job['positionName'])  # 职位名称
 92         information.append(job['salary'])  # 薪资
 93         information.append(job['workYear'])  # 工作年限
 94         info_list.append(information)
 95         # 将列表对象进行json格式的编码转换,其中indent参数设置缩进值为2
 96         # print(json.dumps(info_list, ensure_ascii=False, indent=2))
 97     # print(info_list)
 98     return info_list
 99 
100 
101 def main():
102     page = int(input('请输入你要抓取的页码总数：'))
103     # kd = input('请输入你要抓取的职位关键字：')
104     # city = input('请输入你要抓取的城市：')
105 
106     info_result = []
107     title = ['岗位id', '城市', '公司全名', '福利待遇', '工作地点', '学历要求', '工作类型', '发布时间', '职位名称', '薪资', '工作年限']
108     info_result.append(title)
109     for x in range(56, page + 1):
110         url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
111         # 请求参数，pn参数是页数，kd参数是职位关键字
112         datas = {
113             'first': 'false',
114             'pn': x,
115             'kd': 'python',
116         }
117         try:
118             info = get_json(url, datas)
119             info_result = info_result + info
120             print("第%s页正常采集" % x)
121         except Exception as msg:
122             print("第%s页出现问题" % x)
123 
124         # 创建workbook,即excel
125         workbook = xlwt.Workbook(encoding='utf-8')
126         # 创建表,第二参数用于确认同一个cell单元是否可以重设值
127         worksheet = workbook.add_sheet('lagoupy', cell_overwrite_ok=True)
128         for i, row in enumerate(info_result):
129             # print(row)
130             for j, col in enumerate(row):
131                 # print(col)
132                 worksheet.write(i, j, col)
133         workbook.save('lagoupy.xls')
134 
135 
136 if __name__ == '__main__':
137     main()

数据分析

在执行完上述爬虫代码之后，我们可以得到一个lagoupy.xls的文件，里面存储的是我们爬虫的结果，总共爬取了2640条数据，如下图所示。

1.数据预处理

由于我们爬取下来的数据并不是全部都是我们所要的，或者是有一些数据需要进行加工才可以用到，这时候数据的预处理就必不可少了。

① 删除重复值

如果数据中存在重复记录, 而且重复数量较多时, 势必会对结果造成影响, 因此我们应当首先处理重复值。打开lagoupy.xls文件，选中岗位id这一列数据，选择数据——>删除重复值，对重复值进行删除，删除重复值后，我们可以发现，数据从原来的2641条变成2545条。

② 过滤无效数据

由于某些数据对我们的数据分析并无用处，所以对于这一部分数据我们可以不要，在这里发布时间是无效数据，所以我们可以直接删除这一列。

③ 加工数据

由于爬取下来的数据中薪资这一列是类似于15k-30k这样的数据，并且这样的数据不能满足我们的分析需求, 因此需要对薪资这一列数据进行分列操作，把薪资这一列分裂成最低工资和最高工资，接着我们可以利用最低工资和最高工资计算出平均工资，并把平均工资作为新的一列添加进数据表中。

经过上述三个步骤后，我们最终可以得到一个经过数据预处理之后的lagoupy.xls文件，经过预处理之后我们的数据条数也从原来的2640条变成了2544条，如下图所示。

2.数据分析

① 学历要求

根据所统计的数据来看，python对学历要求以本科和大专居多，其中本科以2071名列第一。

② 工作类型

我们把python相关的工作大体分为八类，分别是产品|需求|项目类、技术类、教育|培训类、金融类、开发|测试|运维类、生产|加工|制造类、运营|编辑|客服类，其中以开发|测试|运维类这一类工作类型的人才需求多，占绝对优势。

③ 工作城市

统计各个城市对python相关岗位的需求情况，由下图我们不难发现，北京、上海、深圳、广州、杭州、成都这六个城市对python这一相关行业的需求比较大。

④ 工作年限

对python相关岗位的工作年限进行统计，我们可以发现企业对于python的工作经验要求以3-5年、1-3年这两种工作年限需求居多。

⑤ 城市与工资——较发达的城市工资水平较高

由下图可知，城市与工资有一定的关系，在北上广深等发达的城市里，python相关职位的工资较高。

⑥ 学历与工资——学历越高工资越高

由图可知，整体上看学历越高工资越高。由于博士学历只有一条数据，所以这里可能因为数据不足的原因导致分析结果有所误差。

⑦ 工作年限与工资——工作年限越长工资越高

由图可知，工作年限越长，工资越高。其中因为10年以上只有一条数据，所以对于10年以上的工作经验所统计出来的数据可能有所偏差。

⑧ 福利待遇

首先，我们新建一个fuli.txt的文件，把福利待遇这一列粘贴到fuli.txt中并保存，如下图所示。

其次，我们对fuli.txt进行词频统计，把词频统计生成的结果存为fuli.csv文件。福利待遇词频统计代码如下所示：

 1 # -*- coding: utf-8 -*-
 2 import jieba  # 加载停用表
 3 import  pandas as pd
 4 from wordcloud import WordCloud
 5 import matplotlib.pyplot as plt
 6 
 7 # 分解
 8 article = open("fuli.txt", "r", encoding='utf-8').read()
 9 jieba.add_word('五险一金')
10 jieba.add_word('七险一金')
11 jieba.add_word('六险一金')
12 jieba.add_word('带薪年假')
13 jieba.add_word('美女多')
14 jieba.add_word('帅哥多')
15 jieba.add_word('年底双薪')
16 jieba.add_word('绩效奖金')
17 jieba.add_word('股票期权')
18 jieba.add_word('扁平管理')
19 jieba.add_word('弹性工作')
20 jieba.add_word('管理规范')
21 jieba.add_word('岗位晋升')
22 jieba.add_word('技能培训')
23 jieba.add_word('节日礼物')
24 jieba.add_word('带薪年假')
25 jieba.add_word('定期体检')
26 jieba.add_word('通讯津贴')
27 jieba.add_word('领导好')
28 jieba.add_word('年度旅游')
29 jieba.add_word('交通补助')
30 jieba.add_word('年终分红')
31 jieba.add_word('丰盛三餐')
32 jieba.add_word('发展空间大')
33 jieba.add_word('午餐补助')
34 jieba.add_word('快速发展')
35 jieba.add_word('发展前景好')
36 jieba.add_word('专项奖金')
37 jieba.add_word('免费班车')
38 jieba.add_word('丰盛三餐')
39 jieba.add_word('科技大牛')
40 words = jieba.cut(article, cut_all=False)  # 统计词频
41 stayed_line = {}
42 for word in words:
43     if len(word) == 1:
44         continue
45     else:
46         stayed_line[word] = stayed_line.get(word, 0) + 1
47 
48 print(stayed_line)  # 排序
49 xu = list(stayed_line.items())
50 # print(xu)
51 
52 #存到csv文件中
53 pd.DataFrame(data=xu).to_csv("fuli.csv",encoding="utf_8_sig")