拉勾网

https://blog.csdn.net/xiaoduan_/article/details/80835231 在拉勾网发现他们招聘信息的返回接口是json接口，有这样好的数据接口怎么能不爬那。 平时比较喜欢spark，那就来爬spark的招聘信息然后放到MongoDB里面吧 #!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Author : Anthony_Duan # @Time : 25/06/2018 15:53 # @File : lagou.py # @Software: PyCharm import requests from fake_useragent import UserAgent import time from pymongo import MongoClient client = MongoClient() db = client.lagou # 连接数据库，如果没有该数据库就创建一个 my_set = db.spark_job # 定义lagou数据库下的job表 没有自动创建 headers = { "Cookie" : "JSESSIONID=ABAAABAAAIAACBICB3D046BA1BEA314A00EA18BD6391426; SEARCH_ID

关于如何爬取拉勾网上的招聘信息，网上教程很多，而且很详细，我自己不再重复提供了。 每个人遇到的大部分问题，我估计70%，在网上都可以找到答案。善于利用搜索引擎，自己多动手，就能够解决其中的大部分问题。 我感兴趣的是，如何处理爬下来的数据，这些数据能够描述什么样的现状。当然了，仅仅展示这些数据，对于数据分析来说是远远不够的。展示是第一步，是基础。如何从这些展示的数据中发现问题，并提出解决方法，甚至能够说服领导或者业务人员，按照你的方法去改进，才是对数据分析人员的挑战。 爬取下来的原始数据，格式如下： 分析工具：jupyter notebook，比较直观，界面友好。用到的库主要是pandas、matplotlib、jieba、wordcloud 一、学历的要求 本科学历以绝对优势遥遥领先。有点意外的是，大专学历比例也不低。硕士需求就比较少。 我个人理解，python最近几年火起来，主要得益于大数据分析和挖掘。而数据挖掘对个人能力要求高，比较厉害的人才基本被头部公司抢走。剩下的大部分公司，主要招的是web开发，python web开发的需求量很大。 能力强一点的硕士，基本不会跑到小公司去做web开发，差一点的硕士，薪资要求也会比本科生高，而且不一定愿意加班。而本科学历的人，相比较而言，年轻一些，也知道自己的起点不是很高，愿意加班。刚开始工作的时候，加加班，迅速掌握一些技术，对于他们来说

最近找工作在各个网站都更新了简历，包括BOSS、拉勾、智联、前程无忧等，使用了一段时间发现智联和前程无忧的共同问题是招聘信息鱼龙混杂，自己稍不注意就可能会入坑。相比之下BOSS和拉勾可能更靠谱一些。那么这两款产品都有什么优缺点呢？ 下文对BOSS直聘和拉勾进行竞品分析 一、版本信息（由于网页排版不好设置，直接从word截图）： 二、基本信息： BOSSֱƸ 拉勾 上线时间 2014年7月 2013年7月 融资情况 2016年8月完成由华映资本领投的C1轮及高榕资本主导的C2轮融资，C1、C2两轮融资共计2800万美元 2017/9/22日，拉勾宣布获得1.2亿美元战略投资，投资方为人力资源公司前程无忧，泰和资本担任独家财务顾问 产品定位 让职场BOSS与牛人在线聊天、加快面试 为求职者提供更人性化、专业化服务的同时，降低企业端寻觅良才的时间和成本 面向对象 职场人 拥有3至10年工作经验的资深互联网从业者 三、行业分析： 根据Analysys易观发布的《中国互联网招聘市场季度监测报告2019年第2季度》数据显示，2019年第2季度，中国互联网招聘市场规模为28.3亿元，同比上涨1.9%。从下图中可以看出，2018年第2、3季度中国互联网招聘市场规模呈上升趋势，与之相比，2019年第1、2季度的市场规模略有下降；同比增长率在2018年第2、3季度达到峰值

2020年是16级大学生毕业的年份，明年的五六月份，包括笔者在内的一大批大学生就要走出校门，结束十六年的学业生涯，并开始长达数十年的职业生涯，在这个时间点上，我们最期望的莫过于找到一份称心的工作，这是家人的期盼，更是我们自己的期盼。 　　我们中的每一个人，都或多或少的感受到了就业的压力，尤其是计算机行业，在这种 低端人才饱和，高端人才紧缺 的大环境下，找到一份称心的工作着实不是件容易的事情。刚走出校门的我们由于经验不足只能选择低端岗位，令人担忧的是全球智能化革命的兴起将消灭大量的低端岗位，所以未来的竞争只会越来越激烈。 　　前段时间，一个偶然的机会我在互联网上浏览到了几则招聘信息，读着读着我脑子中便闪过一个念头，何不动用一些技术手段将这些招聘信息采集下来，然后对这些信息进行分析呢？这样就可以从整体上看清行业招聘的趋势了。在强大的好奇心的驱使下我设计并编写了计算机程序，程序运行了大概三天的时间，终于将这些招聘信息采集了下来，数据经过清洗与分析过后，利用数据可视化技术加以展现。现在我将分析结果分享出来，以下是文章正文部分。 提示：正文包含六十七张图片，将消耗你大概8MB的流量，你一定是个慷慨的人。 写在最前面的话 本文展现的数据均采集于正规的招聘网站，数据的可信性是毋庸置疑的。 所有采集到的数据仅用作学习与交流，笔者承诺不会将其用作商业用途。 文中不免夹杂一些笔者的个人观点

最近找工作在各个网站都更新了简历，包括BOSS、拉勾、智联、前程无忧等，使用了一段时间发现智联和前程无忧的共同问题是招聘信息鱼龙混杂，自己稍不注意就可能会入坑。相比之下BOSS和拉勾可能更靠谱一些。那么这两款产品都有什么优缺点呢？ 下文对BOSS直聘和拉勾进行竞品分析 一、版本信息（由于网页排版不好设置，直接从word截图）： 二、基本信息： BOSS直聘 拉勾 上线时间 2014年7月 2013年7月 融资情况 2016年8月完成由华映资本领投的C1轮及高榕资本主导的C2轮融资，C1、C2两轮融资共计2800万美元 2017/9/22日，拉勾宣布获得1.2亿美元战略投资，投资方为人力资源公司前程无忧，泰和资本担任独家财务顾问 产品定位 让职场BOSS与牛人在线聊天、加快面试 为求职者提供更人性化、专业化服务的同时，降低企业端寻觅良才的时间和成本 面向对象 职场人 拥有3至10年工作经验的资深互联网从业者 三、行业分析： 根据Analysys易观发布的《中国互联网招聘市场季度监测报告2019年第2季度》数据显示，2019年第2季度，中国互联网招聘市场规模为28.3亿元，同比上涨1.9%。从下图中可以看出，2018年第2、3季度中国互联网招聘市场规模呈上升趋势，与之相比，2019年第1、2季度的市场规模略有下降；同比增长率在2018年第2、3季度达到峰值

最近一个朋友，在谋求架构师岗位的工作，经历了魔都的一批互联网公司的洗礼，让他把面试经历整理了一下，给大家一些经验吧，希望各位后面去这些公司面试的时候，能有些心理准备。 还呗 地点：2号线金科路地铁站（长泰广场A座） 环境：环境还不错，装修偏简约风，工位是互联网公司那种排排坐。 投递方式：拉勾网 面试流程：开始是做自我介绍，然后聊项目经历。 整体评价：说实话我怀疑还呗是打着招聘的幌子，只是约面试而已，不是实际想招人。因为面试基本上没有问太多问题，然后说后面约二面，但是后面打电话联系说招聘冻结，所以感觉公司有点不地道。 难度级别：三星 2345 地点：地铁13号线中科路站（环科路555弄） 环境：2345全部搬到环科路大楼，整栋楼都是2345，感觉蛮气派，进门大厅就是2345的前台 投递方式：拉勾网 面试流程：前台扫码提交面试签到，然后填写个人信息表，然后2345的研发岗位是有笔试题目。笔试时间是1个小时，手机是在前台封装到一个信封里面，不能打开。面试岗位是架构师，题目基本是偏项目实战相关的，结合实际的应用场景针对高并发、分布式的一些问题解答。然后笔试结束交到前台，面试官下来领到办公司进行面试，技术面试三轮，应该有业务部门的交叉面试。分库分表问题较多，整体面试时间较长，大概3个小时。 整体评价：公司挺有钱，但是感觉有点偏传统公司，流程挺正规。遇到一个楼下抽烟的哥们，聊了一会加班也蛮严重

从下面6个问题系统回答下如何投递简历： 什么时间投递简历比较好找工作？ 去哪个招聘网站投递简历更好？ 为什么不要海投简历？ 通过邮箱投递简历需要注意什么？ 如何找贵人帮忙内推？ 简历进入[待沟通]状态，为什么HR没有联系我？ 1、什么时候投简历比较好 每年有两次旺季，在这两次旺季投简历比较好找工作。 第一次是春招，每年春节后，3-5月份，是换工作的高峰，这个时候，去年的年终奖拿到手了，满意的继续留下，对待遇、奖金不满意的，就要选择离开了。 很多单位趁这个时期招兵买马。俗称“金三银四”，泛指每年的春季是求职跳槽高峰期。其实，从春节后2月开始上班开始到5月份的都是所谓的“金三银四”黄金跳槽季。 下面图片是TalkingData《2018年招聘类APP用户人群洞察报告》，我们可以看到，春节假期前，招聘类APP周活跃率保持在一个稳中有降的状态。 春节假期后，随着“金三银四”人才招聘高峰期的临近，招聘类APP周活跃率进入了一个爆发增长期。 第二次是秋招在9、10月份左右，不少公司喜欢在这个时间段招聘，俗称“金九银十”。 2、去哪个招聘网站投递简历更好？ 现在招聘网站也挺多，不同的招聘网站用户人群也不一样，所以要选择适合你的招聘网站投递简历才能找到好工作。下面的的表格是排名前10的招聘类APP。 从表格中我们可以看出，2018年2月 ，传统综合招聘平台代表-智联招聘、前程无忧51job

分析背景 前几天用爬虫爬了一下拉勾网-北京-数据分析岗位的数据，目的是想了解下北京互联网招聘市场对于数据分析岗位需求现状。 主要回答的问题有三个：一是什么样的公司在招聘数据分析？二是招聘条件和要求如何？三是这些公司都在哪？ 数据来源是拉勾网，2018年8月6日爬取。之所以选择拉勾网，是根据之前的从业经验决定的。一般公司招聘都会同时开启N个招聘渠道，而拉勾网的定位是专业的互联网招聘平台，是大部分互联网公司招聘的主要渠道；非互联网企业则多数选择像智联、BOSS等平台，很少会再同时使用拉勾网作为另一招聘渠道。如果想了解互联网行业的需求状况，使用拉钩上的数据进行分析能得到相对纯粹的分析结果。 使用的工具是Excel 1.什么样的公司在招聘数据分析？ 在分析这个问题的时候使用了公司类别及公司规模字段，初步分析时发现了两个占据很大比例的类别实际意义很弱，一个是‘移动互联网’，另一个是‘O2O’。相对比于其他的如‘电子商务’、‘生活服务’等业务类别，这两个概念属于他们的上层概念，有点过于宽泛。 所以在接下来的分析中做了拆分和删除处理：如果只有‘移动互联网’或‘O2O’类别的公司，这两个类别予以保留；如果还有其他的类别描述，则删除过于宽泛的‘移动互联网’和‘O2O’，采用剩下的类别。 可以看到在北京市，互联网金融行业独占鳌头是需求数据分析师的主力军，对应的数据分析需求第二梯队则是‘O2O’、

写在前面：这里要感谢网易云课堂丘祐玮老师，本篇博文内容都是基于老师所讲内容而写，想要学习python学习爬虫的可以去看老师的课程 今天要分享的是使用python爬取拉勾网职位信息，这里只爬取python职位信息用做爬虫效果展示，想要深入的同学再看完本篇博文后可以继续研究 代码中用到的一些库不懂的同学可以看一下之前写的博文，里面有介绍，这里就不再重复说明了： https://blog.csdn.net/qq_33722172/article/details/82469050 如下图，搜索python，按之前经验页面python职位信息是访问 https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput= 获得的 然而事实真是如此吗？ 可以看到并没有获取到，那么有些web开发经验的应该就能想到python职位信息是不是通过ajax异步获取的呢？果不其然，再network-XHR中我找到了这个请求，返回的json数据中有python职位信息 那么这里就可以请求这个链接应该就能获取到我们想要的数据了吧？是的，但是要注意这里还有个陷阱 这里的请求用的是POST请求，那么POST请求我们应该能想到在请求时肯定给服务器传递了数据 在构造模拟请求时一定要带上form data中的数据