数据分析师

随着秋季校招落下帷幕，网上的各类招聘数据也已分布，大数据行业工程师以平均月薪11,600元领跑全国，成为“超高薪、高大上”的代名词。如果你学的是大数据相关专业，那么恭喜你，你的发展良机来了，如果你想要转行大数据也为时不晚。本文将利用从前程无忧招聘网站收集的7万多条大数据岗位招聘信息，分析当下大数据热门的就业和发展方向和技能需求，帮助相关专业在校生和想转行大数据的职场小白们找到适合自己的职业目标和发展方向，成为大数据时代的就业“新宠”，实现高薪梦想，走向人生巅峰！ 数据说明： 一、前景光明的大数据行业 数据源：百度指数 《纽约时报》在2012年的一篇专栏中就曾称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。随着近年来互联网和信息行业的发展，数据量正在加速增长膨胀，人们越来越多的意识到数据对企业的重要性。从上图所示的“大数据”百度搜索频次可以看出，从2012年开始其搜索热度在全国范围内迅速增长，经历了2017年一个爆发年之后，至今仍不断受到广泛关注。 数据来源：中商产业研究院 随着国家大数据战略的实施和人工智能、云服务、物联网等产业的高速发展，我国大数据产业规模正呈现逐年增长趋势，预计到2021年将达到8000亿元。同时，从数据类型份额的角度看，物联网等极具活力大数据类型将出现大幅增长，为大数据企业带来了新的发展良机。

今年12月24日有数据分析师考试。然后，在我大成都报了个CDA现场班。尼玛人数还不够，不能开课，不开心！只能听远程，结果可想而之。然并暖...为了能过级，只能疯狂做题了。好在LEVEL1还是比较easy的！加油吧！整理了一下题！ ##问题 什么是数据分析？ 数据分析的步骤有哪些？ 常用的数据分析方法有哪些？ 统计分析与数据挖掘的区别和联系？ 请举出数据分析的几个例子？ ##什么是数据分析？ 答案1:有针对性的收集、加工、整理数据，并采用统计、挖掘技术分析和解释数据的科学与艺术。 答案2:有目的地进行收集、整理、加工和分析数据，提炼有价值信息的过程。 我的理解：数据分析就是根据Boss的目标，用科学的方法去解释它。当然结果是中立的。 ##数据分析的步骤有哪些？ 答案： 1、明确分析目的和内容。 2、数据收集 3、数据预处理 4、数据分析 5、数据展现 6、撰写报告 ##常用的数据分析方法有哪些？ 答： 1、统计分析方法。 描述性统计分析 回归分析 对应分析 因子分析 方差分析 2、数据挖掘方法 聚类分析 分类分析 对策树 人工神经网络 贝叶斯分类方法 支持向量机 随机森林 关联规则 回归分析 ##统计分析与数据挖掘的区别和联系？ 答： 联系：两者都源于统计基础理论，有的时候有些方法也会出现混淆的情况。如：主成分分析和回归分析。 区别： 统计分析的基础是概率论

随着大数据和人工智能时代的到来，传统企业开始向数据化和智能化转型。由此，数据分析师相关岗位的需求量逐年递增，近两年呈现出供不应求的状况，在未来很长一段时间这种需求还将继续保持下去。作为过来人，我也算是苦尽甘来啊。想想自己当初为了转行数据分析师行业，付出了多少心血和汗水。相信还有很多像我一样计划转行或已经准备好转行的朋友，为此，我特地给大家分享了我的专业数据分析师经验之谈，让大家可以更加直观地了解当下数据分析师的行业情况和职位需求。 为了帮助大家对数据分析师相关职位的目前发展状况有个清晰明了的认识，本文通过分析“数据分析师”在全国招聘信息的城市需求、职业门槛、各公司要求情况，以及当下各大企业的人才需求状况，使用数据分析工具Python，包括数据的获取、清洗和可视化的呈现，就为了帮助大家更好地了解数据分析师这个职业。本文所用数据均来源于BOSS直聘的近期数据分析师的全国招聘信息。，绝对客观真实有效！ 分析流程 01 明确分析目的 明确分析目的是数据分析的首要的、关键的步骤。在开始一项数据分析前，首先要清楚我们想解决什么问题？通过这次分析想达到一个什么样的效果？下面列出了本次分析的几个目的： 1）了解各城市对数据分析师的需求； 2）数据分析师这个职业的门槛有多高； 3）了解招聘公司情况； 4）了解各行业对数据分析师的需求； 4）了解数据分析师的薪资情况。 02 获取相关数据

数据分析一般有五个步骤：提出问题，理解数据，数据清洗，构建模型，数据可视化。 一、提出问题 一切数据分析都是以业务为核心目的，而不是以数据为目的，因此，我们首先要明白的就是我们分析的目的是什么?也就是提出问题。本文主要分析以下几个问题： 1.不同城市对数据分析师的需求如何？ 2.数据分析师的薪资水平如何？ 二、理解数据 首先，我们先看一下columns的含义： city 城市 companyFullName：公司全名 companyId：公司ID companyLabelList：公司介绍标签 companyShortName：公司简称 companySize：公司大小 businessZones：公司所在商区 firstType：职位所属一级类目 secondType：职业所属二级类目 education：教育要求 industryField：公司所属领域 positionId：职位ID positionAdvantage：职位福利 positionName：职位名称 positionLables：职位标签 salary：薪水 workYear：工作年限要求 在提出问题阶段以及通过我们的思维导图，可以得出我们主要需要以下数据：city、industryField、positionName、salary、workYear。余下的数据： ①companyFullName

继续上篇的导入篇之后的运作是导出，数据趟在数据库里，永远也发挥不出价值，这也是绝大多数业务系统的现状，经过系统增删改查后，辛苦生产出来的规范的数据，没能让其发挥应有的价值-数据指标运营。 打造数据化运营的企业文化，也将是现金企业竞争的核心竞争力所在，数据分析师理由肩负重任，做好有价值的数据结果分发指导运营。 现实状况 和前一篇提及的，数据在各业务系统里的导出接口十分单一，大部分是一些Excel导出的功能。 如果没有上一篇数据分析师自行进行数据整合，重新建立数据仓库，整合各种零散的数据，让数据孤岛的现象得到减缓（各种业务系统各自为政，只对自己系统内数据负责，没法多系统间数据共享，更有大量手工维护的数据，最终形成了各个数据间不相连的孤岛现象），在数据分析上也绝对不能产生多大价值。 所以此篇讨论的数据导出，是指数据分析师进行数据整合后的数据输出过程，非单一的业务系统的简单的Excel导出功能接口。 数据导出的实现方式 不同的场景，可以使用不同的方式来对数据进行输出，以下简单罗列下各种方法，并附上一些个人的见解。 直接SSMS查询结果导出 一般情况下，进行验证性查询时，查询到的结果，只需CTRL+A全选后，再鼠标右键即可复制，再到Excel上粘贴即可导出到Excel。 这样的好处是临时性数据导出，步骤少，因在SSMS查询结果区查看数据，不及Excel那样灵活方便，数据复制到Excel中

作为数据分析师的角色，数据库的作用是帮助存储数据和需要时可以导出所需数据的用途，这个用途在数据量一大时，不采用数据库方案是没有办法做到一个完美效果的，所以就算不深入了解数据库其他功能，单单数据导入导出功能，对一名合格的数据分析师来说，是必备的本领。 鉴于笔者所接触到的读者群体偏向Excel用户的业务导向的群体，此篇可能部分内容对熟悉数据库的群体过于简单，同时为了完整性的方案介绍，某些方法对Excel用户群体也是过于晦涩，直接跳过有个印象即可。 现实场景 在数据消费端，就算是数据分析师的角色，对于正规的公司来说，都不会轻易地开发数据库的访问权限给到终端用户，绝大部分的场景只会是给予导出Excel、csv等文件格式的权限，并且通常来说，导出的记录数也是有限制的，导出量太大，应用程序负荷过重，是不允许的。 同样的如果是外部数据，若非IT级别的系统间数据交换，更加只剩下导出文件的数据接口，根本不可能会给到数据库底层访问的可能性，例如天商的各大平台后台的订单数据、店铺访客数据、商品浏览数据等（可以使用爬虫去抓取，但成本也很高，平台反爬技术深严，是个很大的技术活）。 但数据分析过程中，不可能是孤立地看某一份文件的数据进行分析，数据量太少，且特别是时间维度上的不连贯，没法分析最有价值的同比、环比、累计等指标数据，没有对比就没有分析，若没有一份完整性的数据源，谈何数据分析。

随着互联网的发展、业务逻辑越来越复杂，数据的分析也就变的越来越重要。对数据的分析可有效避免逻辑的混乱，防止在繁杂的业务理解上逻辑不清、判断错误。下面就给大家分享数据分析师常用的十种数据分析思路。 道家曾强调四个字，叫“道、法、术、器”。 层次分别为： “器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”； “术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术； “法”是指选择的方法，有句话说“选择比努力重要”； “道”是指方向，是指导思想，是战略。 在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。 那么如何做好数据分析呢，今天咱们来讲讲十大数据分析的方法。 01 细分分析 细分分析是数据分析的基础，单一维度下的指标数据信息价值很低。 细分方法可以分为两类，一类是逐步分析，比如：来北京市的访客可分为朝阳，海淀等区；另一类是维度交叉，如：来自付费SEM的新访客。 细分用于解决所有问题。比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量的用到细分方法。 02 对比分析 对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值，通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。 常见的对比方法包括

惊醒。突然发现再要一个月就要过年了，过了年再过个两周就三月了。 三月……又到了招聘季。 有年终奖可以期待的同学，还稳稳的在坑里蹲着；没有期待的同学，年前就已经蠢蠢欲动；当然还少不了一大波忠诚度棒棒哒的同学，踏实的在岗位上积累。 韩信有言“凡事预则立，不预则废”。面试也是如此，除非你脑子转得够快，语言组织能力够强，否则面试前做有针对性的准备还是非常有必要的。 收集、整理并梳理了数据分析面试会被问到的一些问题，如果面一个相对有挑战性的企业的数据分析岗位，提前思考并组织回答这些问题的思路可以保你过初面。 以下只是整理可能会被问到的问题，答案自己要根据平时工作进行总结。当然如果你是跨行，没做过数据分析，那么可行的做法是： （1）通过网络了解或获取这些问题对应的资料 （2）用自己的语言进行组织，言简意赅的给出框架性的答案 1.考察对数据分析岗位的理解与职业规划： 数据分析师与数据工程师的区别在哪里？ 你平时都是怎么做数据清洗的？ 数据分析都用哪些工具？ 你认为数据分析师应该具备哪些能力？ 你对自己的职业定位是怎样的？ 你的优点和缺点是什么？ 2.考察项目经验： 请举例说明自己参与的一个数据分析项目 在这个项目中你的贡献是什么？ 项目里使用的算法与策略的原理是什么？ 介绍一下遇到过的比较有挑战性的工作或难题，以及你是怎样克服的？ 给出一个实例，讲讲如何进行特征选择？ 备注： 回答项目相关问题

数据分析师 数据分析师 抽样分布及参数估计 随机的基本概念 随机试验 随机试验是概率论的一个基本概念。概括地讲，在概率论中把符合下面三个特点的试验叫做随机试验： ●可以在相同的条件下重复的进行。 ●每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果。 ●进行一次试验之前不能确定哪一个结果会出现。 随机事件 在概率论中，随机事件（或简称事件）指的是一个被赋予机率的事物集合，也就是样本空间中的一个子集。简单来说，在一次随机试验中，某个特定事件可能出现也可能不出现；但当试验次数增多，我们可以观察到某种规律性的结果，就是随机事件。 随机变量 设随机试验的样本空间 S={e},X=X{e} 是定义在样本空间S上的单值实值函数，称X为随机变量。 正态分布的图像形式 既然介绍变量的分布情况，就要介绍一下正态分布。首先，正态分布是关于均值左右对称的，呈钟形，如下图所示。其次，正态分布的均值和标准差具有代表性只要知道其均值和标准差，这个变量的分布情况就完全知道了在正态分布中，均值=中位数=众数。 抽样分布 中心极限定理 从均值为μ，方差为 \sigma^2 的一个任意总体中抽取容量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为μ，方差为 \sigma^2 ／n的正态分布。 根据中心极限定理，我们知道如果做很多次抽样的话会得到很多个样本均值，而这些样本均值排列起来会形成正态分布

一、数据分析的步骤 二、提出问题 (1) 分析数据分析师主要的技能排名? (2) 分析数据分析师薪资和岗位地点、学历、工作年限的关系？ (3) 数据分析师的学历需求？ (4) 不同城市数据分析师的需求？(地图展示) 三、获取数据源 选择前程无忧官网 关键词：数据分析师 范围：全国 总记152页信息，共7560条职位信息 获取数据方法： 开发工具：pycharm 开发环境：Window 8 开发语言：python 爬虫的主要步骤： 1指定url 2获取requests模块响应对象 3解析数据 获取：名称，地点，薪资(年薪（万）)，工作经验，学历和岗位要求 4数据持久化 将名称、地点、薪资、工作经验存入本地51job_data.csv文件，将岗位要求存入本地51job_info.txt文件，将解析的词频数据存入本地51job_skill.csv文件。 注意事项： (1)先爬取一页数据保存在本地进行数据解析测试以免因直接测试请求过多被网站反爬处理 (2)正式爬取中利用UA池/IP池(反爬处理)、进程池(异步操作提高效率) (3)对于几十万，上百万数据采用scrapy爬虫框架爬取 四、理解数据 爬取的数据源保存在51job_data.csv文件中 共有五个字段：名称，地点，薪资(年薪（万）)，工作经验，学历 共有7538条数据 五、数据清洗 本次分析采用Jupyter Notebook分析