数据分析师(Data Analyst):负责从数据中提取出有用的信息,以帮助公司形成业务决策。工作内容包括:对数据进行提取,清洗,分析(用描述统计量,趋势分析,多维度分析,假设检验等统计常用方法对数据进行分析),总结结论并提出建议。数据分析师通常从业务团队那里获取需要分析的具体问题,并提供相应的解决方案。高级数据分析师还需要了解各种模型(如线性回归,决策树等),并能调包实现这些模型。
需要掌握的技能有:熟悉业务,会使用excel,ppt等基本工具,了解统计分析方法,会使用SQL从数据库提取数据,会编程语言和模型是加分项。
数据工程师(Data Engineer):开发,建立,测试和维护数据架构,为数据科学家获取数据提供方便。大多数公司把数据储存在不同的数据库和文件系统里,并且格式也不尽相同。数据工程师建立管道(pipelines)把数据转化为数据科学家可用的格式。(具体例子可见:https://www.dataquest.io/blog/what-is-a-data-engineer/)
需要掌握的技能有:能够构建分布式系统,创建可靠的管道,整合数据来源,构建数据存储系统,掌握传统的数据库知识,掌握大数据管理工具如Hadoop,Spark等。
数据科学家(Data Scientist):除了数据分析师所做的工作以外,还要掌握各种模型,并能用编程语言实现。数据科学家偏重于将数据应用到业务或者其他场景中,而不是解决具体问题,以此来满足公司业务方面更复杂的需求。比如:异常检测,产品推荐。数据科学家是随大数据的出现而产生的,因为从大量的数据中才能提取出复杂的信息。高级数据科学家还需要能读懂尖端paper,并应用其理念,开发出具体的模型。
需要掌握的技能有:会使用编程语言操作数据(清洗,分析,可视化);会使用SQL从数据仓库提取数据;掌握大数据管理工具如Hadoop,Spark等;掌握统计,概率,数学方面的知识;掌握各种模型和算法并能编程实现(机器学习,深度学习)。