求职期间,我们遇到的大数据开发和大数据平台开发有什么区别?
不少人问过我一个问题,大数据开发和大数据平台开发,有什么不一样?今天就这个话题说几句。先给大家上两张boss上的图:
首先,大数据开发通常指的是基于大数据产业链的一系列开发任务,涉及到大数据平台开发、大数据应用开发、大数据分析等,另外还包括数据采集产品的开发、数据整理产品的开发等等,如果向上延伸的话,部分大数据开发任务与人工智能开发任务也具有密切的联系。
大数据平台开发通常有两层含义,一层是进行大数据平台自身的开发,这属于研发级开发任务,比如大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,开发这些产品也需要一个庞大的团队。进行大数据平台研发的程序员往往需要具备丰富的开发经验,同时具备较强的研发能力,能够搭建出一个稳定的分布式计算体系。
另一层含义是在大数据平台下进行应用开发,比如在Hadoop、Spark平台下进行具体的大数据应用开发等,这部分开发通常属于应用级开发,难度要相对小一些,但是往往需要与具体的场景进行紧密的联系,需要开发者具备一定的行业背景知识。
目前大数据应用开发主要的任务有两个,其一是进行已有软件产品的大数据改造;其二是针对于具体的大数据需求进行全新的大数据应用开发,目前由于是大数据落地应用的初期,所以大数据改造的开发任务会相对多一些,未来新的大数据开发任务会逐渐增加。
相对于大数据开发来说,大数据分析也需要进行代码编写,比如机器学习就是目前比较常见的数据分析方式。机器学习需要进行算法设计、算法实现、算法训练、算法验证和算法应用,虽然算法设计是机器学习的核心,但是算法实现也需要程序员来完成具体的开发过程。
所以面试的时候,搞清楚自己去公司做什么?免得去了之后又要抱怨喽!还有什么其他疑惑?欢迎留言关注!
来源:oschina
链接:https://my.oschina.net/u/4473161/blog/3209114