大数据开发工程师-----职位要求(网上招聘查找)

情到浓时终转凉″ 提交于 2020-12-11 13:36:14

一、

java开发工程师(大数据方向)

岗位职责:

1、参与大数据平台的设计与开发,解决海量数据面临的挑战;

2、管理、优化并维护Hadoop、Spark等集群,保证集群规模持续、稳定;

3、负责HDFS/hive/HBase的功能、性能和扩展,解决并实现业务需求;

4、协助团队成员建立数据模型,对数据进行挖掘、优化及统计

 

任职要求:

1、本科生及以上学历,2年及以上互联网系统或者其他企业应用系统开发相关经验;

2、具备Java开发经验,Java编程基础扎实,熟练使用struts2、spring、ibatis或hibernate等框架

3、有分布式系统开发经验;

3、熟悉Hadoop/HBase/Spark/Storm/Hive,熟悉数据挖掘策略算法者优先;

4、数据控,善于发现问题、解决问题,具备良好的分析和解决问题的能力,具备一定的钻研精神和持续学习的意愿,强烈的责任感和团队感,对负有挑战性的工作充满热情

二、

大数据开发工程师

岗位职责:

1、开发大数据的数据接入、数据存储及管理系统

2、负责大数据的维度分解统计汇报

3、梳理维护大数据及汇总工作

4、设计并参与开发大数据服务系统。

任职要求:

1、精通java开发,熟悉JVMjava常用包

2、熟悉大数据开发流程

3、熟悉Linux操作系统Apache Hadoop

4、熟悉大数据生态环境的常用组件,如KafkaStorm

5、熟悉常用关系型及非关系型数据库

6、人际关系良好,具有较强的沟通技能

7、有工作热情,爱岗敬业。

 

三、

前端开发工程师(大数据平台方向)

岗位要求:

1、熟悉Web应用的开发,有2年以上web开发经验,有良好的编码习惯,注重代码质量与代码整洁;

2、熟练掌握JavaScript语言,对JavaScript core有深刻认识,熟悉ES6语法

3、具备Web前端编程经验,熟悉HTTP/HTML5/CSS3/Ajax等页面技术,熟悉Web Service/json等常用数据接口和格式,确保页面代码对各种浏览器的良好兼容性;

4、掌握前端各种常用工具,保持着对新技术的追求;

5、对网站性能优化有研究并有相关实践经验,包括代码管理、图片压缩、代码压缩、减少HTTP请求等;

6、熟悉jquery、bootstrap等常用类库,有/SVG/canvas实战项目经验,有web图形化框架(如d3、echarts、highchart等)实战项目经验;

7、有地图开发框架(如leaflet、openlayers、mapboxgl等)实战项目经验者优先考虑;

8、有reactJs、redux、vue、nodejs等实战项目经验者优先考虑;

9、熟悉webgl技术,有webgl实战项目经验者优先考虑;

10、有数据可视化相关实战经验、技术上富有探索性和钻研性、有较强的学习能力者优先考虑。

 

四、

大数据开发工程师

岗位职责:

1、负责大数据相关领域技术的跟踪研究以及相关技术标准、规范、流程的制定与实施

2、负责大数据分析平台相关数据挖掘算法统计分析方法数据处理流程制定及应用开发工作

3、参与研究拟订及实施公司大数据领域战略、规划和政策措施,引导和推动公司大数据领域相关工作

4、协助公司数据服务平台的大数据分析平台建设及运行维护

5、协助其他数据开发工程师制定大数据对应信息的标准和相关要求

6、协助数据需求工程师对口数据用户,提供相关大数据应用支持

 

任职资格:

1、熟悉Spark生态系统组件使用,2年以上Spark(Core/SQL/Streaming/MLlib)研发经验

2、熟悉Scala、Java、Python语言,对Scala有比较深入的研究

3、熟悉Kafka+Spark进行数据的流式实时处理

4、有海量数据处理开发经验

5、良好的沟通、学习、团队协作能力

6、有民航领域相关工作经验优先

7、有统计学数学知识,海量数据处理、数据分析和挖掘经验优先

8、开源社区活跃并有积极贡献优先

 

五、

大数据开发工程师

岗位职责:

1、负责大数据平台的设计研发工作;

2、承担数据抽取、清洗、转化等数据处理程序开发;

3、负责大数据相关应用系统的性能分析、性能监控,不断优化系统运行效率;

任职要求:

1、2年以上大数据技术的实际研发、应用经验;

2、有文本挖掘自然语言处理相关的工作经验优先;

3、为人踏实,愿意挑战困难,具备一定抗压能力;

4、较强的逻辑思维能力,良好的沟通、表达能力,良好的学习能力;

5、具备扎实的java技术

6、具有分布式系统架构开发能力,精通大数据相关技术、框架及组件

7、(HadoopKafkaSparkStormHBaseHiveZookeeper)等;

8、熟悉数据仓库架构,熟悉oralce,mysql数据库,并精通至少一种数据库产品

 

六、

大数据开发工程师

职责描述:
1. 负责面向下厨房业务的数据平台研发工作,保证核心数据的准确性、完整性、稳定性;
2.助力数据驱动决策,构建分布式的数据存储/计算/查询等系统。

任职要求:
1.熟悉SQL,有数据仓库研发经验,熟悉Hadoop生态技术 (Hive Spark 等)
2.对数据处理数仓建模数据分析有深刻认识和实战经验
3. 熟悉Linux系统环境
加分项:
熟练使用 python java

七、

大数据开发工程师(偏数据分析)

岗位职责:

1. 数据统计,基于公司级海量数据,为产品和商业提供有价值的决策参考

2. 基于海量的用户反馈数据和算法建模,做智能化的画像处理和趋势预测

3. 参与优化与维护大数据平台数据仓库,保证BI系统的稳定性与准确度

 

任职要求:

1. 有2年以上大数据项目开发经验,掌握分布式数据仓库数据模型相关知识2. 熟练使用linux操作系统

2. 熟悉大数据平台数据仓库工具数据同步工具,包括Spark各种组件,Hive, Impala, Sqoop

3. 熟练掌握Java/Python及常用框架,精通SQL

4. 熟悉AWS环境, S3, EMR, Redshift, Kinesis, Pipeline

5. 极强的学习能力和动力,对未知领域能快速掌握并实践

6. 熟练使用可视化分析工具者优先考虑,如Tableau/R

 

八、

大数据开发工程师

岗位职责:

1.负责工业大数据相关的预测模型开发、模型运维;

2.负责大数据预测产品的核心模型与算法的创新研究和实现; 

3.分布式平台应用开发(Hadoop/Spark/Hbase);

4.从各种数据系统导出指定格式的文件 ,支撑各业务线数据需求;

5.配合指导算法团队完成大数据文本分析系统建设。

任职要求:

1.具有丰富的数据仓库开发经验,有2年以上Hadoop/Spark/SparkStreaming/Hbase等应用开发经验,对分布式计算、数据仓库理论有深刻理解 ;

2.熟练掌握linux常规命令与工具 ;

3.精通Scala、Python,有并发应用或者分布式应用软件开发经验优先 ;

4.熟悉主流的大数据产品(Hadoop、Spark、Flume、kafka、es等)并具有其中部分组件的应用或者开发经验; 

5.熟悉常用机器学习算法:如随机森林、决策树、时间序列等,对深度学习如TensorFlow了解者优先;

6.良好的系统分析、架构设计能力; 

7.对数据敏感、对新技术敏感,有数据挖掘技能者优先 ;

8.对商业和业务逻辑敏感,具备良好的分析、组织、沟通能力和团队精神。

 

九、

大数据开发工程师

 

岗位职责:

1、基于Python的Web服务或产品开发 

2、面向对象高效的程序开发 

3、开发数据处理,计算等程序 

4、开发数据统计分析程序 

任职要求:

1、具有2年以上java或者python开发经验,会C语言更佳 

2、熟练掌握pandas,numpy,sklearn等python开源包 

3、熟练使用tornado, django等python web框架

4、熟悉Hadoop / Spark / Hive / Hbase,有一定的Sql性能调优经验; 

5、了解简单的机器学习算法 

6、具有良好的自学能力及团队合作能力

十、

大数据开发工程师

岗位职责:

1、负责公司数据仓库的搭建以及快速并行化查询需求的支持

2、负责公司的数据处理、数据统计以及数据挖掘的开发工作 

3、负责公司后台日志统计分析系统的具体开发工作  

4、利用hadoop、spark等框架做数据的实时及离线分析

 

岗位要求:

 

1、硕士以上学历,或优秀的本科生

2、java基本功扎实,熟悉Scala的优先

3、熟悉分布式计算和存储技术,熟悉Hadoop、MapReduce、Spark等,

4、熟悉Mongo、HBase等NOSQL数据库。 

5、熟悉大数据的统计分析和挖掘,了解常用的数据统计方法和挖掘算法。

6、熟悉Linux 操作系统, 可以自行部署开发环境

加分项:

1、对程序开发有浓厚热情的,愿意深入学习,立志成为开发大牛的;

2、有写博客习惯或能提供github地址的

3、了解股票,期货和其他金融衍生品的知识者优先 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!