一、
java开发工程师(大数据方向)
- 职位类别:Java开发工程师
岗位职责:
1、参与大数据平台的设计与开发,解决海量数据面临的挑战;
2、管理、优化并维护Hadoop、Spark等集群,保证集群规模持续、稳定;
3、负责HDFS/hive/HBase的功能、性能和扩展,解决并实现业务需求;
4、协助团队成员建立数据模型,对数据进行挖掘、优化及统计。
任职要求:
1、本科生及以上学历,2年及以上互联网系统或者其他企业应用系统开发相关经验;
2、具备Java开发经验,Java编程基础扎实,熟练使用struts2、spring、ibatis或hibernate等框架;
3、有分布式系统开发经验;
3、熟悉Hadoop/HBase/Spark/Storm/Hive,熟悉数据挖掘策略与算法者优先;
4、数据控,善于发现问题、解决问题,具备良好的分析和解决问题的能力,具备一定的钻研精神和持续学习的意愿,强烈的责任感和团队感,对负有挑战性的工作充满热情
二、
大数据开发工程师
- 职位类别:软件工程师
岗位职责:
1、开发大数据的数据接入、数据存储及管理系统
2、负责大数据的维度分解及统计汇报
3、梳理并维护大数据及汇总工作
4、设计并参与开发大数据服务系统。
任职要求:
1、精通java开发,熟悉JVM及java常用包
2、熟悉大数据开发流程
3、熟悉Linux操作系统及Apache Hadoop
4、熟悉大数据生态环境的常用组件,如Kafka、Storm等
5、熟悉常用关系型及非关系型数据库
6、人际关系良好,具有较强的沟通技能
7、有工作热情,爱岗敬业。
三、
前端开发工程师(大数据平台方向)
- 职位类别:WEB前端开发
岗位要求:
1、熟悉Web应用的开发,有2年以上web开发经验,有良好的编码习惯,注重代码质量与代码整洁;
2、熟练掌握JavaScript语言,对JavaScript core有深刻认识,熟悉ES6语法;
3、具备Web前端编程经验,熟悉HTTP/HTML5/CSS3/Ajax等页面技术,熟悉Web Service/json等常用数据接口和格式,确保页面代码对各种浏览器的良好兼容性;
4、掌握前端各种常用工具,保持着对新技术的追求;
5、对网站性能优化有研究并有相关实践经验,包括代码管理、图片压缩、代码压缩、减少HTTP请求等;
6、熟悉jquery、bootstrap等常用类库,有/SVG/canvas实战项目经验,有web图形化框架(如d3、echarts、highchart等)实战项目经验;
7、有地图开发框架(如leaflet、openlayers、mapboxgl等)实战项目经验者优先考虑;
8、有reactJs、redux、vue、nodejs等实战项目经验者优先考虑;
9、熟悉webgl技术,有webgl实战项目经验者优先考虑;
10、有数据可视化相关实战经验、技术上富有探索性和钻研性、有较强的学习能力者优先考虑。
四、
大数据开发工程师
- 职位类别:高级软件工程师
岗位职责:
1、负责大数据相关领域技术的跟踪研究以及相关技术标准、规范、流程的制定与实施
2、负责大数据分析平台相关数据挖掘算法、统计分析方法、数据处理流程制定及应用开发工作
3、参与研究拟订及实施公司大数据领域战略、规划和政策措施,引导和推动公司大数据领域相关工作
4、协助公司数据服务平台的大数据分析平台建设及运行维护
5、协助其他数据开发工程师制定大数据对应信息的标准和相关要求
6、协助数据需求工程师对口数据用户,提供相关大数据应用支持
任职资格:
1、熟悉Spark生态系统组件使用,2年以上Spark(Core/SQL/Streaming/MLlib)研发经验
2、熟悉Scala、Java、Python语言,对Scala有比较深入的研究
3、熟悉Kafka+Spark进行数据的流式实时处理
4、有海量数据处理开发经验
5、良好的沟通、学习、团队协作能力
6、有民航领域相关工作经验优先
7、有统计学数学知识,海量数据处理、数据分析和挖掘经验优先
8、开源社区活跃并有积极贡献优先
五、
大数据开发工程师
- 职位类别:Java开发工程师
岗位职责:
1、负责大数据平台的设计研发工作;
2、承担数据抽取、清洗、转化等数据处理程序开发;
3、负责大数据相关应用系统的性能分析、性能监控,不断优化系统运行效率;
任职要求:
1、2年以上大数据技术的实际研发、应用经验;
2、有文本挖掘、自然语言处理相关的工作经验优先;
3、为人踏实,愿意挑战困难,具备一定抗压能力;
4、较强的逻辑思维能力,良好的沟通、表达能力,良好的学习能力;
5、具备扎实的java技术;
6、具有分布式系统架构开发能力,精通大数据相关技术、框架及组件;
7、(Hadoop、Kafka、Spark、Storm、HBase、Hive、Zookeeper)等;
8、熟悉数据仓库架构,熟悉oralce,mysql数据库,并精通至少一种数据库产品。
六、
大数据开发工程师
- 职位类别:高级软件工程师
职责描述:
1. 负责面向下厨房业务的数据平台研发工作,保证核心数据的准确性、完整性、稳定性;
2.助力数据驱动决策,构建分布式的数据存储/计算/查询等系统。
任职要求:
1.熟悉SQL,有数据仓库研发经验,熟悉Hadoop生态技术 (Hive Spark 等)
2.对数据处理、数仓建模、数据分析有深刻认识和实战经验
3. 熟悉Linux系统环境
加分项:
熟练使用 python 和 java
七、
大数据开发工程师(偏数据分析)
- 职位类别:数据库开发工程师
岗位职责:
1. 数据统计,基于公司级海量数据,为产品和商业提供有价值的决策参考
2. 基于海量的用户反馈数据和算法建模,做智能化的画像处理和趋势预测
3. 参与优化与维护大数据平台数据仓库,保证BI系统的稳定性与准确度
任职要求:
1. 有2年以上大数据项目开发经验,掌握分布式数据仓库、数据模型相关知识2. 熟练使用linux操作系统
2. 熟悉大数据平台及数据仓库工具,数据同步工具,包括Spark各种组件,Hive, Impala, Sqoop等
3. 熟练掌握Java/Python及常用框架,精通SQL
4. 熟悉AWS环境, S3, EMR, Redshift, Kinesis, Pipeline
5. 极强的学习能力和动力,对未知领域能快速掌握并实践
6. 熟练使用可视化分析工具者优先考虑,如Tableau/R
八、
大数据开发工程师
- 职位类别:数据库开发工程师
岗位职责:
1.负责工业大数据相关的预测模型开发、模型运维;
2.负责大数据预测产品的核心模型与算法的创新研究和实现;
3.分布式平台应用开发(Hadoop/Spark/Hbase);
4.从各种数据系统导出指定格式的文件 ,支撑各业务线数据需求;
5.配合指导算法团队完成大数据文本分析系统建设。
任职要求:
1.具有丰富的数据仓库开发经验,有2年以上Hadoop/Spark/SparkStreaming/Hbase等应用开发经验,对分布式计算、数据仓库理论有深刻理解 ;
2.熟练掌握linux常规命令与工具 ;
3.精通Scala、Python,有并发应用或者分布式应用软件开发经验优先 ;
4.熟悉主流的大数据产品(Hadoop、Spark、Flume、kafka、es等)并具有其中部分组件的应用或者开发经验;
5.熟悉常用机器学习算法:如随机森林、决策树、时间序列等,对深度学习如TensorFlow了解者优先;
6.良好的系统分析、架构设计能力;
7.对数据敏感、对新技术敏感,有数据挖掘技能者优先 ;
8.对商业和业务逻辑敏感,具备良好的分析、组织、沟通能力和团队精神。
九、
大数据开发工程师
- 职位类别:软件研发工程师
岗位职责:
1、基于Python的Web服务或产品开发
2、面向对象高效的程序开发
3、开发数据处理,计算等程序
4、开发数据统计分析程序
任职要求:
1、具有2年以上java或者python开发经验,会C语言更佳
2、熟练掌握pandas,numpy,sklearn等python开源包
3、熟练使用tornado, django等python web框架
4、熟悉Hadoop / Spark / Hive / Hbase,有一定的Sql性能调优经验;
5、了解简单的机器学习算法
6、具有良好的自学能力及团队合作能力
十、
大数据开发工程师
- 职位类别:Java开发工程师
岗位职责:
1、负责公司数据仓库的搭建以及快速并行化查询需求的支持
2、负责公司的数据处理、数据统计以及数据挖掘的开发工作
3、负责公司后台日志统计分析系统的具体开发工作
4、利用hadoop、spark等框架做数据的实时及离线分析
岗位要求:
1、硕士以上学历,或优秀的本科生
2、java基本功扎实,熟悉Scala的优先
3、熟悉分布式计算和存储技术,熟悉Hadoop、MapReduce、Spark等,
4、熟悉Mongo、HBase等NOSQL数据库。
5、熟悉大数据的统计分析和挖掘,了解常用的数据统计方法和挖掘算法。
6、熟悉Linux 操作系统, 可以自行部署开发环境
加分项:
1、对程序开发有浓厚热情的,愿意深入学习,立志成为开发大牛的;
2、有写博客习惯或能提供github地址的
3、了解股票,期货和其他金融衍生品的知识者优先
来源:oschina
链接:https://my.oschina.net/u/4316056/blog/4002793