大数据开发工程师的工作职责模板
大数据开发工程师负责数据仓库的体系建设及落地实现。下面是阅下文库小阅整理的大数据开发工程师的工作职责模板。
大数据开发工程师的工作职责模板1
职责:
1、独立负责工作小组,并对下级成员进行监督;
2、具备资源整合以及对软件项目全局把控的能力;
3、负责软件项目的系统设计和需求分析;
4、制定软件项目开发计划,并按时完成功能模块的设计、开发以及编程任务;
5、积极配合并完成主管下达的任务,并能够对软件部门的发展规划提出意见;
任职条件
1、大数据相关开发经验3年以上,至少具备2年以上java开发经验;
2、有基于hadoop的数据抽取、转换、加载的开发相关经验;
3、熟练掌握hadoop生态的相关知识,如hive,hbase,flume.kafka,storm,spark,mapreduce等;
4、熟悉Linux操作系统。熟悉linux各项基本操作,至少掌握一门脚本语言;
5、熟练数据仓库,对多维数据建模有深入理解;
6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;
7、思维敏捷,有较强的钻研学习能力,较好的沟通能力、团队合作;
大数据开发工程师的工作职责模板2
1、负责数据仓库和大数据处理模块的架构设计和开发;
2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;
3、负责Spark技术研究和通用数据平台的性能调优;
4、负责大数据项目中,基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。
5、熟悉Scala/Java语言,对Scala/Java原理、底层技术有深入研究者优先;
6、有过海量数据系统开发经验者优先;
7、熟悉Hadoop/Spark生态系统组件的使用,至少有2年以上的Spark开发经验;
8、写过推荐系统的优先考虑
大数据开发工程师的工作职责模板3
职责
1、负责公司大数据平台建设工作,完成Hdaoop/Spark搭建部署,根据业务需要进行开发;
2、开发实现网络爬虫并爬取所需数据,有效存储到大数据平台;
3、对平台数据做预处理,满足数据展现及后续机器学习等系统使用;
4、根据业务需要,应用大数据实时分析技术、可视化技术等,并对平台发展规划进行设计。
任职资格
1、本科及以上学历,计算机相关专业;
2、熟悉数据仓库和数据建模相关技术细节,有编程经验,熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;
3、具备海量数据处理经验,或有互联网行业数据挖掘工作经验;
4、1年以上岗位经验优先,本科应届有意向的,可优先培养。
大数据开发工程师的工作职责模板4
职责:
1.负责金融银行大数据系统相关模块的数据架构及研发实施工作
2.依据业务场景、分析需求提供技术解决方案并加以实现;
3.与客户业务部门对接,解决数据建模、报表和报告在系统开发遇到的问题;
任职资格:
1.具备3年以上DW系统建设经验,了解BI系统,有数据管理经验,有维度建模相关经验,了解数据仓库建设过程中的挑战与问题
2.精通多系统数据融合、清洗、转换、整合,具备海量数据加工处理相关经验
3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理
4.掌握大型数据库开发技术(ORACLE/DB2等),有丰富的数据库模型设计和优化经验
5.熟练掌握Unix/Linux常规命令、工具及Shell编程
6.掌握一门或多门编程语言优先,如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大数据生态相关技术,有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分
大数据开发工程师的工作职责模板5
职责:
1、 参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);
2、 参与ETL Mapping设计及开发工作;
3、 参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。
资质要求:
1.计算机相关专业本科及以上学历,优秀者放宽至大专;
2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验,有Sybase IQ\HIVE\Spark SQL开发经验者优先;
3、有较强的SQL编程能力,熟练编写存储过程,能设计各种复杂的业务处理、统计分析语句,精通sql性能优化;
4、具有数据仓库、ods、BI商务智能项目经验者优先,具有金融行业项目背景者优先;
5、较好的沟通理解能力,态度踏实,积极上进。
相关文章:
1.大数据开发工程师的岗位职责
2.大数据架构师工作的职责
3.大数据架构师的工作职责描述
4.大数据架构师的基本职责
5.软件架构师岗位的职责表述
下一篇:大数据开发工程师的岗位职责