大数据开发工程师的主要职责精选

  大数据开发工程师负责该领域所属模块的代码开发、调试与维护工作,并进行技术沉淀和文档输出。下面是第一范文网小编整理的大数据开发工程师的主要职责精选。

  大数据开发工程师的主要职责精选1

  职责:

  1、负责公司项目应用监测数据,分析软件大数据平台的代码开发;

  2、负责大数据体系架构设计和应用产品的研究;

  3、负责大数据平台及应用场景的构建、部署、测试;

  4、编写软件研发相关技术文档;

  5、编写产品研发相关任务单计划,阶段性代码、技术方案和软件产品及时提交至配置管理理库;

  6、Spark程序的研发,sqoop脚本开发和商家用户行为等离线分析数据;

  7、kudu,kylin等技术调研,编写软件研发相关技术文档;

  8、SUNMI数仓设计架构以及ETL流程开发;

  9、建立多维度,多体系的用户标签体系以及用户行为数据库。

  岗位要求 :

  1、本科以上学历,4年以上?工作经验,2年以上Hadoop平台的相关研发经验,具有良好的需求分析,方案设计,架构设计,程序编写、测试能力;

  2、熟悉J2EE或Python平台开发,有良好的Java或Python语言功底;

  3、了解Linux/Unix操作系统,了解脚本编程(Shell/Python其中一种);

  4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等系统研发经验者优先,具备分布式系统研发经验者优先;

  5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技

  术,懂hadoop源码者优先;

  6、熟悉Kylin有OLAP平台设计和开发经验优先;

  7、具有应用大数据技术处理TB级以上数据的项目开发经验者优先;

  8、有较清晰的代码编写规范,逻辑性强,工作态度认真,良好沟通能力和团队合作精神。

  大数据开发工程师的主要职责精选2

  职责:

  1、 负责基于Hadoop/Spark平台架构的开发、设计和布局 ;

  2、 完成系统框架的设计和核心代码的编写;

  3、 针对海量的用户行为数据进行统计、分析与挖掘,不断提高系统运行效率;

  4、 负责对数据进行分析,为项目组提供大数据技术指导及分析手段支撑;

  5、 负责大数据平台的性能监控和持续优化;针对需求提供大数据分析技术解决方案 ;

  6、 大数据平台的运维工作,持续完善大数据平台,保证稳定性、安全性;

  7、 熟练使用大数据ETL数据抽取工具;

  8、领导安排的其他工作。

  任职资格:

  1、 3年互联网行业开发经验,计算机或相关专业本科以上学历;

  2、 精通Hadoop大数据平台架构,具有扎实的Java/Python等开发语言;并可以开发高效可靠的代码;

  3、 具有较强的数据分析、数据挖掘的能力;

  4、 熟悉spark、Hive、storm等计算框架者优先,对分布式存储和计算原理有较深的理解;

  5、 严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能;

  6、 个性开朗,对技术钻研好学、逻辑思维能力强,沟通能力优秀,有团队合作精神。

  大数据开发工程师的主要职责精选3

  职责:

  1. 负责机票酒店大数据项目的评估、设计及关键模块研发;

  2. 参与公司大数据平台及联机分析系统的建设;

  3. 机器学习算法讨论、评估及算法的最终编码实现;

  4. 数据平台开发规范制定,数据建模及核心框架研发;

  任职要求:

  1. 本科及以上学历,计算机或数学相关专业,三年以上相关工作经验;

  2. 掌握Java、Python、Scala等 中的一到两种语言;

  3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优;

  4. 熟悉数据相关开源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin 等;

  5. 对数据结构和机器学习算法有一定的了解;

  6. 具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;

  7. 有机票酒店等旅游行业数据开发经验者优先。

  大数据开发工程师的主要职责精选4

  职责:

  1.负责公司环保大数据平台的架构与搭建;

  2.负责需求分析,根据客户应用需求规划大数据平台架构;

  3.负责将大数据平台部署至私有服务器群、私有云或公有云;

  4.负责在企业内部进行数据平台原型开发与数据实时交互、存储性能测试;

  5.负责与数据挖掘算法交互的架构设计与开发。

  任职要求:

  1.计算机相关专业,全日制本科以上学历;

  2.具有3年以上大数据相关应用开发经验,有Java开发经验更佳;

  3.至少熟悉一种流行的大数据编程框架,如Spark,Storm,Flink等;

  4.熟悉大数据生态圈常用技术如RocketMQ,Kafka,Flume,Zookeeper等;

  5.熟悉Hadoop安装、调试、发布配置应用,熟悉Linux操作系统更佳;

  6.至少熟悉TIDB,MySQL,SQLServer其中一种数据库;

  7.学习能力强,对技术有热情,关注技术发展方向;

  8.具有工业物联网、智慧型环保项目背景者优先。

  大数据开发工程师的主要职责精选5

  职责:

  1、负责公司大数据平台建设;

  2、根据业务需求,制定数据仓库和数据分析平台的实施和持续更新;

  3、攻克技术难关,保证大数据系统的稳定运行;

  4、完成大数据产品的开发。

  职位要求:

  1、计算机相关专业全日制专科及以上学历,大数据相关经验;

  2、熟悉Java或Scala语言,熟悉Spark,Hadoop,Kafka,Hive,HBase,ZooKeeper等大数据相关技术;

  3、精通SQL语句并对Redis,Mongodb等NoSQL数据库有一定经验;

  4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

  5、责任心强,工作踏实,有团队协作精神,沟通能力强者优先。

原创文章,作者:fanwen,如若转载,请注明出处:https://fanwen.hongwu.com/76640.html

(0)
上一篇 2022年12月2日 下午7:55
下一篇 2022年12月2日 下午8:05

相关推荐

  • 融资总监工作的主要职责表述

      融资总监负责对公司投融资运作进行全面的战略管理。下面是第一范文网小编整理的融资总监工作的主要职责表述。   融资总监工作的主要职责表述1   职责:   1、协助融资总监开展工…

    岗位职责 2022年9月23日
  • 房地产开发公司的主要职责表述说明

      房地产销售经理需要能够完成所参与项目销售的总结、沉淀和分享,指导所在团队成员的知识发展与能力提升。以下是第一范文网小编整理的房地产开发公司的主要职责表述说明。   篇一   岗…

    岗位职责 2022年10月10日
  • 网络编辑岗位职责

      网络编辑作为互联网时代的新兴职业,他们躲在后台为互联网高速发展和网络媒体快速成长添砖加瓦。对网络编辑人员队伍状况、从业人员素质情况进行大摸底有非常重要的现实意义。网络编辑岗位职…

    岗位职责 2022年7月22日
  • 车间主管岗位职责

    车间主管岗位职责   车间主管是车间生产的监督和管理人,那么他们的岗位职责是什么呢?下面是第一范文网小编精心整理的车间主管岗位职责范文,供大家学习和参阅。   车间主管岗位职责  …

    岗位职责 2022年8月27日
  • 初级软件测试工程师的职责信息

      初级软件测试工程师需要根据产品需求进行系统、模块测试,包括测试设计、执行、BUG提交和追踪,测试报告,接口测试等。以下是第一范文网小编整理的初级软件测试工程师的职责信息。   …

    岗位职责 2022年12月10日
  • 公司财务会计的工作内容

      财务会计需要审核各项成本支出,进行成本核算及相关成本账务的处理。下面是第一范文网小编整理的公司财务会计的工作内容。   篇一   工作内容   1、审核各项成本支出,进行成本核…

    岗位职责 2022年10月28日
  • 行业销售经理岗位的基本职责范围

      行业销售经理负责建立并维护客户关系,进行客情维护,发掘客户需求,拓展销售业绩并建立客户档案。下面是第一范文网小编整理的行业销售经理岗位的基本职责范围。   篇一   职责:  …

    岗位职责 2022年10月1日
  • 网络运营经理工作的岗位职责模板5篇

      网络运营经理需要及时掌握管辖平台市场信息与趋势、竞争对手动态,并及时制定、实施应对策略。以下是第一范文网小编整理的网络运营经理工作的岗位职责模板5篇。   篇一   职责:  …

    岗位职责 2022年9月23日
  • 橱柜设计师的职责范本

      橱柜设计师需要全方位了解房地产精装修项目需求,根据房地产需求设计方案。下面是第一范文网小编为您精心整理的橱柜设计师的职责范本。   橱柜设计师的职责范本1   职责:   1、…

    岗位职责 2022年8月24日
  • 支行行长岗位工作职责

      岗位职责是每个员工必需高度重视的,它要求每个在岗的员工必须对自己从事的岗位负责。以下是小编整理的支行行长岗位工作职责,欢迎大家参阅。   第1篇:支行行长岗位工作职责   1….

    岗位职责 2022年10月21日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注