欢迎光临管理者范文网
当前位置:管理者范文网 > 安全管理 > 安全管理 > 岗位要求

数据工程师岗位要求15篇

发布时间:2022-12-13 19:39:06 查看人数:68
  • 目录

数据工程师岗位要求

第1篇 高级大数据工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、参与大数据开放平台基础能力建设,承担系统架构、组件开发、方案验证等工作;

2、参与构建大数据系列产品,包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线;

任职要求:

1、 统招本科或以上学历,5年以上大数据开发工作经验;

2、扎实的java基础,能熟练使用java进行软件功能开发;

3、熟练掌握基于hadoop生态的大数据开发工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有实时系统开发经验优先;

4、熟悉常用的数据挖掘算法,例如聚类、回归、决策树等,有过nlp项目经验优先;

5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先;

6、工作积极主动,善于合作,敏而好学;

第2篇 数据工程师(银行-南昌)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、协助数据仓库架构师制定数据处理和业务个性化规范;

2、协助项目经理在业务层面对基于nc的标准分析产品研发提供指导;

3、针对nc的数据抽取和dw建模;

4、有计划的提升整个团队的数据处理能力

5、适应区域内的出差

任职资格:

1、1年以上oracle、或db2数据库开发经验;

2、能熟练使用sqlplus、pl/sql、toad等工具中的一种进行sql、存储过程开发;

3、熟悉数据仓库、etl、olap分析;

4、熟悉powerdesigner建模工具,能应用建立数据模型;

5、熟悉数据库性能分析及sql调优;

6、熟悉linu_系统,熟悉shell脚本开发,熟悉awk等文件处理方法

7、工作认真负责,具有良好的团队精神及沟通表达能力;

8、有银行行业背景者优先;

9、熟悉bi业务分析的相关知识,如dw建模和etl等。

第3篇 大数据工程师( elasticsearch/spark)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、 负责基于elasticsearch的研发;

2、 负责基于spark生态系统的研发;

3、 负责elasticsearch/spark集群调优;

4、 负责对数据进行建模。

任职要求:

1、 大学本科及以上学历,计算机相关专业;

2、 三年以上工作经验;

3、 熟练掌握java/scala后端开发,如多线程、网络等;

4、 熟练掌握python、shell中的一种脚本语言;

5、 熟悉spark 生态系统组件,如:hadoop、flume、kafka、hbase、hive、pig、zookeeper;

6、 熟悉linu_开发环境;

7、 熟悉elasticsearch、lucene优先;

8、 能够读懂及书写英文文档;

9、 有spark调优、统计学知识的优先考虑;

10、 有机器学习经验者优先考虑;

11、 对新技术有孜孜不倦的热情。

第4篇 大数据工程师(电商行业)职位描述与岗位职责任职要求

职位描述:

工作职责:

1、基于hive的数据仓库建设、etl开发;

2、使用hive/flink等平台进行分析内部及外部的数据,配合业务团队进行定量和定性分析,把数据转化成为业务增值的信息;

3、探索、评估新的技术和解决方案,提高数据并行计算能力和运行速度。

任职要求:

1、熟悉大数据相关技术:kafka/flink/hadoop/druid/hbase 等;

2、具备数据库系统理论知识,掌握主流数据库管理和应用,精通sql;

3、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法;

4、熟练使用 java、python、php、go语言中的一种或者多种;

6、两年以上大数据开发经验,有高性能分布式平台开发经验,有电商行业经验优先。

第5篇 华为数据工程师岗位职责职位要求

职责描述:

1.负责项目组数据挖掘、数据分析、数据建模工作,能够按要求、高质量地完成任务;

2.熟练掌握分析设计工具,按照规范的要求,编写设计文档;

3.按照设计功能,实现模块的代码编写和维护;

4.按照公司的规范进行编码,并对开发的代码进行单元测试;5.负责项目开发过程中的技术攻关及运行中出现的技术问题。

任职资格:

1、3年以上数据仓库和数据建模经验,包括不限于:etl、dw、olap、多维数据模型等;

2、一定的数据可视分析基础,熟练掌握power pivot、powerbi等工具用于数据分析;

3、有ssas方案的设计或开发经验优先;

4、熟练使用至少一款bi相关工具,包括tableau,powerbi,oracle biee,qlik等等。

5、理解数据仓库和数据建模相关知识

6、沟通能力优秀,勤奋好学,热爱数据工作;7、良好的团队精神,工作负责,具有良好的职业操守。

8、本科以上学历学位,具备cet-4/6优先。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:3-5年

第6篇 大数据工程师岗位职责职位要求

职责描述:

华为企业bg-大数据工程师

1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作

2、数据处理流程设计及开发

3、海量数据的采集、存储、管理、分析、建模

4、负责大数据、数仓平台的监控及优化,针对持续增长的数据提供相应的解决方案

5、负责大数据、数仓项目的疑难问题解决,性能优化

专业知识要求:

1、有3年以上相关岗位工作经历,或者非金融业的数据服务或信息数据管理工作经验

2、数学、计算机技术等相关专业

3、精通大数据(mppdb、hadoop)等相关技术,并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。

4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种,精通数据仓库理论架构,包括但不限于数据调度、etl、元数据管理、数据监控;

5、精通1-2门开发语言(java/python/scala/shell)

6、具有比较突出的组织、策划、协调及沟通能力,有强烈的结果导向和客户导向。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:3-5年

第7篇 etl数据工程师岗位职责任职要求

etl数据工程师岗位职责

岗位职责:

1. 参与金融大数据研发;

2. 参与数据仓库etl流程的优化及解决etl相关技术问题;

3. 负责数据基础架构的升级和优化,不断提升系统的稳定性和效率;

4. 设计并实现对机器学习、数据挖掘的系统性支持;

岗位要求:

1. 计算机相关专业,本科及以上学历;

2. 具备良好的编程习惯,熟悉常用的数据结构和算法;

3. 熟练掌握php/python/java任一语言;

4. 具备良好的数据库理论基础知识,较强的sql书写能力,熟练使用mysql/postgres等数据库;

5. 有数据处理,etl流程优化实战经验,熟悉kettle/informatica等抽取工具;

6. 有使用 kafka,storm,spark streaming 实时数据处理系统建设经验优先。

etl数据工程师岗位

第8篇 oracle数据工程师岗位职责任职要求

oracle数据工程师岗位职责

工作职责:

1. 数据仓库和业务数据集市建设

2. 业务模型抽象、数据模型设计开发

3. 支持业务的数据需求,跟pm一起完善业务的数据分析体系和工具

4. etl、数据应用和服务的设计开发

5. 积累数据生产、分析工具,不断提高数据生产效率

6. 实时数据仓库设计、开发与服务

岗位要求:

1. 快速的业务学习和理解能力,有良好的自驱能力,对工作充满热情

2. 熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,熟悉多维数据模型设计

3. 具备大型数据仓库架构设计、模型设计、etl设计的相关经验

4. 精通oracle数据库技术,深刻理解数据库/oracle特性,有过硬的sql能力,能编写高性能的数据处理程序。

5. 具备hadoop、hive、hbase,spark等大数据技术背景,并具有开发经验者优先

6. 具备海量数据处理经验者优先

oracle数据工程师岗位

第9篇 工业大数据工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1、针对工厂四大ai场景(机器视觉/图像识别、机器学习/phm、知识发现、自然语言处理),给出有竞争力的算法实现;

2、深入了解业务需求,能对算法和模型应用效果进行评估、分析和优化等;

3、ai和大数据相关课程开发培训;

任职要求:

1、全日制本科及以上学历,有5年以上相关工作经验;

2、曾经实作过ai算法功能,有深度学习项目和相关经验,图像处理经验优先考虑;

3、熟悉流行的ai学习开源工具,如tensorflow等,有计算机视觉、深度学习的开发经验者优先;

4、具备处理、清洗、核定分析数据能力,熟悉编程语言python等。

第10篇 etl数据工程师职位描述与岗位职责任职要求

职位描述:

职责:

1. 按业务分析需求进行建模;

2. 进行数据仓库需求分析、方案设计、etl装载过程设计;

3. 从业务数据库到数据仓库的etl开发;

4. 结合业务流程和需求进行数据分析;

任职资格:

1. 本科以上学历,计算机等信息技术相关专业;

2. 有互联网金融相关工作经验,了解相关数据流和业务背景优先;

3. 两年及以上数据仓库相关工作经验,对数据仓库系统架构具有良好的认识,熟悉数据仓库相关技术,如 etl、报表开发,具备数据分析技术并具有相关项目经验;

4. 具有hive、spark、mysql、oracle等至少一种大型数据库的应用开发经验,熟悉数据标准管理、元数据管理、数据质量管理;

5. 具备python统计和数据挖掘相关基本开发能力;

6. 沟通能力好,善于规划和总结,注重团队合作及知识共享,能承担一定的工作压力;

第11篇 资深大数据工程师职位描述与岗位职责任职要求

职位描述:

【岗位职责】:

1、参与公司数据平台架构设计,负责大数据平台和数据仓库相关建设;

2、依据公司的大数据技术发展路线,负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设,提供可靠的数据存储和访问能力;

3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;

4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;

5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;

6、参与公司数据治理策略等的制订和实施;

7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;

8、负责系统核心代码编写、代码审核和重构,指导和培训数据工程师、不断进行系统优化;

【任职资格】:

1、本科以上学历,5年以上大数据研发经验,带领过10人以上的大数据团队;

2、有大型分布式系统设计经验,负责过海量数据平台上高可用、高性能分布式系统的架构设计;

3、熟悉大数据开发框架,熟悉hadoop,hbase,spark等及业界主流流处理平台如,如storm,flunk,sparkstreaming等之一;

4、熟悉greenplum等数据仓库技术,并有广泛的实践经验,具备维护和解决生产问题的能力;

5、熟悉掌握分布式存储和nosql数据库技术(如monogodb、redis等),有实际生产项目应用经验;

6、熟练掌握java,python,scalar中的至少一种编程语言,掌握常见的数据结构,算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式

7、理解soa,微服务,中间件等paas相关的关键理念与技术,并对其有广泛的实践与应用经验,乐于。

8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第12篇 流媒体大数据工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责直播端及服务端海量用户行为数据的加工处理,数据洞察驱动业务优化;

2、打造业界领先的大数据平台,支撑数据采集,加工,建模,分析,实验,可视化的全流程;

3、打造业界领先的分布式计算,存储系统,解决大规模生产环境集群可用性和性能优化问题。

任职要求:

1、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;

2、对开源大数据系统有相关经验者优先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;

3、对数据敏感,掌握量化分析方法,善于从数据中发现问题者优先。

第13篇 高级数据工程师(数仓方向)职位描述与岗位职责任职要求

职位描述:

工作职责:

1.负责全司数据的数据调研,数据模型设计,etl开发,任务监控和优化等

2.负责数据仓库多场景的基础服务层建设,如多维分析,即席查询,实时推送等

3.负责基于数据仓库之上的数据中台建设,如数据管控系统,特征工程,指标库等数据分析相关的通用服务

4.负责数据管理共享系统的设计,开发和实施;

任职资格:

1、计算机、数学相关专业全日制本科以上学历;

2、熟悉数据治理方法论,了解数据质量、数据模型和元数据管理等相关技术

3、5年以上具备大型数据仓库架构设计(离线&实时)、模型设计、etl设计的相关经验

4、要求至少精通一种主流的etl产品,如:datastage或infomatica

5、精通oracle存储过程的开发

6、具有丰富的etl实施经验,熟悉金融投资行业优先

第14篇 数据工程师(实时数据方向)职位描述与岗位职责任职要求

职位描述:

工作职责:

1.负责搭建大数据平台数据的离线和实时分析系统,开发准实时数据处理任务

2.了解实时数据计算和离线数据计算相关技术,可以基于spark streaming或flink等搭建实时计算平台,解决实时计算相关技术问题

3.参与大数据平台的开发和维护,保证数据平台的稳定和可靠

任职资格:

1、计算机、数学相关专业全日制本科以上学历;

2、熟悉java或者scala,并熟练使用其对应的常用框架spring/mybatis等;

3、熟悉主流大数据处理技术,如:hadoop、hbase、hive、spark等;

4、熟悉实时数据处理运行机制和体系结构,具备使用spark streaming或flink等实时引擎进行数据流开发和调优的经验;

5、熟悉sql开发;熟悉linu_系统环境,熟练使用shell脚本

第15篇 数据工程师(data engineer)职位描述与岗位职责任职要求

职位描述:

岗位职责:

建立基础设施,收集大量原始数据并处理成适合分析的数据

在大量数据的基础上设计和实施近实时数据应用程序

支持业务团队的操作监控请求

任职要求:

硕士/学士学位,在相关领域拥有1-2年的工作经验

熟练掌握java, python 或scala;熟练使用linu_

bash

熟悉云计算平台(alicloud / aws)

具有大数据平台/编程经验(hadoop / spark )

具有数据库使用经验(oracle / mysql / mongodb),精通sql数据库和sql编程

加分项:

良好的英语口头和书面沟通能力

数据工程师岗位要求15篇

职位描述:职责描述:##职能概述1.协助设计、实现高效稳定的存储和计算系统2.参与数据分析管道上的模块化软件工具的设计、开发和维护工作3.参与数据处理、清理版本化工具的设计、开发和维护工作4.参与数据可视化工具基础建设工作5.参与数据产品发布和管理工具、基础设…
推荐度:
点击下载文档文档为doc格式

相关数据工程师信息

  • 数据工程师岗位要求15篇
  • 数据工程师岗位要求15篇68人关注

    职位描述:职责描述:##职能概述1.协助设计、实现高效稳定的存储和计算系统2.参与数据分析管道上的模块化软件工具的设计、开发和维护工作3.参与数据处理、清理版本化 ...[更多]

  • 大数据工程师岗位要求15篇
  • 大数据工程师岗位要求15篇30人关注

    职位描述:岗位职责:1.负责对核心业务数据实现数据的自动化半自动化抽取、清洗、转化、标注等工作;2.负责根据需求建立数据模型、进行全网数据在线抽取分析;3.负责算法 ...[更多]

  • 大数据工程师岗位职责要求3篇
  • 大数据工程师岗位职责要求3篇14人关注

    职责描述:华为企业bg-大数据工程师1、基于hadoosarkmdb的大数据、数仓平台架构设计及开发工作2、数据处理流程设计及开发3、海量数据的采集、存储、管理、分析、建 ...[更多]

相关专题

岗位要求热门信息