大数据工程师岗位职责16篇

第1篇 大数据运维工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 负责大数据平台的业务监控、持续交付、应急响应、容量规划、性能优化；

2. 负责cloudera manage平台各大数据组件(例例如：hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安装调试与支持；

3. 深入研究大数据相关运维技术，持续优化集群服务架构，探索新的hadoop运维技术及发展方向；

4. 负责hadoop平台的用户管理、权限分配、资源分配；

岗位要求：

1. 熟悉apache hadoop、spark、kafka、hbase、hive等大数据组件的安装部署、故障处理理、性能调优，具有cdh等组件实际使用经验；

2. 具有cloudera manage平台搭建维护经验；

3. 熟悉linu_，有cloudera使用经验优先；

4. 有一定的hql/sql性能调优工作；

5. 熟悉azkaban工作流组件优先。

第2篇 大数据java开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责:

1、根据业务需求与前端组协作开发并实现各功能；

2、与架构师一起确定后端研发中涉及到的技术框架选型及相关实现；

3、与架构师一起确定协作完成核心接口的定义、使用、测试并保证业务代码的运行效率；

4、与测试组及运维组协作实现产品上线，并监控产品服务，及时处理线上异常；

5、能带领小团队独立工作，分解项目需求，完成模块设计，组织评审，制订开发计划，保证质量；

6、参与code review ，从技术层面带领团队整体实力提升。

任职资格:

职位要求

1、计算机相关专业，本科及以上学历；

2、具有3年或以上java web项目开发工作经验；

3、java基础扎实，深入理解成熟java开源框架，如spring， springmvc等；

4、熟练使用和配置一种或一种以上tomcat、jetty、ngin_等主流应用服务器；

5、熟练使用mysql等常用数据库，对redis有深入理解和实际设计及使用经验；

6、有丰富的高并发，高吞吐系统开发经验；

7、有较强的承压能力以及学习能力；

有以下经验者优先：

1、深入理解redis

2、了解apache karaf、apache camel，有相关使用经验

3、熟悉阿里云或中间件相关技术

第3篇 大数据平台(高级)工程师-实验评估方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的灰度实验/abtest系统，面向头条全公司的所有产品线；

2、建立通用的用户行为指标体系，探索性发掘新指标，研究业界领先的个性化评估方法；

3、从pb级超大规模的用户行为数据中挖掘信息，并设计实验验证假设，为策略/产品改进提供支持。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第4篇 资深大数据工程师职位描述与岗位职责任职要求

职位描述：

【岗位职责】：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；

2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；

3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；

4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；

5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；

6、参与公司数据治理策略等的制订和实施；

7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

【任职资格】：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队；

2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；

3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；

5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；

6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式

7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。

8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第5篇 大数据云计算工程师岗位职责

高级java开发工程师(云计算大数据方向) 中软国际科技 中软国际科技服务有限公司,中软国际,中软国际科技,中软国际科技服务,中软 职责描述:

1、负责/参与应用系统平台设计、重构、优化,主导/参与技术难题攻关;

2、负责并参与系统需求分析、功能模块详细设计,完成系统业务功能实现、测试及维护工作;

3、负责编写相应的需求、设计与技术文档,向系统使用者提供技术支持服务;

4、参与线上系统环境的升级、运维监控、性能调优;

5、推动跟进业务线需求,为改善系统的功能积极提出建议。

任职要求:

1、3以上java语言开发经验,基础扎实, 熟练使用springmvc框架进行开发;

2、对多线程编程,线程安全等有较深理解. 能够熟练使用线程池等常用功能;

3、熟练使用jpa,hibernate,mybatis中的一种或多种持久层框架;

4、熟练使用sql的crud命令;

5、具有库表结构设计能力, 并且有一定的sql开发及优化能力。

第6篇 大数据开发工程师（数仓方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 理解业务需求，负责数据仓库建设、etl流程的开发和优化工作；

2. 解决业务数据分析、数据报表、数据异常相关的技术问题；

3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析；

任职资格：

1. 计算机相关专业本科及以上学历；

2. 精通java编程语言，并熟悉scala、python、shell等一门以上脚本语言；

3. 熟悉hadoop大数据平台架构，熟悉spark/spark sql/yarn开发调优技术，具有相关项目经验

4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论，熟悉oracle/mysql数据库；

5. 思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力；

6. 具有高度的责任感，工作认真、踏实。

福利待遇：

1、薪酬：有竞争力的薪酬体系，我们不止跟你谈理想，钱也必须谈一谈~

2、交通：无论天涯，免费班车直达公司，蓦然回首，地铁就在公司不远处。。。

3、工作时间：5天7小时工作制，充足的休息让你一整天元气满满！

4、各种福利：五险一金小case，节日礼物福利补贴说不完！

5、团建活动：下午茶，团队活动，部门聚餐，经费充足不差钱，大公司就是这么壕！

6、发展平台：想要升职加薪走向人生巅峰？上市公司晋升发展机会多多~

第7篇 数据平台-大数据开发套件服务端高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、面向公司的大数据开发套件产品设计与研发，包括大数据任务建设平台，元数据管理系统，数据质量监控平台，任务运维平台等

2、参与需求调研与用户技术支持

3、追求极致，构建业内领先的数据平台产品

任职要求：

1、精通java/scala语言，包括jvm、类装载、线程、并发、io资源管理、网络

2、扎实的计算机基础，对技术有热情，愿意不断尝试新技术和业务挑战

3、精通soa架构和微服务架构

4、有 ide 开发经验者优先考虑

5、熟悉前端技术的全栈开发工程师优先

6、熟悉hadoop ecosystem常用开源框架者优先，例如hadoop/flink/spark等

第8篇 大数据架构资深工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的存储、计算等分布式系统；

2、为海量数据和大规模业务系统提供可靠的基础设施。

任职要求：

1、掌握分布式系统原理，对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对 hdfs， rocksdb， leveldb， memcache， redis， mysql， hbase， kafka 的一项或多项有经验者优先；

4、计算方向：对 spark， mapreduce， storm， hive， presto， impala 的一项或多项有经验者优先；

5、集群管理方向：对 yarn， mesos 的一项或多项有经验者优先；

6、向开源社区贡献过 patch 者优先，请在简历上说明。

第9篇 大数据工程师岗位职责职位要求

职责描述：

华为企业bg-大数据工程师

1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作

2、数据处理流程设计及开发

3、海量数据的采集、存储、管理、分析、建模

4、负责大数据、数仓平台的监控及优化，针对持续增长的数据提供相应的解决方案

5、负责大数据、数仓项目的疑难问题解决，性能优化

专业知识要求：

1、有3年以上相关岗位工作经历，或者非金融业的数据服务或信息数据管理工作经验

2、数学、计算机技术等相关专业

3、精通大数据（mppdb、hadoop）等相关技术，并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。

4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种，精通数据仓库理论架构，包括但不限于数据调度、etl、元数据管理、数据监控；

5、精通1-2门开发语言（java/python/scala/shell）

6、具有比较突出的组织、策划、协调及沟通能力，有强烈的结果导向和客户导向。

岗位要求：

学历要求：本科

语言要求：不限

年龄要求：不限

工作年限：3-5年

第10篇 fwz-大数据挖掘工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、熟知公司业务数据和业务变化，构建业务数据模型；

2、维护业务数据模型，验证数据质量，保障数据完整和可靠；

3、进行数据研发和分析，支持业务优化、监控和考核；

4、不断学习数据技术，使用新技术高效完成任务。

5、平台的搭建与数据维护

任职要求：

1、国内外高校计算机、数学类相关专业，本科以上学历；

2、2年以上大规模数据研发、挖掘、分析相关工作经验；

3、熟悉mysql、oracle、sqlserver或至少其中之一，熟悉sql语言；

4、具有hadoop、hive、hbase、spark、strom等开源工具的使用经验，并能结合不同的业务场景使用；

5、具有python、shell开发经验；

6、有物流行业相关工作经验者优先；

7、了解数理统计、数据分析及挖掘，熟知常用算法，有运用机器学习算法建模的理论基础或实际经验者优先；应用大数据平台完成项目或任务。

第11篇 大数据工程师岗位工作职责

简介:大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据工程师职位描述(模板一)

岗位职责:

1.负责数据分析、加工、清洗、处理程序的开发;

2.从事海量数据分析、挖掘相关工作;

3.负责大数据相关平台的搭建、开发、维护、优化;

4.对业务部门的数据分析需求给予实现与支持;

5.对公司的“数据驱动运营”的业务目标进行大数据架构方案实现。

任职要求:

1.计算机相关专业,本科及以上学历,3年以上java开发工作经验,学习能力突出;

2.熟悉hadoop生态系统内常见项目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce开发经验,有实际大数据项目经验优先;

3.熟练掌握oracle、mysql等主流数据库;

4.精通java,熟悉基于j2ee的web架构设计,熟悉web开发流程,有丰富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)开发经验;

5.熟悉linu_/uni_系统环境下的操作;熟悉tomcat等应用服务器的配置和优化;

6.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。大数据工程师职位描述(模板二)

岗位职责:

1.大数据平台功能规划、设计;

2.大数据平台的设计、研发;

3.大数据平台实施、数据接入。

任职要求:

1.统招本科及以上学历,计算机科学、软件工程、数学、统计学相关专业毕业;

2.具有扎实的java基础,精通sql、mysql以及2年以上软件开发经验;

3.熟悉hadoop平台架构,有hadooop、hbase、hive、spark、kafka使用经验;

4.熟练python进行数据处理,网页爬取;

5.有非结构化数据解析、识别经验优先。大数据工程师职位描述(模板三)

岗位职责:

1.负责数据仓库建设、设计、优化和落地;

2.负责数据etl开发、数据平台建设、设计并实现对bi分析、数据产品开发。

任职要求:

1.985院校计算机相关专业本科以上学历;

2.有较扎实的数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验;

3.有hadoop、hive、spark、impala等大数据技术使用经验者优先。大数据工程师职位描述(模板四)

岗位职责:

1.主要负责电信业务的大数据开发工作;

2.结合业务需求设计数据分析场景,并形成后台实现方案,独立完成业务数据建模,并将结果转化为运营指标;

3.对产品全生命周期跟进,协调各种资源保证产品顺利发展。

任职要求:

1.计算机或者相关专业本科及以上学历,3年及以上相关工作经验;

2.熟练掌握java开发语言,熟悉多线程和线程调优,如懂scala开发更佳;

3.熟悉linu_服务器环境、熟悉shell;

4.熟悉分布式系统、集群管理、soa架构等相关技术,熟悉hadoop on yarn集群部署和工作原理,熟练掌握mr开发,有大型集群开发运维经验更佳;

5.熟悉以下技术中3种及以上者优先考虑:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬虫;

6.具有良好的沟通能力和团队精神,具有良好的抗压能力。大数据工程师职位描述(模板五)

岗位职责:

1.负责大数据处理平台应用的开发工作;

2.利用hadoop yarn/storm/spark进行开发、存储、分布式计算应用的代码实现;

3.优化hadoop yarn/storm/spark 参数,实现系统调优,满足行业应用的实时大数据处理需求;

4.学习新技术,提高整个平台的计算能力和效率;

5.开发基于hive、hbase、es等数据处理方式的脚本程序。

任职要求:

1.3年以上hadoop/storm/spark开发经验,对分布式、并行计算理论有深刻理解;

2.精通java/scala/python任一语言;

3.对hadoop/storm/spark源码有研究,有大数据平台开发工作经验者优先;

4.有很好的技术敏感性,良好的学习能力和吃苦耐劳能力;

5.具有较好的沟通协调能力、团队合作能力、文档编写能力。

第12篇 大数据计算引擎高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的大数据计算引擎，服务于今日头条全公司的数十个用户产品线；

2、面向超大规模数据问题，每天千亿增量的用户行为数据，秒级处理pb级别的数据计算；

3、善于理解和抽象业务问题，支撑多样的海量数据分析场景。

任职要求：

1、强悍的系统设计&编码能力，追求优雅的设计和优秀的代码质量，高标准，快速行动；

2、对hive/kylin/presto/spark/tez/impala 的一项或多项有深入研究者优先；

3、有pb规模的数据处理经验者优先/4、开源项目commiter或贡献过patch 者优先，请在简历上说明。

第13篇 sfj-大数据挖掘与分析工程师（数据分析方向）职位描述与岗位职责任职要求

职位描述：

职责描述：

1、用系统化的方法分析业务变化趋势，为管理层决策和产品完善提供数据支持；

2、运用hive/sql做数据挖掘分析，用数据驱动产品改进、业务发展；

3、指导与支持产品经理、业务经理设定目标，并检验是否达标。

任职要求：

1、统计、生物统计、运筹、应用数学相关专业本科及以上学历；

2、三年以上在互联网或物联网行业的数据分析工作经验；有app数据运营、物流数据分析经验的优先；

3、优秀的商业分析能力，有及时发现和分析其中隐含问题的敏锐性 ，能从复杂用户行为数据进行抽象概括，建立数学模型并用ppt等表达；

4、熟悉sql与hive，掌握统计分析方法；

5、有设计a/b test的能力，精通各种统计假设检验的方法，如：t-test， chi-square等；

6、具备r或python能力。

第14篇 大数据主任工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 负责客户业务需求、数据分析需求的调研、收集与分析;

2. 负责 kyligence enterprise 大数据平台整体架构和数据架构设计;

3. 负责技术设计及技术实现规范编制，指导开发团队进行项目设计、项目实现及技术汇报;

4. 负责项目重难点模块的功能设计和难点攻坚;

5. 参与 kyligence enterprise/apache kylin 的应用设计、开发、测试及优化工作。

任职要求：

1. 计算机相关专业，本科及以上学历;

2. 有 3 年以上工作经验，其中包括2年以上大数据平台架构和系统设计经验;

3. 精通 hadoop、hive、hbase原理，熟悉大数据生态技术，如storm、spark、flink、kafka、zookeeper等，有大规模集群架构、开发及运维经验，能根据业务场景设计合适的技术栈完成业务需求

4. 熟练sql 语言，掌握 oracle、db2、mysql 等一种或多种数据库系统的使用，有一定的 sql 性能调优经验;

5. 至少熟悉 java，scala，python，shell等编程语言中的2种;

6. 优秀的分析和解决问题的能力，对挑战性问题充满激情;

7. 具备良好的团队合作精神，较强的沟通能力，具备良好的技术领导能力;

8. 有数据仓库背景或者 apache kylin 的开发经验者优先考虑;

第15篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述：

工作职责:

1、 根据公司数据分析需求进行基于hadoop 平台的项目开发；

2、 根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理， 监控等；

3、 负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

4、 负责设计并优化基于hive 的数据仓库的建设；

5、 制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案，并落地。

任职资格:

1．从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验 ，具备海量数据加工处理相关经验；

2. 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

3．有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

4. 熟练掌握kettlesqoop、data_、airflow等;

5. 有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

6. 熟悉分布式计算presto/imapa优先;

7．有实时计算方面的经验的优先。

第16篇 大数据基础架构研发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、负责公司内部大数据平台的选型与优化工作；

2、参与整体系统架构的规划，维护公司的大数据生产平台，不断优化系统性能；

3、开发适合公司业务的大数据框架，并协助其他部门开发与优化出高效的并行计算程序；

4、开发适合公司业务的大数据存储平台，完成pb级别的高性能存储作业。

任职要求：

1、985/211院校计算机相关专业毕业，有良好的计算机基础；

2、熟悉java语言，熟练使用idea或eclipse，有第二门语言者优先（python，c++）；

3， 熟悉centos、ubuntu、等linu_操作系统;

4，两年以上研发工作经验，有中层管理经验者优先；

5，3年以上使用hadoop/hbase等分布式平台经验，有过管理pb级别数据经验者优先；

6，熟悉hadoop/hbase的各类配置与插件开发，有过源码修改与插件开发经验者优先；

7，有过大型项目（使用人数超过100万，日均pv超过1亿）的参与经验优先。