欢迎光临管理者范文网
当前位置:管理者范文网 > 安全管理 > 岗位职责 > 工程岗位职责

数据开发工程师岗位职责16篇

发布时间:2023-02-22 15:48:02 查看人数:68
  • 目录

数据开发工程师岗位职责

第1篇 数据开发高级工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责数据收集、清洗和规约等工作;

2、提供面向业务的数据服务,完成数据指标的统计、多维分析和展现;

3、根据业务和产品情况,抽象业务逻辑,搭建和开发大数据平台。

任职要求:

1、统招本科或以上学历;

2、精通sql,有较好的sql性能调优经验,了解hive/mysql的基本原理和调优策略

3、熟悉常用的数据挖掘、分析的工具和方法,熟悉linu_平台,精通shell/python/php等脚本语言的一种或多种,编码基本功扎实 ;

4、精通java开发,熟悉大数据处理相关技术,有hadoop开发经验,掌握mapreduce。

第2篇 大数据开发工程师(p7-p8)3职位描述与岗位职责任职要求

职位描述:

岗位职责:

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发;

参与项目的架构设计、评审、技术攻坚及优化;

参与系统文档的撰写、维护。

任职要求:

本科以上学历,计算机或相关专业;

3年以上linu_后台开发经验,有大规模系统开发经验;

精通http、tcp/ip协议,网络编程;

熟悉linu_操作系统原理,常用工具;

熟悉常用大数据开源组件;

有高并发、大容量后台服务系统设计经验;

具有良好的学习能力、沟通能力、团队合作意识;

强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;

对hadoop、flink、spark、lucene等开源项目有大规模应用经验,contributor或者committer优先。

第3篇 dmp数据开发工程师-核心广告系统职位描述与岗位职责任职要求

职位描述:

工作职责:

1、支撑dmp人群包计算的业务需求,参与服务端代码开发;

2、支撑dmp标签的技术升级,参与数据产出流程性能优化;

3、支持dmp大规模数据的计算和分析。

任职要求:

1、本科及以上学历,计算机、通信等相关专业,1-2年相关工作经验;

2、有良好的数据结构、算法基础和扎实的编程能力;

3、熟悉python/java/c++/scala其中任意一门或者多门语言;

4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技术;

5、具有良好的团队沟通意识和快速学习能力;

6、加分项: 熟悉大数据处理或者dmp业务.

第4篇 高级数据开发工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1、承担现有数据平台的开发和优化工作

2、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型优化

3、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型

4、负责实时计算平台搭建。

职位要求:

1、3-5年以上的相关工作经验

2、熟悉分布式计算平台

3、有日志采集,数据处理,数据仓库建模,etl等经验

4、熟悉java、python、spark开发

5、熟练掌握linu_ shell及sql语言

6、有独立负责数据某一模块的实际项目经验

7、有过用户画像等方面开发经验者优先

8、有实时处理开发经验者优先

第5篇 大数据开发(高级/资深)工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、基于海量数据,支持业务对数据的分析和使用:

2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。

任职要求:

1、有扎实的编程能力,有优秀的设计和代码品位,对解决具有挑战性问题充满激情;

2、对大数据处理有丰富的经验和广阔的视野;

3、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景;

4、优秀的沟通理解能力,能快速理解业务,用数据解读业务;

5、推荐或机器学习相关的开发工作优先。

第6篇 数据开发工程师-变现业务职位描述与岗位职责任职要求

职位描述:

工作职责:

1、基于海量数据,支持业务对数据的分析和使用;

2、支持业务处理数据的流式处理、分析客户行为等。

任职要求:

1、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ;

2、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景优先;

3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面,有较深的理论研究和实践经验优先;

4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。

第7篇 大数据开发工程师(数据分析、信息安全、前端开发、数据对接)职位描述与岗位职责任职要求

职位描述:

数据分析工程师:

岗位职责:

1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;

2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;

3、负责分析结果的可视化展现;

4、负责核心算法的设计与优化。

任职要求:

1、全日制本科毕业;

2、计算机或数学或软件类或统计相关专业;

3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;

4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。

web前端开发工程师:

岗位职责:

1、负责前端框架设计及组件库开发、前端开发工作统筹;

2、与后端工程师紧密配合,高效率、高质量地完成页面展现研发工作;

3、负责对产品页面性能的优化和维护;

4、负责数据可视化图表显示。

任职要求:

1、本科及以上学历,专业不限。3年以上前端开发经验;

2、精通html5/css3、_html/_ml,熟悉页面架构和布局,对表现与数据分离、web语义化等有深刻理解;

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验;

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师:

岗位职责:

1、 规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;

2、 对上线前的软件或者车上产品进行安全方面验证及测试;

3、 跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求:

1、本科以上学历,信息安全,计算机,通信等相关专业;

2、 拥有网络安全专业技能,熟悉车载网络架构,模块及协议;

3、 熟悉常见网络/车辆安全漏洞,掌握漏洞原理以及解决方案具备独立开展渗透工作的能力;

4、 熟悉常见黑客攻击手法,具备对黑客行为的入侵检测能力;

5、 精通安全测试框架,理解网络,应用,数据等不同层面的安全。

数据对接工程师:

岗位职责:

1、负责内部系统的对接工作;

2、第三方平台的数据对接及程序维护;

3、负责各车型的数据采集要求整理及规划;

4、熟悉数据结构和常用算法,有良好的代码规范,能对接入数据/系统提出优化方案。

任职要求:

1、 本科以上学历,信息化项目,计算机,无线传输等相关专业;

2、拥有信息化相关技能,熟悉系统间的交互对接流程;

3、熟悉数据库的管理及查询、同步工作;

4、熟悉信息对接的方式,能用api、视图等进行对接工作。

第8篇 高级/资深数据开发工程师-网易考拉250职位描述与岗位职责任职要求

职位描述:

工作职责:

1、利用海量业务数据,设计数据模型,搭建数据仓库;

2、负责解决并实现大数据计算分析需求(离线+实时);

3、负责数据底层引擎olap产品的设计开发工作。

任职要求:

1、本科及以上学历,具有较强的编程能力(java/python/sql);

2、具有数据仓库、海量数据计算,实时流式计算等相关项目经验;

3、掌握hadoop、hive、spark,storm,flink等大数据相关技术者;

4、优秀的数据分析和解决问题能力,能够把理论成功应用于实践;

5、对数据技术有极强的兴趣和热情。

第9篇 大数据开发工程师/专家(p6-p8)3职位描述与岗位职责任职要求

职位描述:

职责描述:

1.负责时空位置大数据对外接口后台和服务框架的开发和运营;

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设;

任职要求:

1.重点大学本科以上学历,计算机及相关专业;

2.3年以上相关工作经验,精通算法与数据结构,精通c/c++编程语言;

3.精通linu_、uni_编程环境,熟悉数据库;

4.精通网络编程,有分布式系统开发经验,有大平台开发经验优先;

5.熟悉gis和时空大数据处理和管理,有相关工作经验者优先,

6.具备优秀的独立解决问题能力, 善于团队合作,沟通良好,有一定的抗压能力;

第10篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等

2. 根据业务用户需要分析数据,提供数据支持

3. 参与公司大数据产品的运维和监控,保障数据质量和服务稳定性

任职要求:

1. 具备本科以上学历, 计算机, 软件以及相关专业, 5年以上大数据开发经验

2. 熟悉数据仓库维度建模, 并能根据客户需求进行数据开发, 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java, 对hadoop相关的技术和组件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第11篇 数据开发工程师/python/c++(p6-p7)3职位描述与岗位职责任职要求

职位描述:

职责描述:

'负责内部数据分析平台建设;

开发数据分析算法,提升计算效率和准确率;

对平台进行运营,满足用户需求。'

任职要求:

'计算机相关专业本科及以上学历,3年以上工作经验;

精通python, c/c++开发,熟悉的常见的设计模式;

精通spark,hadoop,es 等大数据平台的原理,做过大数据分析平台项目,对性能调优有经验;

熟悉mysql,postgresql,mogodb,redis等数据管理系统;

拥有良好的发现、分析与解决问题的能力,责任感强、具有团队精神与服务意识;

具有良好的学习能力,对互联网的新技术有很强求知欲望。'

第12篇 后端数据开发工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1. 配合产品经理,参与数据平台发展各阶段产品需求分析和功能设计;

2. 基于确定的产品功能需求,参与平台后端系统架构设计、接口定义实现及测试、构建部署和运维等各阶段工作;

3. 根据产品或技术实现发展需要,按需进行一些新技术的研究,并评估将其引入现有平台实现的可行性。

任职要求:

1. 本科及以上学历,至少3年及以上的实际开发经验;

2. 熟练掌握c/c++/python/java/go/javascript其中至少2种及以上程序设计语言,并且自认为具有良好的编程素养;

3. 熟练掌握常用的数据结构及算法;

4. 熟悉linu_系统开发,熟悉网络编程、文件系统,有分布式系统开发经验;

5. 应具有熟练的技术领域相关的英文文献阅读能力;

6. 有良好的沟通能力和团队合作能力,能够自主驱动,具备良好的问题定位分析能力。

优先考虑:

1. 熟悉containerization和virtual machine平台和相关技术,熟悉docker、kubernetes和kvm等,并具有相关的实际运用经验;

2. 熟悉当前主流的云计算平台,如应熟悉aws、azure和阿里云其中至少一种平台的iaas,并具有相关的项目经验;

3. 有开源项目实际参与经验。

第13篇 数据开发工程师岗位职责

数据库开发工程师 融智投资 深圳市排排网投资管理股份有限公司,排排网,私募排排网,融智投资,排排网 岗位职责:

1.负责数据库建模及开发;

2.负责维护现有公司主站、数据中心数据库;

3.负责现有数据库性能及架构的优化;

4.负责解决日常出现的存储过程错误及数据错误,并给出解决方案;

5.负责数据库运维工作(同步、建库);

6.负责数据库技术架构;

岗位要求:

1. 拥有5年以上mysql(或oracle)数据库管理、开发、设计及系统支持经验;

2. 精通sql语法,有能力编写较复杂t-sql脚本;

3. 精通mysql的主从复制,了解至少一种ha方案;

4. 熟悉linu_系统的操作和基本排障方法;

5. 工作踏实,认真仔细,善于总结,责任心强 ;

6. 有etl工具开发经验者优先考虑;

第14篇 大数据开发工程师(渠道团队)职位描述与岗位职责任职要求

职位描述:

职责描述:

1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;

2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;

3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;

任职要求:

1.计算机相关专业本科及以上学历,5年以上大数据工作经验,有扎实的计算机理论基础;

2.熟练使用mapreduce、spark提供的api编程,具备海量数据加工处理(etl)相关经验;

3.熟练使用大数据的工具平台,熟悉hadoop生态环境,对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解;

4.掌握数据分析的基本流程,具备数据采集、清洗、分析等环节的实战经验;可以进行数据产品etl需求的调研及开发;

5.熟悉etl任务调度及管理;

6.熟悉shell命令,进行简单的shell编程;熟悉linu_文本处理命令,vi、awk、sed等命令

7.熟练使用hadoop或其他分布式平台的一种,能使用java、python或其他语言编写mapreduce进行大数据处理优先;

8.有大型金融项目经验者优先。'

第15篇 bi数据开发工程师岗位职责

大数据bi开发工程师 【岗位职责】:

1、负责业务相关指标的梳理和计算;

2、负责数据仓库模型设计和开发;

3、负责数据仓库 etl 开发;

4、上级交办的其他任务.

【任职要求】:

1、本科及以上学历,计算机相关专业;

2、3 年以上数据仓库开发经验;

3、熟悉数据仓库理论,能够根据业务需求进行数据仓库设计开发;

4、熟悉 sql 开发并能够进行优化;

5、熟练掌握 hive 开发,熟悉 hadoop 生态相关工具者优先;

6、熟悉 shell,python 者优先考虑;

6、喜欢钻研,善于沟通,有团队合作精神。 【岗位职责】:

1、负责业务相关指标的梳理和计算;

2、负责数据仓库模型设计和开发;

3、负责数据仓库 etl 开发;

4、上级交办的其他任务.

【任职要求】:

1、本科及以上学历,计算机相关专业;

2、3 年以上数据仓库开发经验;

3、熟悉数据仓库理论,能够根据业务需求进行数据仓库设计开发;

4、熟悉 sql 开发并能够进行优化;

5、熟练掌握 hive 开发,熟悉 hadoop 生态相关工具者优先;

6、熟悉 shell,python 者优先考虑;

6、喜欢钻研,善于沟通,有团队合作精神。

第16篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述:

工作职责:

1、 根据公司数据分析需求进行基于hadoop 平台的项目开发;

2、 根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理, 监控等;

3、 负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的数据库创建、维护及提供数据接口工作;

4、 负责设计并优化基于hive 的数据仓库的建设;

5、 制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。

任职资格:

1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验 ,具备海量数据加工处理相关经验;

2. 熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;

3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;

4. 熟练掌握kettlesqoop、data_、airflow等;

5. 有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;

6. 熟悉分布式计算presto/imapa优先;

7.有实时计算方面的经验的优先。

数据开发工程师岗位职责16篇

职位描述:职位描述:1.基于hadoo生态系统进行大数据平台建设;2.负责各业务条线相关指标数据的数据建模3.负责基于sqoo,hive、sark、sarksql、mysql进行大数据开发4.负责离线运算、实时计算平台项目的设计、开发及运维5.负责对数据平台进行性能调…
推荐度:
点击下载文档文档为doc格式

相关数据开发信息

  • 数据开发工程师岗位职责16篇
  • 数据开发工程师岗位职责16篇68人关注

    职位描述:职位描述:1.基于hadoo生态系统进行大数据平台建设;2.负责各业务条线相关指标数据的数据建模3.负责基于sqoo,hive、sark、sarksql、mysql进行大数据开发4.负 ...[更多]

  • 大数据开发工程师岗位职责16篇
  • 大数据开发工程师岗位职责16篇62人关注

    职位描述:岗位职责:(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等 ...[更多]

工程岗位职责热门信息