欢迎光临管理者范文网
当前位置:管理者范文网 > 安全管理 > 安全管理 > 任职要求

大数据开发工程师任职要求15篇

更新时间:2024-11-20 查看人数:24
  • 目录

大数据开发工程师任职要求

第1篇 大数据开发工程师(p7-p8)3职位描述与岗位职责任职要求

职位描述:

岗位职责:

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发;

参与项目的架构设计、评审、技术攻坚及优化;

参与系统文档的撰写、维护。

任职要求:

本科以上学历,计算机或相关专业;

3年以上linu_后台开发经验,有大规模系统开发经验;

精通http、tcp/ip协议,网络编程;

熟悉linu_操作系统原理,常用工具;

熟悉常用大数据开源组件;

有高并发、大容量后台服务系统设计经验;

具有良好的学习能力、沟通能力、团队合作意识;

强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;

对hadoop、flink、spark、lucene等开源项目有大规模应用经验,contributor或者committer优先。

第2篇 大数据开发工程师(数据分析、信息安全、前端开发、数据对接)职位描述与岗位职责任职要求

职位描述:

数据分析工程师:

岗位职责:

1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;

2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;

3、负责分析结果的可视化展现;

4、负责核心算法的设计与优化。

任职要求:

1、全日制本科毕业;

2、计算机或数学或软件类或统计相关专业;

3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;

4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。

web前端开发工程师:

岗位职责:

1、负责前端框架设计及组件库开发、前端开发工作统筹;

2、与后端工程师紧密配合,高效率、高质量地完成页面展现研发工作;

3、负责对产品页面性能的优化和维护;

4、负责数据可视化图表显示。

任职要求:

1、本科及以上学历,专业不限。3年以上前端开发经验;

2、精通html5/css3、_html/_ml,熟悉页面架构和布局,对表现与数据分离、web语义化等有深刻理解;

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验;

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师:

岗位职责:

1、 规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;

2、 对上线前的软件或者车上产品进行安全方面验证及测试;

3、 跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求:

1、本科以上学历,信息安全,计算机,通信等相关专业;

2、 拥有网络安全专业技能,熟悉车载网络架构,模块及协议;

3、 熟悉常见网络/车辆安全漏洞,掌握漏洞原理以及解决方案具备独立开展渗透工作的能力;

4、 熟悉常见黑客攻击手法,具备对黑客行为的入侵检测能力;

5、 精通安全测试框架,理解网络,应用,数据等不同层面的安全。

数据对接工程师:

岗位职责:

1、负责内部系统的对接工作;

2、第三方平台的数据对接及程序维护;

3、负责各车型的数据采集要求整理及规划;

4、熟悉数据结构和常用算法,有良好的代码规范,能对接入数据/系统提出优化方案。

任职要求:

1、 本科以上学历,信息化项目,计算机,无线传输等相关专业;

2、拥有信息化相关技能,熟悉系统间的交互对接流程;

3、熟悉数据库的管理及查询、同步工作;

4、熟悉信息对接的方式,能用api、视图等进行对接工作。

第3篇 大数据开发工程师(驻场开发)职位描述与岗位职责任职要求

职位描述:

岗位职责:

(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;

(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等数据加工流程,并沉淀文档;

(3)持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。

(4)此岗位需驻场开发半年左右(地点:新疆)

任职资格:

(1)统招本科或以上学历,计算机、数学等相关专业,工作至少3年以上;

(2)熟悉java/scala开发,有脚本语言(shell,python)开发经验者优先;

(3)至少熟悉一种大数据处理栈技术,如hadoop、spark; 熟悉流计算应用开发,如spark streaming, flink;熟练掌握大数据生态各个工具的原理及使用,如hive, sqoop, kafka等

(4)掌握hbase、redis、elastic search等开源大数据存储技术,并能结合不同的业务场景深入使用;

(5)熟悉storm,spark streaming,flink,beam至少一种

(6)熟悉kafka,redis,es等相关组件

(7)对解决具有挑战性的数据问题充满激情,具有良好的分析问题和解决问题的能力,能够胜任部分数据分析,挖掘,建模工作。

第4篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职位描述:

1. 基于hadoop生态系统进行大数据平台建设;

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop,hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求:

1.统招本科或以上学历,6年以上大数据开发工作经验;

2.熟练掌握shell、python开发语言;

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相关的调优、运维、开发经验;

4.熟练掌握mysql数据库集群;

5. 精通主流etl开发工具,如:informatica、data services、kettle;精通主流调度工具,如:azkaban, oozie;

6.有数据仓库、分析系统、用户画像等产品开发经验者优先;

7.有较强的数据和业务结合能力;

8.有医疗或者大健康背景优先;

9.有较强的独立、主动的学习能力,良好的沟通表达能力。

第5篇 java大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1. 精通java开发、熟悉restful和maven,精通主流java web开发框架spring、spring boot、spring data jpa、logback、mybatis;

2.熟悉对常用关系型数据库和hdfs、hive,kafka、storm等读写操作,性能优化;

3. 具备系统架构设计能力,具备较强的java程序调优能力及数据库设计和sql调优能力,具备良好的沟通能力;

4. 熟悉多线程编程、熟悉junit单元测试;

第6篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等

2. 根据业务用户需要分析数据,提供数据支持

3. 参与公司大数据产品的运维和监控,保障数据质量和服务稳定性

任职要求:

1. 具备本科以上学历, 计算机, 软件以及相关专业, 5年以上大数据开发经验

2. 熟悉数据仓库维度建模, 并能根据客户需求进行数据开发, 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java, 对hadoop相关的技术和组件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第7篇 大数据开发工程师(渠道团队)职位描述与岗位职责任职要求

职位描述:

职责描述:

1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;

2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;

3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;

任职要求:

1.计算机相关专业本科及以上学历,5年以上大数据工作经验,有扎实的计算机理论基础;

2.熟练使用mapreduce、spark提供的api编程,具备海量数据加工处理(etl)相关经验;

3.熟练使用大数据的工具平台,熟悉hadoop生态环境,对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解;

4.掌握数据分析的基本流程,具备数据采集、清洗、分析等环节的实战经验;可以进行数据产品etl需求的调研及开发;

5.熟悉etl任务调度及管理;

6.熟悉shell命令,进行简单的shell编程;熟悉linu_文本处理命令,vi、awk、sed等命令

7.熟练使用hadoop或其他分布式平台的一种,能使用java、python或其他语言编写mapreduce进行大数据处理优先;

8.有大型金融项目经验者优先。'

第8篇 大数据开发工程师(面向2020年毕业生)职位描述与岗位职责任职要求

职位描述:

此岗位面向2020年毕业生,坐标深圳南山科技园,实习期薪资为3.5-4.5k;要求在公司全职实习半年以上,实习满3个月且评审通过后可签订三方协议,实习满6个月且评审通过后签订劳动合同,无试用期。

岗位职责:

1、从事大数据分布式存储/应用服务的设计和开发,挑战大规模、高并发、易运维的分布式系统设计构建;

2、参与负责大数据运营/风控/分析等数据应用产品开发迭代,包括需求讨论需求/系统/算法的讨论、设计及实现;

3、定位和解决集群组件如spark、hive、hbase、kafka的性能和高可用问题,协助集群监控系统的开发。

任职要求:

1、2020年统招本科及以上学历,计科类相关专业;

2、良好的计算机基础;了解面向对象和设计模式,了解 spring , mybatis 等常用框架,数据库基础扎实;

3、对技术有强烈的兴趣,喜欢钻研,具有良好的学习能力、沟通和团队合作能力。

加分项:

1、熟悉python、ruby等语言;

2、熟练掌握常见linu_ shell命令;

3、喜欢在mac/linu_下进行开发;

4、有代码洁癖,看到代码中的坏味道有浑身不自在的感觉;

5、自我驱动、喜欢coding。

第9篇 大数据开发工程师/专家(p6-p8)3职位描述与岗位职责任职要求

职位描述:

职责描述:

1.负责时空位置大数据对外接口后台和服务框架的开发和运营;

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设;

任职要求:

1.重点大学本科以上学历,计算机及相关专业;

2.3年以上相关工作经验,精通算法与数据结构,精通c/c++编程语言;

3.精通linu_、uni_编程环境,熟悉数据库;

4.精通网络编程,有分布式系统开发经验,有大平台开发经验优先;

5.熟悉gis和时空大数据处理和管理,有相关工作经验者优先,

6.具备优秀的独立解决问题能力, 善于团队合作,沟通良好,有一定的抗压能力;

第10篇 阿里健康-合资公司-大数据开发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、负责公司数据平台项目的etl设计、实现以及优化。

2、负责etl流程优化,关键问题解决;

3、研究医院信息化数据,负责数据建模、数据存储设计;

4、使用etl技术对医院信息系统数据进行提取、清洗、转换和整合;

5、负责基于hadoop/spark生态的大数据离线/实时处理平台开发;

6、负责基于阿里云的ma_compute的大数据离线处理平台开发;

7、负责数据源调研、入库、开发的全流程工作,并保证数据质量;

岗位要求:

1、有2年以上医疗行业数据建模经验;了解数据建模方法论,并且在项目中实践甚至优化扩展;有大型项目建模经验优先;对数据模型有独到理解;

2、熟悉大数据平台,了解hadoop、hive、hbase,有大型数据中心运维经验或实施经验者优先;

3、2年以上医院业务信息化实施开发经历优先 ;有his、emr开发经验优先;

4、有数据仓库etl经验,对调度、元数据、数据质量等有一定理解;

5、有良好的逻辑思维能力,主动思考,善于学习,与团队沟通无障碍;

6、熟悉java,python,shell,scala等任一种开发语言;

7、拥有良好的沟通、表达能力,工作认真负责,学习能力强,执行力强,乐于接受挑战并具备较好的承压能力;

第11篇 大数据开发工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型的优化;

2、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型;

3、持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。

任职资格:

1、统招本科或以上学历,计算机、数据挖掘等相关专业,工作至少3年以上;

2、熟悉java开发,有脚本语言(shell,python)开发经验者优先;

3、至少熟悉一种大数据处理技术,如hadoop、spark;

4、掌握hbase、redis、elastic search等开源大数据存储技术,并能结合不同的业务场景深入使用;

5、精通sql,精通mysql、oracle、sql server等一种大型数据库,以及数据库的维护和优化。

6、熟悉常用java web开发框架,如:spring、mybatis等;

7、熟悉多线程编程,并对java自带线程池有一定研究;

8、对解决具有挑战性的问题充满激情,具有良好的分析问题和解决问题的能力。

第12篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求

职位描述:

职责描述:

1、参与数据需求的沟通和模型设计;

2、负责大数据平台的数据需求开发,包括实时和批量处理;

3、负责不同数据源的接入解析落地的设计开发工作;

4、负责数据质量监控,解决数据运行和质量问题。

任职要求:

1、计算机本科以上学历,至少有3年数据开发经验;

2、精通java/scala/python,至少有3年以上开发使用经验;

3、熟悉spark,hive,flink,jstorm等大数据实时计算技术;

4、掌握hive sql,sparksql,es query dsl 等查询语言;拥有sql性能调优经验;

5、具有较强的业务理解能力,较强的责任心、团队合作能力和沟通能力;

6、有过图数据库开发或spark mllib开发经验者优先考虑。

第13篇 大数据开发工程师 [数仓方向]职位描述与岗位职责任职要求

职位描述:

工作职责:

1、使用etl工具(如sqoop、kettle)进行数据加工、清洗等流程;

2、根据业务需求,进行数仓日常数据分析、数据报表开发;

3、使用hive进行数据处理,及数据模型构建;

4、具备良好的分析问题和解决问题的能力;

5、具备较强的沟通能力和逻辑表达能力,具备良好的团队合作精神和主动沟通意识;

任职要求:

1、计算机相关专业本科及以上学历;

2、熟练使用sql(mysql / oracle);

3、熟练数据库/数据仓库分层设计、宽表设计、星型模型设计等;

4、熟练etl工具、sqoop、kettle、spark等;

5、熟悉hadoop、hive、hdfs等常用大数据组件;

6、有互联网业务分布式数据仓库、cube、大数据数据分析等相关经验者加分;

第14篇 大数据开发工程师(数仓方向)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 理解业务需求,负责数据仓库建设、etl流程的开发和优化工作;

2. 解决业务数据分析、数据报表、数据异常相关的技术问题;

3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析;

任职资格:

1. 计算机相关专业本科及以上学历;

2. 精通java编程语言,并熟悉scala、python、shell等一门以上脚本语言;

3. 熟悉hadoop大数据平台架构,熟悉spark/spark sql/yarn开发调优技术,具有相关项目经验

4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论,熟悉oracle/mysql数据库;

5. 思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;

6. 具有高度的责任感,工作认真、踏实。

福利待遇:

1、薪酬:有竞争力的薪酬体系,我们不止跟你谈理想,钱也必须谈一谈~

2、交通:无论天涯,免费班车直达公司,蓦然回首,地铁就在公司不远处。。。

3、工作时间:5天7小时工作制,充足的休息让你一整天元气满满!

4、各种福利:五险一金小case,节日礼物福利补贴说不完!

5、团建活动:下午茶,团队活动,部门聚餐,经费充足不差钱,大公司就是这么壕!

6、发展平台:想要升职加薪走向人生巅峰?上市公司晋升发展机会多多~

第15篇 大数据开发工程师-spark职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 参与公司大数据产品规划,大数据处理分析平台的设计;

2. 负责数据分析、加工、清理、处理程序的开发;

3. 负责数据相关平台的搭建、维护和优化。

4. 负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;

职位要求:

1. 熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;

2. 熟练使用hadoop、hbase、kafka、hive、spark、presto,熟悉底层框架和实现原理;

3. 使用spark streaming和spark sql进行数据处理, 并具有spark sql优化经验;

4. 熟悉mysql数据库性能优化方法, 了解常见no-sql数据库;

5. 有大规模hbase集群运维经验或对hbase存储原理熟悉者优先;

6. 有数据挖掘、数据分析、机器学习研发实践经验者优先。

有机会接触千亿级海量数据的离线和实时的数据处理,涉及java,spark,hive,spark streaming,hbase,elasticsearch,flink等大数据的前沿技术和多云的统一架构。

大数据开发工程师任职要求15篇

职位描述:工作职责:1、使用etl工具(如sqoo、kettle)进行数据加工、清洗等流程;2、根据业务需求,进行数仓日常数据分析、数据报表开发;3、使用hive进行数据处理,及数据模型构建;4、具备良好的分析问题和解决问题的能力;5、具备较强的沟通能力和逻辑表达能力,具备良好的团队…
推荐度:
点击下载文档文档为doc格式

相关大数据开发工程师信息

  • 大数据开发工程师任职要求15篇
  • 大数据开发工程师任职要求15篇24人关注

    职位描述:工作职责:1、使用etl工具(如sqoo、kettle)进行数据加工、清洗等流程;2、根据业务需求,进行数仓日常数据分析、数据报表开发;3、使用hive进行数据处理,及数据模型 ...[更多]

相关专题

任职要求热门信息