欢迎光临管理者范文网
当前位置:管理者范文网 > 安全管理 > 岗位职责 > 工程岗位职责

大数据开发工程师岗位职责16篇

更新时间:2024-11-20 查看人数:62
  • 目录

大数据开发工程师岗位职责

第1篇 大数据开发工程师/专家(p6-p8)3职位描述与岗位职责任职要求

职位描述:

职责描述:

1.负责时空位置大数据对外接口后台和服务框架的开发和运营;

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设;

任职要求:

1.重点大学本科以上学历,计算机及相关专业;

2.3年以上相关工作经验,精通算法与数据结构,精通c/c++编程语言;

3.精通linu_、uni_编程环境,熟悉数据库;

4.精通网络编程,有分布式系统开发经验,有大平台开发经验优先;

5.熟悉gis和时空大数据处理和管理,有相关工作经验者优先,

6.具备优秀的独立解决问题能力, 善于团队合作,沟通良好,有一定的抗压能力;

第2篇 大数据开发工程师(数据分析、信息安全、前端开发、数据对接)职位描述与岗位职责任职要求

职位描述:

数据分析工程师:

岗位职责:

1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;

2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;

3、负责分析结果的可视化展现;

4、负责核心算法的设计与优化。

任职要求:

1、全日制本科毕业;

2、计算机或数学或软件类或统计相关专业;

3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;

4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。

web前端开发工程师:

岗位职责:

1、负责前端框架设计及组件库开发、前端开发工作统筹;

2、与后端工程师紧密配合,高效率、高质量地完成页面展现研发工作;

3、负责对产品页面性能的优化和维护;

4、负责数据可视化图表显示。

任职要求:

1、本科及以上学历,专业不限。3年以上前端开发经验;

2、精通html5/css3、_html/_ml,熟悉页面架构和布局,对表现与数据分离、web语义化等有深刻理解;

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验;

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack;

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师:

岗位职责:

1、 规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;

2、 对上线前的软件或者车上产品进行安全方面验证及测试;

3、 跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求:

1、本科以上学历,信息安全,计算机,通信等相关专业;

2、 拥有网络安全专业技能,熟悉车载网络架构,模块及协议;

3、 熟悉常见网络/车辆安全漏洞,掌握漏洞原理以及解决方案具备独立开展渗透工作的能力;

4、 熟悉常见黑客攻击手法,具备对黑客行为的入侵检测能力;

5、 精通安全测试框架,理解网络,应用,数据等不同层面的安全。

数据对接工程师:

岗位职责:

1、负责内部系统的对接工作;

2、第三方平台的数据对接及程序维护;

3、负责各车型的数据采集要求整理及规划;

4、熟悉数据结构和常用算法,有良好的代码规范,能对接入数据/系统提出优化方案。

任职要求:

1、 本科以上学历,信息化项目,计算机,无线传输等相关专业;

2、拥有信息化相关技能,熟悉系统间的交互对接流程;

3、熟悉数据库的管理及查询、同步工作;

4、熟悉信息对接的方式,能用api、视图等进行对接工作。

第3篇 java大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1. 精通java开发、熟悉restful和maven,精通主流java web开发框架spring、spring boot、spring data jpa、logback、mybatis;

2.熟悉对常用关系型数据库和hdfs、hive,kafka、storm等读写操作,性能优化;

3. 具备系统架构设计能力,具备较强的java程序调优能力及数据库设计和sql调优能力,具备良好的沟通能力;

4. 熟悉多线程编程、熟悉junit单元测试;

第4篇 中级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1、参与公司商业智能平台的研发工作;

2、参与公司商业智能平台的升级改造工作,包括运维工作。

任职要求:

1、正规院校本科及以上学历,软件、计算机、通信、信息安全、网络工程等相关专业;

2、良好的java开发背景,熟悉spring/mybatis技术体系;

3、良好的sql功底,熟悉mysql或oracle数据库;

4、熟悉linu_;

5、了解开源pentaho产品,包括prd、mondrian、saiku、kettle等;

6、熟悉hadoop、hive、hbase、storm、spark等大数据平台;

7、沟通能力强,有较强的学习能力,有较强的责任心与良好的团队协作能力。

第5篇 大数据开发工程师(渠道团队)职位描述与岗位职责任职要求

职位描述:

职责描述:

1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;

2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;

3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;

任职要求:

1.计算机相关专业本科及以上学历,5年以上大数据工作经验,有扎实的计算机理论基础;

2.熟练使用mapreduce、spark提供的api编程,具备海量数据加工处理(etl)相关经验;

3.熟练使用大数据的工具平台,熟悉hadoop生态环境,对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解;

4.掌握数据分析的基本流程,具备数据采集、清洗、分析等环节的实战经验;可以进行数据产品etl需求的调研及开发;

5.熟悉etl任务调度及管理;

6.熟悉shell命令,进行简单的shell编程;熟悉linu_文本处理命令,vi、awk、sed等命令

7.熟练使用hadoop或其他分布式平台的一种,能使用java、python或其他语言编写mapreduce进行大数据处理优先;

8.有大型金融项目经验者优先。'

第6篇 大数据开发工程师(面向2020年毕业生)职位描述与岗位职责任职要求

职位描述:

此岗位面向2020年毕业生,坐标深圳南山科技园,实习期薪资为3.5-4.5k;要求在公司全职实习半年以上,实习满3个月且评审通过后可签订三方协议,实习满6个月且评审通过后签订劳动合同,无试用期。

岗位职责:

1、从事大数据分布式存储/应用服务的设计和开发,挑战大规模、高并发、易运维的分布式系统设计构建;

2、参与负责大数据运营/风控/分析等数据应用产品开发迭代,包括需求讨论需求/系统/算法的讨论、设计及实现;

3、定位和解决集群组件如spark、hive、hbase、kafka的性能和高可用问题,协助集群监控系统的开发。

任职要求:

1、2020年统招本科及以上学历,计科类相关专业;

2、良好的计算机基础;了解面向对象和设计模式,了解 spring , mybatis 等常用框架,数据库基础扎实;

3、对技术有强烈的兴趣,喜欢钻研,具有良好的学习能力、沟通和团队合作能力。

加分项:

1、熟悉python、ruby等语言;

2、熟练掌握常见linu_ shell命令;

3、喜欢在mac/linu_下进行开发;

4、有代码洁癖,看到代码中的坏味道有浑身不自在的感觉;

5、自我驱动、喜欢coding。

第7篇 大数据开发工程师(杭州)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1.参与大数据精准学平台设计与研发,在大数据采集、存储、分析及应用领域都会有所涉及。

2.参与需求分析、系统架构设计、并完成需求设计相应文档的编写。

3.参与核心代码实现、系统性能优化。

4.保质保量地完成项目组分配的开发任务。

5.协助项目经理进行技术支持工作,共同解决产品研发过程遇到的技术难题。

任职要求:

1. 具备3年及以上大数据系统开发经验,计算机相关专业本科及以上学历;

2. 有实时流处理经验,掌握flink、storm等实时处理框架;

3. 熟悉并会使用spark mllib、机器学习、自然语言处理等相关技术和算法;

4. 具有hadoop/spark,以及kafka、flume、hbase、hive、zookeeper等大数据生态圈实际开发经验。深入了解hadoop/spark生态圈产品的工作原理及应用场景;

5. 具备较强的数据分析,问题分析,逻辑思维能力,良好的沟通,团队协作能力。

第8篇 java大数据开发高级工程师岗位职责职位要求

职责描述:

岗位要求:

1、计算机或相关专业本科以上学历,3年以上专业java开发经验,有过大型项目经验优先;

2、精通 jdbc、jsp / ibatis /spring/ struts2等java主流技术;

3、熟悉web容器及主流开源框架,熟悉http的基本工作原理;

4、熟悉io、多线程、集合类等基础框架,熟悉缓存、消息、搜索等机制;

5、熟悉linu_操作系统,熟悉mysql数据库;,精通sql语言;

6、有大型项目架构设计开发和数据库优化经验优先;

7、具有良好的团队协作精神,较强的沟通能力,具备良好的问题定位分析能力和新兴技术学习能力。

岗位职责:

1.负责研发公司自主呼叫中心产品;

2.协助实施部门定位跟踪产品问题;

3.客户化项目定制开发

岗位要求:

学历要求:大专

语言要求:不限

年龄要求:不限

工作年限:3-5年

第9篇 大数据开发工程师岗位职责职位要求

职责描述:

岗位职责:

1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求,如风险评估、成长评价等,包括对模型进行设计、开发、验证、测试、部署及监控、优化。。

2、基于海量用户数据和特征,进行数据质量检查、特征加工、数据清洗等,建立数据挖掘模型。

3、评估数据源的质量和价值,能结合业务需求和场景,从各种数据维度中挖掘数据价值,并设计不同的模型,应用于不同的业务场景中。

职位要求:

1. 计算机、统计学相关背景,熟悉常用各类机器学习算法的原理(如逻辑回归、决策树、svm、神经网络、随机森林、深度学习等);

2.熟练使用sas、r、python等至少一种分析工具;

3.熟悉大数据分析平台和工具,如hive,hadoop, spark等优先;

4.有较强的逻辑思维能力、优秀的沟通表达能力及团队合作能力。

岗位要求:

学历要求:本科

语言要求:不限

年龄要求:不限

工作年限:5-7年经验

第10篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等

2. 根据业务用户需要分析数据,提供数据支持

3. 参与公司大数据产品的运维和监控,保障数据质量和服务稳定性

任职要求:

1. 具备本科以上学历, 计算机, 软件以及相关专业, 5年以上大数据开发经验

2. 熟悉数据仓库维度建模, 并能根据客户需求进行数据开发, 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java, 对hadoop相关的技术和组件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第11篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职位描述:

1. 基于hadoop生态系统进行大数据平台建设;

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop,hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求:

1.统招本科或以上学历,6年以上大数据开发工作经验;

2.熟练掌握shell、python开发语言;

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相关的调优、运维、开发经验;

4.熟练掌握mysql数据库集群;

5. 精通主流etl开发工具,如:informatica、data services、kettle;精通主流调度工具,如:azkaban, oozie;

6.有数据仓库、分析系统、用户画像等产品开发经验者优先;

7.有较强的数据和业务结合能力;

8.有医疗或者大健康背景优先;

9.有较强的独立、主动的学习能力,良好的沟通表达能力。

第12篇 数据平台-大数据开发套件服务端高级工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等

2、参与需求调研与用户技术支持

3、追求极致,构建业内领先的数据平台产品

任职要求:

1、精通java/scala语言,包括jvm、类装载、线程、并发、io资源管理、网络

2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战

3、精通soa架构和微服务架构

4、有 ide 开发经验者优先考虑

5、熟悉前端技术的全栈开发工程师优先

6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等

第13篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求

职位描述:

职责描述:

1、参与数据需求的沟通和模型设计;

2、负责大数据平台的数据需求开发,包括实时和批量处理;

3、负责不同数据源的接入解析落地的设计开发工作;

4、负责数据质量监控,解决数据运行和质量问题。

任职要求:

1、计算机本科以上学历,至少有3年数据开发经验;

2、精通java/scala/python,至少有3年以上开发使用经验;

3、熟悉spark,hive,flink,jstorm等大数据实时计算技术;

4、掌握hive sql,sparksql,es query dsl 等查询语言;拥有sql性能调优经验;

5、具有较强的业务理解能力,较强的责任心、团队合作能力和沟通能力;

6、有过图数据库开发或spark mllib开发经验者优先考虑。

第14篇 大数据开发工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型的优化;

2、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型;

3、持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。

任职资格:

1、统招本科或以上学历,计算机、数据挖掘等相关专业,工作至少3年以上;

2、熟悉java开发,有脚本语言(shell,python)开发经验者优先;

3、至少熟悉一种大数据处理技术,如hadoop、spark;

4、掌握hbase、redis、elastic search等开源大数据存储技术,并能结合不同的业务场景深入使用;

5、精通sql,精通mysql、oracle、sql server等一种大型数据库,以及数据库的维护和优化。

6、熟悉常用java web开发框架,如:spring、mybatis等;

7、熟悉多线程编程,并对java自带线程池有一定研究;

8、对解决具有挑战性的问题充满激情,具有良好的分析问题和解决问题的能力。

第15篇 大数据开发工程师(驻场开发)职位描述与岗位职责任职要求

职位描述:

岗位职责:

(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;

(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等数据加工流程,并沉淀文档;

(3)持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。

(4)此岗位需驻场开发半年左右(地点:新疆)

任职资格:

(1)统招本科或以上学历,计算机、数学等相关专业,工作至少3年以上;

(2)熟悉java/scala开发,有脚本语言(shell,python)开发经验者优先;

(3)至少熟悉一种大数据处理栈技术,如hadoop、spark; 熟悉流计算应用开发,如spark streaming, flink;熟练掌握大数据生态各个工具的原理及使用,如hive, sqoop, kafka等

(4)掌握hbase、redis、elastic search等开源大数据存储技术,并能结合不同的业务场景深入使用;

(5)熟悉storm,spark streaming,flink,beam至少一种

(6)熟悉kafka,redis,es等相关组件

(7)对解决具有挑战性的数据问题充满激情,具有良好的分析问题和解决问题的能力,能够胜任部分数据分析,挖掘,建模工作。

第16篇 大数据开发工程师(p7-p8)3职位描述与岗位职责任职要求

职位描述:

岗位职责:

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发;

参与项目的架构设计、评审、技术攻坚及优化;

参与系统文档的撰写、维护。

任职要求:

本科以上学历,计算机或相关专业;

3年以上linu_后台开发经验,有大规模系统开发经验;

精通http、tcp/ip协议,网络编程;

熟悉linu_操作系统原理,常用工具;

熟悉常用大数据开源组件;

有高并发、大容量后台服务系统设计经验;

具有良好的学习能力、沟通能力、团队合作意识;

强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;

对hadoop、flink、spark、lucene等开源项目有大规模应用经验,contributor或者committer优先。

大数据开发工程师岗位职责16篇

职位描述:岗位职责:(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等数据加工流程,并沉淀文档;(3)持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。(4)此岗位需驻场开发半年左…
推荐度:
点击下载文档文档为doc格式

相关大数据开发信息

  • 大数据开发工程师岗位职责16篇
  • 大数据开发工程师岗位职责16篇62人关注

    职位描述:岗位职责:(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等 ...[更多]

大数据开发岗位职责专题

工程岗位职责热门信息