- 目录
-
第1篇 中级大数据开发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、参与公司商业智能平台的研发工作;
2、参与公司商业智能平台的升级改造工作,包括运维工作。
任职要求:
1、正规院校本科及以上学历,软件、计算机、通信、信息安全、网络工程等相关专业;
2、良好的java开发背景,熟悉spring/mybatis技术体系;
3、良好的sql功底,熟悉mysql或oracle数据库;
4、熟悉linu_;
5、了解开源pentaho产品,包括prd、mondrian、saiku、kettle等;
6、熟悉hadoop、hive、hbase、storm、spark等大数据平台;
7、沟通能力强,有较强的学习能力,有较强的责任心与良好的团队协作能力。
第2篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求
职位描述:
职位描述:
1. 基于hadoop生态系统进行大数据平台建设;
2. 负责各业务条线相关指标数据的数据建模
3. 负责基于sqoop,hive、spark、sparksql、mysql进行大数据开发
4. 负责离线运算、实时计算平台项目的设计、开发及运维
5. 负责对数据平台进行性能调优
任职要求:
1.统招本科或以上学历,6年以上大数据开发工作经验;
2.熟练掌握shell、python开发语言;
3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相关的调优、运维、开发经验;
4.熟练掌握mysql数据库集群;
5. 精通主流etl开发工具,如:informatica、data services、kettle;精通主流调度工具,如:azkaban, oozie;
6.有数据仓库、分析系统、用户画像等产品开发经验者优先;
7.有较强的数据和业务结合能力;
8.有医疗或者大健康背景优先;
9.有较强的独立、主动的学习能力,良好的沟通表达能力。
第3篇 大数据开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型的优化;
2、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型;
3、持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。
任职资格:
1、统招本科或以上学历,计算机、数据挖掘等相关专业,工作至少3年以上;
2、熟悉java开发,有脚本语言(shell,python)开发经验者优先;
3、至少熟悉一种大数据处理技术,如hadoop、spark;
4、掌握hbase、redis、elastic search等开源大数据存储技术,并能结合不同的业务场景深入使用;
5、精通sql,精通mysql、oracle、sql server等一种大型数据库,以及数据库的维护和优化。
6、熟悉常用java web开发框架,如:spring、mybatis等;
7、熟悉多线程编程,并对java自带线程池有一定研究;
8、对解决具有挑战性的问题充满激情,具有良好的分析问题和解决问题的能力。
第4篇 大数据开发工程师/架构师职位描述与岗位职责任职要求
职位描述:
1、8年以上后端开发经验,有大数据处理经验;有实时处理工作经历并有一定解决方案者优先;
2、熟悉大数据开源技术,包含(不限于)hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/计算/存储/检索等相关技术,并有一定的hadoop生态系统运维经验;
3、至少掌握java/scala/python其中一门开发语言;
4、掌握sql,sparksql进行数据开发;较好的sql性能调优经验;
5、优秀的分析、解决问题能力,充分的数据敏感度;有一定的高性能支撑经验和故障排除能力;
6、具备强烈的工作责任感,喜欢钻研,态度乐观,团队意识强。
第5篇 大数据开发总监岗位职责大数据开发总监职责任职要求
大数据开发总监岗位职责
大数据开发总监 主要职责
1. 带领大数据团队,包括数据建设、数据质量治理、数据应用和数据产品;
2. 设计并优化公司大数据架构,包括数据建设流、数仓模型、数据集市架构;
3. 构建数据质量保障体系,包括全流程监控、预警和数据快速恢复、数据质量评估
4. 完善数据应用体系,包括数据产品构建、数据分析需求响应、数据集市
5. 数据工程架构迭代,包括实时流、权限管理、调度、应用输出等 主要职责
1. 带领大数据团队,包括数据建设、数据质量治理、数据应用和数据产品;
2. 设计并优化公司大数据架构,包括数据建设流、数仓模型、数据集市架构;
3. 构建数据质量保障体系,包括全流程监控、预警和数据快速恢复、数据质量评估
4. 完善数据应用体系,包括数据产品构建、数据分析需求响应、数据集市
5. 数据工程架构迭代,包括实时流、权限管理、调度、应用输出等
第6篇 大数据开发工程师 [数仓方向]职位描述与岗位职责任职要求
职位描述:
工作职责:
1、使用etl工具(如sqoop、kettle)进行数据加工、清洗等流程;
2、根据业务需求,进行数仓日常数据分析、数据报表开发;
3、使用hive进行数据处理,及数据模型构建;
4、具备良好的分析问题和解决问题的能力;
5、具备较强的沟通能力和逻辑表达能力,具备良好的团队合作精神和主动沟通意识;
任职要求:
1、计算机相关专业本科及以上学历;
2、熟练使用sql(mysql / oracle);
3、熟练数据库/数据仓库分层设计、宽表设计、星型模型设计等;
4、熟练etl工具、sqoop、kettle、spark等;
5、熟悉hadoop、hive、hdfs等常用大数据组件;
6、有互联网业务分布式数据仓库、cube、大数据数据分析等相关经验者加分;
第7篇 大数据开发(实时计算)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与计算框架和服务的定制和改进,为公司批处理和流式计算能力提供支撑
2、基于业务需求和应用场景,设计和实现公司大数据相关产品
3、负责设计,开发,优化数据接入、数据存储、数据计算服务框架
4、为公司所有业务线提供数据支持和服务
5、主要是为实时数仓计算提供数据支持和服务
任职要求:
1、本科以上学历,3年以上大数据开发经验,掌握数据仓库理论、模型设计方法等
2、对大数据实时数仓建设有成熟的解决方案和实践经验
3、熟悉spark,flink、storm等大型分布式平台组件
4、精通sql ,sparksql优先,熟悉java,scala、python编程
5、有较强的性能优化及问题排查、解决能力
6、具备良好的沟通能力,做事认真、仔细,有责任心,具有团队协作能力
7、对kafka消息队列中间件有过深度使用经验、对于druid、kudu、presto有过项目经验
8、对于数据采集、数据订阅有成熟的解决方案或是项目经验
第8篇 大数据开发工程师/专家(p6-p8)3职位描述与岗位职责任职要求
职位描述:
职责描述:
1.负责时空位置大数据对外接口后台和服务框架的开发和运营;
2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设;
任职要求:
1.重点大学本科以上学历,计算机及相关专业;
2.3年以上相关工作经验,精通算法与数据结构,精通c/c++编程语言;
3.精通linu_、uni_编程环境,熟悉数据库;
4.精通网络编程,有分布式系统开发经验,有大平台开发经验优先;
5.熟悉gis和时空大数据处理和管理,有相关工作经验者优先,
6.具备优秀的独立解决问题能力, 善于团队合作,沟通良好,有一定的抗压能力;
第9篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求
职位描述:
职责描述:
1、参与数据需求的沟通和模型设计;
2、负责大数据平台的数据需求开发,包括实时和批量处理;
3、负责不同数据源的接入解析落地的设计开发工作;
4、负责数据质量监控,解决数据运行和质量问题。
任职要求:
1、计算机本科以上学历,至少有3年数据开发经验;
2、精通java/scala/python,至少有3年以上开发使用经验;
3、熟悉spark,hive,flink,jstorm等大数据实时计算技术;
4、掌握hive sql,sparksql,es query dsl 等查询语言;拥有sql性能调优经验;
5、具有较强的业务理解能力,较强的责任心、团队合作能力和沟通能力;
6、有过图数据库开发或spark mllib开发经验者优先考虑。
第10篇 大数据开发工程师(数据分析、信息安全、前端开发、数据对接)职位描述与岗位职责任职要求
职位描述:
数据分析工程师:
岗位职责:
1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;
2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;
3、负责分析结果的可视化展现;
4、负责核心算法的设计与优化。
任职要求:
1、全日制本科毕业;
2、计算机或数学或软件类或统计相关专业;
3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;
4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。
web前端开发工程师:
岗位职责:
1、负责前端框架设计及组件库开发、前端开发工作统筹;
2、与后端工程师紧密配合,高效率、高质量地完成页面展现研发工作;
3、负责对产品页面性能的优化和维护;
4、负责数据可视化图表显示。
任职要求:
1、本科及以上学历,专业不限。3年以上前端开发经验;
2、精通html5/css3、_html/_ml,熟悉页面架构和布局,对表现与数据分离、web语义化等有深刻理解;
3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验;
4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack;
5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。
信息安全架构工程师:
岗位职责:
1、 规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;
2、 对上线前的软件或者车上产品进行安全方面验证及测试;
3、 跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;
4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。
任职要求:
1、本科以上学历,信息安全,计算机,通信等相关专业;
2、 拥有网络安全专业技能,熟悉车载网络架构,模块及协议;
3、 熟悉常见网络/车辆安全漏洞,掌握漏洞原理以及解决方案具备独立开展渗透工作的能力;
4、 熟悉常见黑客攻击手法,具备对黑客行为的入侵检测能力;
5、 精通安全测试框架,理解网络,应用,数据等不同层面的安全。
数据对接工程师:
岗位职责:
1、负责内部系统的对接工作;
2、第三方平台的数据对接及程序维护;
3、负责各车型的数据采集要求整理及规划;
4、熟悉数据结构和常用算法,有良好的代码规范,能对接入数据/系统提出优化方案。
任职要求:
1、 本科以上学历,信息化项目,计算机,无线传输等相关专业;
2、拥有信息化相关技能,熟悉系统间的交互对接流程;
3、熟悉数据库的管理及查询、同步工作;
4、熟悉信息对接的方式,能用api、视图等进行对接工作。
第11篇 大数据开发工程师(p7-p8)3职位描述与岗位职责任职要求
职位描述:
岗位职责:
分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发;
参与项目的架构设计、评审、技术攻坚及优化;
参与系统文档的撰写、维护。
任职要求:
本科以上学历,计算机或相关专业;
3年以上linu_后台开发经验,有大规模系统开发经验;
精通http、tcp/ip协议,网络编程;
熟悉linu_操作系统原理,常用工具;
熟悉常用大数据开源组件;
有高并发、大容量后台服务系统设计经验;
具有良好的学习能力、沟通能力、团队合作意识;
强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;
对hadoop、flink、spark、lucene等开源项目有大规模应用经验,contributor或者committer优先。
第12篇 大数据开发leader职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、负责整体大数据平台体系的建设工作。
2、负责带领团队完成基于大数据平台的业务项目的开发、实施和维护工作。
3、负责解决大数据平台建设过程中的技术难点和性能调优工作。
4、负责指导和培训团队成员,共同提升大数据技能。
任职要求:
1、计算机相关专业,至少5年以上大数据开发经验;
2、熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,,有从无到有建设大数据平台经验者优先;
3、熟悉大数据生态圈技术,不限于hadoop、hdfs、hive、hbase、spark、storm、flume、sqoop、kylin等,阅读过底层源码者优先;
4、熟悉至少一种编程语言,python,java,scala等,精通sql;
5、2年以上技术团队管理经验,有阿里,百度,腾讯,滴滴,美团等互联网大数据工作经验者优先;
6、逻辑思维清晰,具备高度的责任感和良好的沟通协调能力,遇事积极主动。
第13篇 大数据开发(高级/资深)工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、基于海量数据,支持业务对数据的分析和使用:
2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。
任职要求:
1、有扎实的编程能力,有优秀的设计和代码品位,对解决具有挑战性问题充满激情;
2、对大数据处理有丰富的经验和广阔的视野;
3、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景;
4、优秀的沟通理解能力,能快速理解业务,用数据解读业务;
5、推荐或机器学习相关的开发工作优先。
第14篇 大数据开发工程师(渠道团队)职位描述与岗位职责任职要求
职位描述:
职责描述:
1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;
2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;
3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;
任职要求:
1.计算机相关专业本科及以上学历,5年以上大数据工作经验,有扎实的计算机理论基础;
2.熟练使用mapreduce、spark提供的api编程,具备海量数据加工处理(etl)相关经验;
3.熟练使用大数据的工具平台,熟悉hadoop生态环境,对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解;
4.掌握数据分析的基本流程,具备数据采集、清洗、分析等环节的实战经验;可以进行数据产品etl需求的调研及开发;
5.熟悉etl任务调度及管理;
6.熟悉shell命令,进行简单的shell编程;熟悉linu_文本处理命令,vi、awk、sed等命令
7.熟练使用hadoop或其他分布式平台的一种,能使用java、python或其他语言编写mapreduce进行大数据处理优先;
8.有大型金融项目经验者优先。'
第15篇 大数据开发经理职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与大数据平台、工具平台的架构、设计以及实现;
2、参与对项目的开发需求进行评审,制定项目的设计文档、开发计划文档等;
3、负责公司各类数据产品数据抽取、清洗,以及数据算法与存储的设计和优化;
4、优化大数据平台的性能,提高稳定性;
5、负责大数据平台的组件升级与参数优化。
岗位要求:
1、本科及以上学历,3年以上相关技术背景,具备扎实的数据结构和算法基础,扎实的工程实现能力;
2、熟悉hadoop大数据相关技术体系,包括但不限于hbase、hdfs、storm、kafka、spark、hive、flume等;
3、精通java或python,能熟练编写规范代码,有较强的数据库及sql开发调优能力;
4、熟悉自然语言处理/机器学习/数据挖掘领域,熟悉常用的机器学习算法优先考虑;
5、有大规模数据收集,日志处理经验,有电商数据分析背景优先考虑;
6、深入研究过大数据框架的运行机制、实现原理、源码者优先考虑。