- 目录
岗位职责是什么
数据平台岗位是企业信息化建设的核心部分,负责构建、维护和优化数据基础设施,以支持业务决策、运营分析和战略规划。这个角色不仅需要深厚的技术功底,更需要对业务流程和管理需求有深入的理解。
岗位职责要求
1. 拥有扎实的数据管理和分析技能,熟悉大数据处理技术如hadoop、spark等。
2. 精通数据库管理系统,如sql server、oracle、mysql等,并能进行高效的数据存储和查询优化。
3. 熟悉数据仓库设计和etl(提取、转换、加载)流程,能构建稳定可靠的数据流。
4. 具备良好的编程能力,熟悉python、java等语言,用于数据处理和自动化任务。
5. 掌握数据安全和隐私保护法规,确保数据合规性。
6. 具备良好的沟通技巧,能与业务团队有效协作,理解并转化业务需求为数据解决方案。
岗位职责描述
数据平台岗位的工作涉及多个层面,包括但不限于: - 设计和实施数据架构,确保数据的可用性、一致性和准确性。 - 构建和维护数据仓库,整合来自各个业务系统的数据,为分析提供统一视图。 - 开发和优化数据提取、转换和加载过程,提高数据处理效率。 - 与业务团队紧密合作,提供数据洞察,支持决策制定。 - 监控数据质量和性能,及时发现并解决数据问题。 - 实施数据安全策略,防止数据泄露,保障企业信息安全。
有哪些内容
1. 数据治理:制定和执行数据标准,确保数据质量,管理元数据,推动数据资产的规范化管理。
2. 技术选型与优化:根据业务需求,选择合适的数据处理工具和技术栈,持续优化数据平台的性能和稳定性。
3. 数据服务:提供数据接口和api,支持业务系统和分析工具的数据接入。
4. 数据报告与可视化:开发数据报表和仪表板,帮助管理层直观理解业务状况。
5. 培训与支持:指导业务用户正确使用数据平台,提升全公司的数据素养。
6. 项目管理:参与或主导数据相关的项目,确保项目按时、按质完成。
在数据驱动的时代,数据平台岗位的角色至关重要,其工作成果直接影响企业的决策效率和业务创新。这个角色需要不断适应技术发展,同时也需关注业务变革,为企业提供强有力的数据支持,驱动业务增长。
数据平台岗位职责范文
第1篇 高级实时计算研发工程师-广告数据平台职位描述与岗位职责任职要求
职位描述:
工作职责:
1.负责广告数据平台实时指标计算、归因、实验平台等业务的计算架构设计与开发;
2.负责对实时计算服务的性能进行优化;
3.负责指导其他工程师进行业务功能开发。
任职要求:
1.3年以上相关工作经验,计算机相关专业本科及以上学历;
2.具备扎实的java语言基础;
3.熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;
4.有storm/sparkstreaming/flink等数据平台的开发和使用经验;
5.对性能调优,算法效率和分布式计算的资源管理策略有较深的理解;
6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平台者优先;
7.具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力。
额外加分项:
github等开源社区贡献者。
第2篇 微信支付大数据平台开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
岗位特色:
基于海量的微信支付用户、商户、交易和行为数据,使用业界开源的主流技术栈以及我们自研的大数据技术相结合,构建金融级的大数据平台,提供金融级数据安全保障和质量保障,为数据开发者提供工业化的数据平台服务,建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制,为数据分析、智慧推荐、金融风控等业务提供数据平台支撑;
工作职责:
负责微信支付大数据基础平台相关开发工作;
负责大数据采集、计算、分析处理相关开发工作;
负责大数据治理相关开发工作,提供一站式的数据平台及工具支持。
任职要求:
本科及以上学历,计算机相关专业,3年及以上开发经验;
熟悉java、php、shell、python等至少三种开发语言;
有分布式系统、大数据服务、数据分析方面的开发经验者优先;
熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平台和组件,有相关项目经验优先;
良好的沟通表达能力,执行力力强,对待工作认真严谨、高度负责。
第3篇 大数据平台高级开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责大数据开源组件的调研
2、负责大数据平台自研平台系统及功能模块设计与开发
3、配合架构师及测试按时完成开发,保证产品正常发布与迭代
任职要求:
1、本科以上学历,计算机相关专业
2、2年以上大数据平台开发经验
3、精通java,熟悉linu_系统,深入理解并使用主流技术框架,如springboot、mybatis、mq、redis、zk、spring cloud等技术栈,具备丰富的分布式系统的研发经验
4、熟悉hadoop生态圈其他系统,包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper, strom,flink,并了解其原理
5、熟练掌握各类数据结构与算法,具有较强的编码能力
6、具有良好的团队合作精神和表达沟通能力
7、有数据中台,数据服务平台开发经验,熟悉hadoop生态圈组件者优先
第4篇 数据平台开发经理岗位职责数据平台开发经理职责任职要求
数据平台开发经理岗位职责
数据平台高级开发经理任职要求:
1、熟悉各类关系数据库,比如mysql、oracle等,有基于hadoop及相关产品(hadoop、hive、hbase、pig、sqoop、spark、storm等)的大数据平台项目应用研发经验;
2、精通企业级etl工具,如talend,informatica,kettle等。
3、熟悉企业级bi工具,如tableau,cognos,帆软等。
4、具有良好的沟通能力、问题分析与解决能力;
5、学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;
6、思维严密、逻辑清晰,且责任心强;
7、具备5年以上数据仓库系统建设经验;了解数据仓库建设过程中的挑战与问题,有作为技术负责人系统化解决问题的成功案例;
8、有主数据平台的专项建设经验,包括但不限于:数据质量、元数据管理、主数据管理、数据监控、流计算、分布式计算、分布式文件系统、分布式存储、大规模数据实时化、跨平台资源调度等;
9、了解机器学习,数据挖掘更佳。
目标企业:
大中型互联网公司、或者大中型外企、民企的数据平台架构、etl开发负责人
岗位职责:
1、参与公司数据平台总体规划,设计;
2、负责数据平台etl框架设计实施;负责etl标准制定,etl开发规范制定;
2、负责数据湖、数据仓库、数据集市各层数据抽取、清洗和管理;保障数据及时性、完整性与正确性;
4、根据产品、数据及业务需求,参与数据模型设计与数据分析挖掘等工作任职要求:
1、熟悉各类关系数据库,比如mysql、oracle等,有基于hadoop及相关产品(hadoop、hive、hbase、pig、sqoop、spark、storm等)的大数据平台项目应用研发经验;
2、精通企业级etl工具,如talend,informatica,kettle等。
3、熟悉企业级bi工具,如tableau,cognos,帆软等。
4、具有良好的沟通能力、问题分析与解决能力;
5、学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;
6、思维严密、逻辑清晰,且责任心强;
7、具备5年以上数据仓库系统建设经验;了解数据仓库建设过程中的挑战与问题,有作为技术负责人系统化解决问题的成功案例;
8、有主数据平台的专项建设经验,包括但不限于:数据质量、元数据管理、主数据管理、数据监控、流计算、分布式计算、分布式文件系统、分布式存储、大规模数据实时化、跨平台资源调度等;
9、了解机器学习,数据挖掘更佳。
目标企业:
大中型互联网公司、或者大中型外企、民企的数据平台架构、etl开发负责人
岗位职责:
1、参与公司数据平台总体规划,设计;
2、负责数据平台etl框架设计实施;负责etl标准制定,etl开发规范制定;
2、负责数据湖、数据仓库、数据集市各层数据抽取、清洗和管理;保障数据及时性、完整性与正确性;
4、根据产品、数据及业务需求,参与数据模型设计与数据分析挖掘等工作
第5篇 teg04-腾讯微校数据平台开发工程师(深圳)职位描述与岗位职责任职要求
职位描述:
工作职责:
负责腾讯微校数据平台搭建与数据分析工作;
承担大数据etl、高效计算、即时查询等数据处理分析工程开发;
bi与大数据产品架构设计与开发。
任职要求:
本科及以上学历,数学或计算机相关专业背景;
有互联网公司的从业经验,三年以上数据平台开发或数据分析工作经验;
熟练掌握 sql 语言,了解 hadoop、hbase、hive、spark、flink 等组件的工作原理;
熟悉机器学习、数据挖掘、数据分析、分布式计算至少一方面,有较深的理论研究和实践经验优先;
熟练掌握 scala/java/python 中的至少一门语言,有其他脚本语言开发经验的优先;
数据敏感,有良好的逻辑思维能力,较强的沟通能力和团队合作精神,勇于承担工作压力。
第6篇 数据平台总监职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责数据平台业务需求分析调研;
2.负责设计并构建数据平台,落实底层数据平台、存储平台和分析平台的设计和搭建工作;
3.负责数据平台运行性能、可用性、扩展性等监控与优化调控;
4.负责构建大数据服务体系,提供统一数据产品和工具体系;
5.负责指导数据平台研发成员工作,提升研发能力。
任职资格:
1.本科或以上学历,计算机相关专业,8年以上相关工作经验
2.具备多个数据平台开发经验,熟悉hadoop、spark、storm等平台
3.熟悉常用分布式系统的体系架构、通信机制和优化方法,拥有大规模分布式系统建设经验,
4.了解大数据生态,对行业和技术的发展有自己的见解,具有分布式存储、计算平台的开发、调优和运维经验
5.责任心强,具有良好的学习能力、沟通能力和团队合作精神,有一定的组织协调能力和较好的抗压能力
第7篇 数据平台架构师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责大数据平台建设,包含数据平台的技术运维维护规范定义和执行落地;
2、定义数据采集规范、数据层级规范(5层经典结构),并执行落地;
3、构建业务指标体系,建立自动化和自助的数据输出体系,提升数据输出能力;
4、实现实时数据和离线数据体系;
5、负责团队梯度建设,人才培养,人才输出和能力输出。
任职资格:
1、6年以上数据平台建设工作经验,3年以上带领团队经验-
2、精通hadoop、hive、spark、sparkstreaming、storm、kafka等技术体系,熟练使用至少一门编程语言(java、python、go、scala);
3、钻研大数据行业技术和应用前沿,日tb级数据,构建过实时数据平台系统;
4、对数据敏感,熟悉常用数据挖掘算法,并有一定实践经验;
5、强烈的好奇心和求知欲,善于深入一线业务,研究业务;
第8篇 数据平台-数据传输平台高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责公司级别的异构数据源传输平台架构设计与核心技术研发
2、参与需求调研与用户技术支持
3、追求极致,构建业内领先的异构数据源传输产品
任职要求:
1、精通java/scala语言,并发编程,jvm
2、精通数据库技术,rdbms、nosql、大数据至少精通一种
3、精通数据库日志抓取解析、message queue、etl等数据处理技术
4、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战
5、有canal运维或开发经验者优先
6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等
第9篇 数据平台-大数据开发套件服务端高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等
2、参与需求调研与用户技术支持
3、追求极致,构建业内领先的数据平台产品
任职要求:
1、精通java/scala语言,包括jvm、类装载、线程、并发、io资源管理、网络
2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战
3、精通soa架构和微服务架构
4、有 ide 开发经验者优先考虑
5、熟悉前端技术的全栈开发工程师优先
6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等
第10篇 数据平台开发工程师岗位职责
资深数据平台开发工程师(严选)-邮件事业部172 网易集团 网易(杭州)网络有限公司,杭州网易,网易,网易杭州,网易游戏,网易网络,网易集团,网易 工作职责:
1、负责离线计算平台的开发和维护工作;
2、负责hbase/tidb的开发与维护工作;
3、负责allu_io/arrow等开发与维护工作。
任职要求:
1、5年以上相关领域开发经验,熟悉java/go/c++的一种;
2、对数据库系统或分布式系统的原理和架构有较好的了解;
3、优秀的发现和解决问题能力,良好的沟通能力和团队意识。
加分项:
1、熟悉hadoop生态,参加过开源项目;
2、熟悉hive、spark、hdfs、hbase、tidb中至少一种产品的实现细节;
3、有数据库/数据治理产品的开发和运维经验。
第11篇 快驴事业部-数据系统研发(数据平台)职位描述与岗位职责任职要求
职位描述:
工作职责:
关于快驴进货:
快驴进货是美团公司在“帮大家吃得更好、生活更好”的使命驱动下,深入餐饮产业链上游,推出的一站式餐饮供应链平台。快驴进货致力于通过缩短流通环节,降低流通成本,构建专业、短链、高效的餐饮供应链;协助餐饮商户以更低成本,更高效率的方式来获取安全可靠的食材供应,让餐饮采购更简单。
快驴使命:“让餐饮采购更简单”。
岗位职责:
● 建设数据平台服务,利用数据为快驴商城创造价值;
● 优化系统架构,提高服务稳定性和性能;
● 服务治理,保证数据准确,提高开发效率;
● 及时解决线上问题;
● 指导团队新同学。
岗位要求:
● 3年以上研发工作经验,精通java、thrift、spring boot、mybatis、sql;
● 熟悉hadoop/kafka等大数据生态技术;
● 对数据敏感,有较强数据分析和解决问题能力;
● 积极沟通,工作主动,愿意尝试新的技术领域;
● 有良好编程习惯,有代码洁癖。
加分项:
● 有数据平台、数据仓库研发经验;
● 有数据挖掘、机器学习基础;
● 有团队管理经验。
岗位亮点:
● 有机会全身心地参与新零售业态,体验并掌握各个环节的核心技术要素,和团队一起对供应链、采销、仓配等行业技能进行全新的升级、再造;
● 能在急速发展的b端业务当中,从0到1地建立对b端业务和产品技术的认知,构建完整的宏观图景;
● 能和电商、o2o、物流、零售、人工智能等多元化背景的团队技术大牛一起,综合学习,共同进步。
第12篇 大数据平台高级/资深工程师/专家(基础架构方向)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与小鹏汽车技术中台的大数据云平台产品建设,包括:实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台;
2、分析系统瓶颈,处理、协调和解决基础框架中出现的技术问题;
3、大数据新技术研究和应用,并推动适合技术应用于生产;
任职要求:
1、计算机相关专业,本科或以上学历,五年以上开发工作经验,有基础架构开发经验优先;
2、熟练java、python服务端编程,有良好的编码习惯;
3、深入理解mapreduce,熟练使用storm/flink、hadoop、spark,并阅读部分源码;
4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch;
5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先;
6、熟悉docker容器及容器化技术,有kubernetes实战经验者优先;
7、对新技术有执着追求,热爱编程。善于抽象、总结、思考,能及时关注和学习业界最新技术;
8、有较强的自学能力和钻研精神,具有良好的沟通能力和团队合作能力,综合能力强。
第13篇 数据平台技术负责人职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责今日头条的通用数据平台和分析型产品,包括数据开发工具,olap查询引擎/产品等,服务于全公司的几十个用户产品线;
2、面向pb级超大规模数据问题,每天处理千亿增量的用户行为数据;
3、 负责上海团队的梯队建设和管理,提升团队技术实力。
任职要求:
1、3年以上大数据架构相关经验,熟悉以下中的多项,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情;
3、有良好的产品服务意识,有技术负责人或管理经验者优先。
第14篇 数据平台工程师岗位职责职位要求
职责描述:
1. 负责华大ilearning_平台大数据分析平台的开发及测试。
岗位要求:
1. 本科以上学历,计算机或相关专业者优先。
2. 3年以上工作经验,至少精通一门编程语言;
3. 具备数据库系统基本理论知识,精通sql语言;
4. 熟悉hadoop/hbase/spark/storm/hive,熟悉数据挖掘策略与算法;
5. 善于发现问题、解决问题,具备良好的分析和解决问题的能力,具备一定的钻研精神和持续学习的意愿,对负有挑战性的工作充满热情。
岗位要求:
学历要求:本科
语言要求:不限
年龄要求:不限
工作年限:3-4年经验
第15篇 后台开发工程师--数据平台职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责今日头条数据平台web后端开发,api实现
2、负责数据产品的功能迭代和性能优化,提高效率,优化流程
任职要求:
1、有强烈的求知欲和进取心,具有扎实的编程功底,良好的设计能力和编程习惯
2、熟练掌握python/c/c++中的一种或多种,python优先
3、对web开发和http协议有一定了解,有基本的web应用开发能力,熟悉ngin_等web server搭建,有项目经验者优先,熟悉django者优先
4、熟练掌握数据库相关知识和基础操作,至少熟练使用mysql
5、 熟悉web前端技术,对html、javascript、aja_、jquery有了解者优先
第16篇 数据平台开发工程师-核心广告系统职位描述与岗位职责任职要求
职位描述:
工作职责:
1、基于每日百亿级展现数据,搭建大数据处理平台;实现流式事件的实时计算,落地储存。对于离线数据完成数据仓库的建立,为数据挖掘提供有效的数据。
2、使用用户行为数据,广告投放数据,挖掘数据层次关系,利用机器学习算法,解决媒体、流量、充分竞价等对优化广告投放流程,
3、数据分析,挖掘,模型具体的产品化;了解广告业务能,和pm合作,基于数据驱动持续优化数据产品。
任职要求:
1、熟悉c++、java、python中的一种或多种编程技术,编程能力强,熟悉大数据处理技术,善于学习应用业界领先数据架构和技术。
2、熟悉数据挖掘算法,包括数据清洗、统计学习、分类聚类算法,并能够验证算法效果,将算法应用在广告业务中。
3、善于学习,有想要折腾的想法。有广告调优背景优先,对广告行业有自己思考的优先。
第17篇 22989-腾讯云数据平台产品中心项目经理pm职位描述与岗位职责任职要求
职位描述:
工作职责:
1、 负责腾讯云数据平台产品中心整体项目管理工作,确保项目团队各干系人协同工作,达到项目目标;
2、 负责腾讯云数据平台产品中心研发项目管理工作,对项目资源、项目节奏、项目进度、项目质量、项目风险等进行有效管理;通过组织项目需求评审、项目例会、制定并推广项目流程规范,确保项目有序推进;
3、 负责腾讯云数据平台产品中心团队氛围建设管理;
任职要求:
1. 本科及以上学历,计算机、通信或相关专业优先;
2. 至少2年以上项目管理经验,软件或it相关领域项目管理经验优先;
3. 精通项目过程管理,对敏捷项目管理有实际应用经验及深刻理解;
4. 具有较强的自驱力和执行力,极具正能量和感染力,积极推动项目团队朝目标前进;
5. 具有丰富的与人沟通、交流和组织协调能力,出色的团队合作精神;
6. 具有tob和tog沟通经验者优先;
第18篇 大数据平台技术经理岗位职责
大数据平台高级技术经理 招银 招银金融租赁有限公司,招银,招银 职责描述:
1. 负责租赁行业大数据平台架构规划、技术落地、与开发团队协同实施;
2. 负责需求调研、需求分析,编写需求分析说明书,负责项目全周期管理;
3. 组织uat测试方案制定、测试案例准备,负责测试环境搭建、以及对项目进行验收测试 。
任职要求:
1. 计算机软件或信息系统相关专业硕士以上学历;
2. 具有三年及以上大数据系统架构规划及系统建设相关的工作经验;
3. 精通大数据平台存储、计算及算法相关技术,精通机器学习相关模型与算法、或nlp或计算机图像识别等相关理论及技术,熟悉精益(敏捷)项目管理、瀑布式项目管理流程,有项目经验者优先;
4. 有强烈的技术思维及自我突破的欲望,性格外向、善于组织沟通、文字表达能力强。
第19篇 大数据平台开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
负责spark、hadoop计算平台的设计和开发工作,构建高效稳定的计算平台,为业务提供大数据分析所需的海量计算服务;
负责数据仓库、以及机器学习平台的建设。
任职要求:
计算机相关专业,本科及以上学历,2年以上大数据平台开发、运维经验;
对spark、hadoop平台计算原理有深刻理解,能够阅读spark、hadoop源码;对社区有源码贡献者优先;
熟悉spark流计算框架或其他开源实时计算框架;
有elasticsearch集群运维、开发经验者优先;
有数据仓库建设经验者优先;
数据大数据算法经验、机器学习平台建设经验者优先;
精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;
对新技术充满热情,具有良好的学习能力、团队协作能力和沟通能力;
能承受较大的工作压力。
第20篇 数据平台开发经理岗位职责
大数据开发平台经理 工作职责:
1. 构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;
2. 服务各种业务需求,服务日益增长的业务和数据量;
3. 深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题。
4. 负责管理大数据工程团队。
任职资格:
1. 计算机或相关专业本科以上学历(5年以上工作经验);
2. 精通c++/java/scala程序开发(至少一种),熟悉linu_/uni_开发环境;
3. 熟悉常用开源分布式系统,精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代码,解决问题;
4. 有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
5. 具有良好的沟通协作能力,具有较强的分享精神;
6. 对kudu、kylin、impala、elasticsearch,github等系统有深入使用和底层研究者加分。 工作职责:
1. 构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;
2. 服务各种业务需求,服务日益增长的业务和数据量;
3. 深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题。
4. 负责管理大数据工程团队。
任职资格:
1. 计算机或相关专业本科以上学历(5年以上工作经验);
2. 精通c++/java/scala程序开发(至少一种),熟悉linu_/uni_开发环境;
3. 熟悉常用开源分布式系统,精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代码,解决问题;
4. 有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
5. 具有良好的沟通协作能力,具有较强的分享精神;
6. 对kudu、kylin、impala、elasticsearch,github等系统有深入使用和底层研究者加分。