- 目录
-
第1篇 大数据行业专家职位描述与岗位职责任职要求
职位描述:
职责描述:
负责部门团队人员规划、能力建设、业务发展方向引导
任职要求:
1、熟悉大数据发展方向、主流技术及市场现状,深入理解行业客户诉求
2、5年以上相关工作经验,具备行业属性,在金融、公共安全、医疗等领域有一定探索
3、有团队管理经验,能保障团队整体能力提升
4、符合公司价值观,品德端正,积极进取,勇于担当,善于学习,追求卓越,心理韧性强
5、具备较强的创新、沟通影响能力、组织协调能力,同时有良好的评估探究问题、人际关系构建能力
第2篇 大数据计算引擎高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、研发业界领先的大数据计算引擎,服务于今日头条全公司的数十个用户产品线;
2、面向超大规模数据问题,每天千亿增量的用户行为数据,秒级处理pb级别的数据计算;
3、善于理解和抽象业务问题,支撑多样的海量数据分析场景。
任职要求:
1、强悍的系统设计&编码能力,追求优雅的设计和优秀的代码质量,高标准,快速行动;
2、对hive/kylin/presto/spark/tez/impala 的一项或多项有深入研究者优先;
3、有pb规模的数据处理经验者优先/4、开源项目commiter或贡献过patch 者优先,请在简历上说明。
第3篇 高级大数据产品研发工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 参与公司数据开发平台、bi产品等大数据产品的设计和开发;
2. 负责数据开发平台、bi产品等大数据产品的部署和维护,保证其稳定和可靠;
3. 关注和参与大数据方向开源产品的技术动态与演进,推动产品与技术架构持续更新;
任职要求:
1. 计算机相关专业,本科及以上学历,5年以上软件开发经验,3年以上互联网产品或分布式系统开发设计经验;
2. 精通java, python, scala等一种或几种编程语言, 并熟悉linu_操作系统及bash shell编程;
3. 有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验, 并熟悉上述常用的分布式系统架构设计和原理;
4. 熟悉微服务框架及相关技术, 如dubbo, springcloud等;
5. 熟悉mysql、redis, 并了解或接触过其他数据库如 oracle, sqlserver, postgresql, mongodb等;
6. 了解容器技术, 如docker, kubernetes;
7. 具有一定的软件设计能力, 热爱大数据和技术,相信技术改变世界,学习能力强,认同数据价值,有面向业务的思维, 较强的自主学习能力和英文技术文档阅读能力;
8. 良好的沟通能力、团队精神及服务意识,勇于接受挑战,能承受较大的工作压力;
9. 有生产环境快速trouble-shooting的经验和能力者优先;
10. 有olap,多维度数据分析经验优先,有对数据仓库有较强的理论基础和理解者优先;
第4篇 大数据安全专家职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责大数据安全整体技术解决方案的牵头设计、编写,以及部分落地产品的设计;
2、负责公司数据安全战略级项目的售前咨询,推进公司整体数据安全解决方案体系建设和完善。
任职要求:
1、硕士以上学历,3年以上数据安全、网络安全或者大数据领域工作经验;
2、具有智慧城市、智慧公安、大型企业网络安全、数据安全或者大数据解决方案工作经验者优先;
3、熟悉并研究过数据安全生命周期、数据治理、个人隐私保护、gdpr、大数据安全、dsmm者优先;
4、熟悉并研究过前沿数据安全技术,如:大数据安全、同态加密、数据脱敏、数据鉴权;
5、熟悉国内外大数据安全、网络安全行业发展,熟悉hadoop/hive安全设计;
6、具有良好的沟通、演讲和编写解决方案的能力。
第5篇 大数据研发工程师-产品运营方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责企业级大数据平台的研发,服务于今日头条公司内外的几十条产品线;
2、不局限于按部就班的研发工作,有强烈的产品sense,对用户体验敏感,能够综合运用技术/产品/运营方案,提升终端用户体验;
3、平台产品包括但不限于:用户行为分析,查询中心,bi报表,元数据管理,abtest系统,数据开发套件等;
任职要求:
1、计算机等相关专业优先,本科及以上学历;
2、复合型人才,有研发能力的pm,或有产品运营能力的研发等均可投递;
3、做事积极主动,优秀的组织协调,推进执行能力,思路手段灵活,对用户体验负责;有数据分析,大数据研发,数据产品设计,售前售后等经验之一者,优先考虑;
第6篇 大数据平台高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责公司级的通用数据平台和分析型产品,服务于今日头条全公司的数十个用户产品线;
2、面向pb级超大规模数据问题,每天处理千亿增量的用户行为数据;
3、为大数据的全生命周期提供服务,覆盖数据产生,传输,建模,统计分析,实验评估,可视化的全流程;
4、构建设计良好的数据流、数据仓库、调度系统、查询引擎,数据服务、分析系统、流程规范,数据工具/产品,降低数据的使用门槛,保证系统稳定高效运行,以实现数据的最大价值。
任职要求:
1、熟悉多项大数据处理/分析相关的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情;
3、优秀的理解沟通能力,能快速理解业务背景,对数据敏感,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值,有web应用开发能力者优先。
第7篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、 根据公司数据分析需求进行基于hadoop 平台的项目开发;
2、 根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理, 监控等;
3、 负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的数据库创建、维护及提供数据接口工作;
4、 负责设计并优化基于hive 的数据仓库的建设;
5、 制定数据库备份和恢复策略及工作流程与规范。
6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。
任职资格:
1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验 ,具备海量数据加工处理相关经验;
2. 熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;
4. 熟练掌握kettlesqoop、data_、airflow等;
5. 有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;
6. 熟悉分布式计算presto/imapa优先;
7.有实时计算方面的经验的优先。
第8篇 大数据应用分析岗位职责大数据应用分析职责任职要求
大数据应用分析岗位职责
职责描述:
1、基于行业电商大数据,撰写专业分析报告,对行业市场产品和用户评论进行深度分析和探索,为行业研判、品类拓展等提供策略支持。
2、研究企业在互联网上的售销、用户评论、舆情、行业咨询等等互联网大数据,在产品企划、研发、品质、营销、售后、市场研究等领域提供数据驱动业务运营能力。
3、推动公司大数据产品的持续运营,包括但不限于:数据稽核、功能拓展、数据小品、业务培训等工作。
4、梳理数据分析方法与流程,沉淀知识积累。
任职要求:
1、全日制本科或以上学历,数学、统计、市场营销等相关专业优先考虑。3年以上数据统计、分析和挖掘相关工作经验,有电商分析经验优先考虑。
2、熟练使用python,sql,e_cel者优先。
3、对数据敏感,有业务意识,具备良好的逻辑分析能力和系统性思维能力。
4、思维敏捷,有耐心、有责任感,工作积极主动,具备学习与创新意识,良好的沟通能力及团队协作意识。有洞察力和创新意识,快速学习能力强,适应高强度挑战;
5、理解互联网数据产品的商业模式和产业生态,全面考虑产品形态和推进方式;
第9篇 大数据工程师职位描述与岗位职责任职要求
职位描述:
这是一个为商业人工智能领域构建实时大数据分析平台的工作机会。我们希望您具备计算机科学或者相关专业领域的专业背景,并拥有构建分布式可扩展数据处理及大数据存储方面的丰富经验。您将担任跨职能的团队中的重要角色。我们希望您斗志昂扬,注重结果,积极主动,具备推动产品的增长和成功的成功经验。
工作职责
•在云端或者本地集群上构建可扩展的实时数据处理流水线,收集、转换、加载并管理各类数据源
•构建可扩展的分布式数据存储
•确保所构建的数据处理管道具有高质量并可审计
•开发相关工具以优化数据的提取、分析及可视化效率
•评估数据工程领域的新技术,并开发原型,以持续改善工作
•与框架和其他团队合作,确保系统运行符合设计预期
工作要求
•全日制硕士以上学历,计算机相关专业,cet6
•具备大数据相关技术例如spark, kafka, hadoop, hbase, hive等的丰富经验
•具备五年以上java、scala、python相关工作经验,mysql, redshift等sql相关经验
•具备三年以上可扩展实时etl开发经验
•熟悉azure/aws/gcp相关工具与知识
•良好的书面/口头沟通技巧
•具备机器学习算法方面工作经验者优先
第10篇 大数据挖掘岗位职责任职要求
大数据挖掘岗位职责
大数据挖掘应用设计岗位要求:
1.大数据专业,具有丰富的数据仓库开发经验,有2年及以上基于hadoop/storm/hive/hbase等应用开发经验,对分布式计算理论有深刻理解;
2. 熟练掌握大数据/机器学习方法及相关算法,对数据结构、算法有深刻理解;
3.精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;
4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一种脚本语言;
5.熟悉高并发分布式计算系统的设计,精通map reduce编程框架,熟悉常用的nosql和内存数据库技术,如hadoop,hdfs,hbase,mongodb等分布式数据体系,熟悉storm / spark stream等相关的流式计算系统;
6.良好的系统分析、架构设计能力。
岗位职责:
1. 参与设计客户要求的数据挖掘应用,参与撰写相关文档;
2. 相关系统的编程、部署、实施工作;
3. 根据业务需要,跟踪大数据技术领域趋势并能结合实际业务应用。岗位要求:
1.大数据专业,具有丰富的数据仓库开发经验,有2年及以上基于hadoop/storm/hive/hbase等应用开发经验,对分布式计算理论有深刻理解;
2. 熟练掌握大数据/机器学习方法及相关算法,对数据结构、算法有深刻理解;
3.精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;
4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一种脚本语言;
5.熟悉高并发分布式计算系统的设计,精通map reduce编程框架,熟悉常用的nosql和内存数据库技术,如hadoop,hdfs,hbase,mongodb等分布式数据体系,熟悉storm / spark stream等相关的流式计算系统;
6.良好的系统分析、架构设计能力。
岗位职责:
1. 参与设计客户要求的数据挖掘应用,参与撰写相关文档;
2. 相关系统的编程、部署、实施工作;
3. 根据业务需要,跟踪大数据技术领域趋势并能结合实际业务应用。
大数据挖掘岗位
第11篇 大数据平台架构师岗位职责大数据平台架构师职责任职要求
大数据平台架构师岗位职责
工作职责:
负责大数据开发、数据挖掘、算法平台的技术架构及建设;
负责大数据实时检索分析平台的架构和建设;
负责pcg业务算法推荐,实时流计算框架的研发优化;
跟踪移动互联网开源大数据框架、新算法框架的技术选型及平台化预研及架构;
负责业务挖掘、算法应用的平台支持;
负责>;5人的技术或ft团队管理。
任职要求:
5年以上系统建设,设计,架构经验;4年以上大数据系统开发,设计,架构经验;3年以上软件工程管理经验;
熟悉商业智能系统,熟悉数据仓库,熟悉数据集市;
熟悉大数据相关技术:hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并阅读过相关源码;
管理过数据量上t级别,节点数300以上的大数据集群,开发,优化并管理过上t级别的大数据作业;
熟悉常用机器学习算法,了解深度学习,强化学习,迁移学习算法,了解相关原理(ff, bf, sgd等);
熟悉各种抽样方法(分层,过抽样等),特征处理方法(缺失值处理,离散化等);
熟悉机器学习框架或工具(spark mllib,tensorflow, caffe等),了解源码并能应用项目;
具备大数据云平台、计算存储平台、可视化开发平台经验,具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验,对大数据处理及应用有浓厚兴趣;
具备较强的团队管理能力和沟通能力,思维活跃,前瞻学习能力强;
了解软件项目管理、敏捷管理方法论,在中大型项目中有所实践。
第12篇 流媒体大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责直播端及服务端海量用户行为数据的加工处理,数据洞察驱动业务优化;
2、打造业界领先的大数据平台,支撑数据采集,加工,建模,分析,实验,可视化的全流程;
3、打造业界领先的分布式计算,存储系统,解决大规模生产环境集群可用性和性能优化问题。
任职要求:
1、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;
2、对开源大数据系统有相关经验者优先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、对数据敏感,掌握量化分析方法,善于从数据中发现问题者优先。
第13篇 大数据咨询经理岗位职责描述岗位要求
职位描述:
岗位职责:
1、根据公司产品定位,开拓大数据商业化的合作业务,与客户建立良好的人际关系,并及时配合产品、销售部进行数据源挖掘;
2、深入了解公司业务模型与技术算法逻辑,针对客户定制化的数据合作需求,提供最优解决方案,并协调内部资源推动结果落地;
3、完成公司现有客户资源的持续性合作以及销售线索的跟进,向客户准确传达公司服务信息、企业优势及核心竞争力,为公司树立良好的市场口碑;
4、参与数据产品的市场定位、运营模式设置、用户画像定位等综合产品打磨工作。
岗位要求:
1、统招本科及以上学历,数据变现、数据咨询、运营商合作等相关行业经验5年以上;
2、良好的客户形象和公关能力,具备大数据交易行业的资深经验和客户关系;
3、对市场机会有敏锐的嗅觉,能够发现潜在商机;
4、具备一定的大数据专业基础和自学能力工作热情,积极主动,有一定的数据技术背景更佳;
5、人品端正,具有独立开展工作及团队合作精神。
第14篇 大数据查询引擎高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、研发业界领先的交互式数据分析系统,服务于今日头条全公司的数十个用户产品线;
2、面向超大规模数据问题,每天千亿增量的用户行为数据,秒级处理pb级别的数据计算;
3、善于理解和抽象业务问题,支撑多样的海量数据分析场景。
任职要求:
1、理解分布式系统,思路清晰,具备生产系统快速 trouble-shooting 的经验和能力,擅长分析深层次的原因;
2、对市面上常见的 olap 系统设计与源码有深入研究,给 hive/kylin/presto/spark/tez 等项目提交过 patch者优先。
第15篇 大数据研发专家职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责全域数据和应用产品的数据体系的建设,通过数据+算法+工程化能力,处理和萃取数据,让其成为应用和产品的能源;
2、参与大数据基础架构和技术体系的规划建设,包括数据采集平台、数据资产管理与治理平台、数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设。
3、 以上工作职责有具体的细分,你可以基于你的兴趣和爱好选择不同的方向发展;
任职要求:
以下能力项不是全部要求,我们有多个细分岗位供您选择
1、有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关开发经验,有spark/flink的开发经验尤佳;
2、较为丰富的数据仓库及数据平台的架构经验,精通数据仓库建模及etl设计开发;有较为系统的海量数据性能处理经验;在大数据资产管理与治理有一定成功产品化经验;
3、具备丰富的大型互联网日志采集系统设计或架构经验,具备较扎实的理论基础和工程能力,熟悉http、http等协议,有ngin_、apache等web服务器上的模块开发或子系统的架构设计能力,有ios或android客户端sdk及服务端架构设计经验;
4、具备一定的java、python语言的开发能力,具备机器学习算法能力尤佳;
5、 良好的思维逻辑性、语言表达能力;有较好英语口语能力,将安排海外岗位;