- 目录
岗位职责是什么
数据仓库岗位是一个关键的业务分析角色,负责设计、实施和维护企业的数据仓库系统,以支持决策制定和业务洞察。
岗位职责要求
1. 深入理解企业业务流程,能够识别关键数据需求,并转化为有效的数据模型。
2. 熟练掌握数据仓库建模技术,如星型、雪花型模型,以及维度建模方法。
3. 掌握etl(提取、转换、加载)过程,能设计和优化数据抽取和处理流程。
4. 精通sql和至少一种主流数据仓库平台,如oracle、teradata或hadoop。
5. 具备良好的编程能力,熟悉python、java或scala,用于数据处理和自动化任务。
6. 对大数据处理和云计算技术有深入了解,如hadoop、spark或aws redshift。
7. 具备良好的项目管理和沟通技巧,能够协调各部门资源,确保项目按时完成。
岗位职责描述
数据仓库工程师的工作涵盖从数据源的获取到数据呈现的全过程。他们构建和优化数据仓库架构,确保数据的准确性和一致性。此外,他们还需要监控系统性能,解决查询效率问题,以提高整体数据处理能力。在团队协作中,他们与业务分析师、数据科学家和it部门紧密合作,确保数据仓库满足业务需求,为公司的战略决策提供强有力的数据支持。
有哪些内容
1. 数据仓库设计:根据业务需求,设计高效、可扩展的数据仓库架构,包括数据模型、分区策略和索引优化。
2. etl开发与管理:编写和维护etl脚本,实现数据清洗、转换和加载,确保数据质量。
3. 系统优化:监控和调整数据仓库性能,解决查询延迟问题,提升系统响应速度。
4. 数据安全与合规:确保数据仓库符合企业内部政策及行业法规,保护数据隐私。
5. 项目协调:参与项目计划,与团队成员沟通,跟踪项目进度,确保项目成功实施。
6. 技术创新:关注行业发展趋势,评估新技术,推动数据仓库系统的持续改进和升级。
7. 培训与支持:为业务用户和分析师提供技术支持,帮助他们更好地理解和利用数据仓库资源。
总结,数据仓库岗位在企业中扮演着至关重要的角色,通过构建和维护高效的数据存储和分析环境,为企业决策提供有力的数据支持,驱动业务发展。
数据仓库岗位职责范文
第1篇 数据仓库架构工程师岗位职责
数据仓库架构师/etl工程师 同程艺龙 同程网络科技股份有限公司,同程旅游,同程艺龙,同程 位职责:
1、负责数据仓库数据采集、处理、存储以及挖掘分析的架构实现,负责架构设计和指导团队落地;
2、参与数据平台建设,包括环境和框架的规划搭建以及部分核心编码工作;设计并实现对bi分析、数据产品开发、算法开发的系统性支持;
3、研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面。
职位要求:
1、具备5年以上dw系统建设经验;了解数据仓库建设过程中的挑战与问题,有实际架构设计和数据建模经验,有作为技术负责人系统化解决问题的成功案例;
2、有dw/bi架构体系中某些领域的专项建设经验,包括但不限于:数据质量、元数据管理、主数据管理、数据监控、流计算、分布式计算、分布式文件系统、分布式存储、大规模数据实时化、跨平台资源调度;
3、熟悉hadoop生态圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;
4、有海量数据建模实践经验优先。
第2篇 数据仓库顾问岗位职责
售前咨询顾问(数据仓库/大数据产品方向) 胜科金仕达 胜科金仕达数据系统(中国)有限公司,sungard china,胜科金仕达,胜科金仕达中国,胜科金仕达 职位描述:
1.负责数据分析、数据仓库等数据类项目的需求挖掘,售前,方案设计等
2.为数据仓库、数据集市、管控工具和可视化bi项目提供售前支持
3.负责与客户进行现场交流、售前等工作
4.负责客户售前解决方案、产品白皮书等整理编写
5.理解客户需求,根据客户需求设计解决方案
6.参与招投标,独立进行投标技术讲解等招投标工作
岗位要求:
1.2-5年的数据仓库、bi开发,售前或项目管理等方面经验
2.本科以上,计算机相关专业,硕士优先
3.有较强的逻辑分析能力,口头表达能力强
4.具备数据仓库相关技术能力
5. 熟练使用ppt、word、e_cel等办公工具
6. 有责任感,具备良好的沟通能力和团队合作精神。
第3篇 大数据开发(数据仓库)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与计算框架和服务的定制和改进,为公司批处理和流式计算能力提供支撑
2、基于业务需求和应用场景,设计和实现公司大数据相关产品
3、负责设计,开发,优化数据接入、数据存储、数据计算服务框架
4、为公司所有业务线提供数据支持和服务
任职要求:
1、本科以上学历,3年以上大数据开发经验,掌握数据仓库理论、模型设计方法、etl设计理论等
2、对大数据离线数仓有成熟的解决方案和实践经验
3、深入理解公司业务,建立指标分析体系,利用数据分析,不断驱动业务优化,策略分析经验丰富优先
4、了解sql, hive sql,sparksql优先,熟悉python编程,java基础编程
5、有较强的性能优化及问题排查、解决能力
6、具备良好的沟通能力,做事认真、仔细,有责任心,具有团队协作能力
第4篇 外包高级数据仓库开发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1.能够独立的分析和设计数据仓库需求解决方案;
2.善于和用户沟通、准确了解和定义业务需求并设计解决方案;
3.熟练掌握mysql数据库,精通sql语句编写;
5.有数据仓库/数据集市相关项目背景者有限考虑;
6.5年以上数据库实际项目开发经验;
7.熟练掌握etl工具,掌握kettle/informatica开发者优先;
8.熟悉shell、perl等脚本语言者优先;
9.良好的沟通和学习能力。
第5篇 数据仓库研发工程师岗位职责
搜狗金融-数据仓库研发工程师-北京-02173 (mj001926) 搜狗 北京搜狗科技发展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻译,搜狗词典,搜狗 岗位职责:
1、 数据仓库、数据集市的数据模型设计
2、 数据仓库etl规则设计和开发
3、 利用hql进行数据清洗,根据应用场景建立数据集市。
4、 数据仓库数据导入,建表,日常任务跑批,日志监控。
5、 数据仓库需求调研和需求分析
任职条件:
1、 熟悉python,熟练使用shell编程解决数据清洗;
2、 熟练使用hadoop、hive、sqoop,熟练使用hive sql并有一定编写 map/reduce 开发经验;
3、 熟悉数据仓库建模理论,了解数据仓库数据分层架构,精通3nf和多维数据模型设计;
4、 具备大中型数据仓库架构设计、模型设计、etl设计的相关经验;
5、 具备海量数据处理、有性能调优经、金融、电商、电信、互联网行业数据模型经验者优先
这是一款定位于服务平台互联网用户的金融产品,由搜狗公司内部孵化,深度挖掘搜狗在互联网端的用户规模优势以及多年的大数据能力积累。在当下大热的互联网金融领域,搜狗将发挥用户服务和智能算法优势,并结合平台的综合运营实力。
第6篇 数据仓库技术负责人职位描述与岗位职责任职要求
职位描述:
职责描述:
1.领导由软件工程师和数据挖掘工程师组成的团队,来设计和构建pb级别的数据仓库平台。
2.提供数据仓库的顶层设计。
3.组织团队管理使用各类多pb分析堆栈。
4.推动数据标准工具(作业调度程序,etl,数据可视化,查询编辑器等)的开发。
5.与其他团队的技术负责人,产品负责人紧密联系,以确保数据作为可行资源可以满足当前和未来特定it系统内外需求
6.尽最大的努力保持工程师的成长和快乐。
任职要求:
1.拥有计算机相关专业本科及以上学历。
2.熟悉java语言,有hadoop, spark等大数据框架的使用经验。
3.熟练运用spring,mybatis等主流的开发框架;熟练使用oracle、mysql数据库;熟悉git、junit、maven等工具应用。
4.熟悉敏捷开发流程。
5.在大数据平台或分析团队中拥有2年以上的研发管理经验。
6.有丰富的设计和构建数据仓库的经验。
7.出色的沟通和跨团队合作技巧。
第7篇 bi数据仓库工程师岗位职责
bi工程师-数据仓库 涂鸦智能 杭州涂鸦科技有限公司,涂鸦智能,爱相机 岗位职责:
1. 负责业务数据调研、需求理解,数据采集方案设计及实现;
2. 负责建立数据模型,根据业务设计数据主题;
3. 负责数据模型的etl编写,参与团队etl流程的优化及解决etl相关技术问题;
4. 理解业务方的数据需求,提供面向业务的olap、报表、数据提取等数据服务;
任职要求:
1. 本科及以上学历,计算机相关专业,2-5年企业级数据平台相关系统开发经验;
2. sql技能娴熟,精通hive-sql,presto-sql
3. 具有扎实的计算机操作系统、数据结构等编程基础,熟悉java或scala语言;
4. 有过2年以上bi项目经验,熟悉开源的bi工具如:metabase,superset,redash.有实际操作经验。
7. 有良好的沟通能力,善于主动思考和行动,有极强的责任心和自驱力。
第8篇 数据仓库系统架构师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责海量数据的整体架构设计和数据架构管控、根据具体业务和产品对数据模型进行统一分析和规划;
2. 负责企业级信息架构(如业务数据对象识别、数据实体、数据属性分析、数据标准、端到端数据流等)的设计与优化;确保变革方案对架构遵从,并协助推动跨领域重大数据问题的分析、定位、解决方案设计和落地;
3. 负责技术设计及技术实现规范编制,指导开发团队进行项目设计、项目实现及技术汇报;
4. 负责项目重点模块的功能设计和难点攻坚;
5. 对开发团队提供架构导引、技术监督和风险预判,确保开发技术框架不偏离正确方向;
6. 配合项目经理进行技术决策、风险评估、及技术架构宣贯和推广;
7. 其他部门发展所需承担的必要工作。
任职要求:
1、计算机相关专业本科以上学历。有5年及以上架构师工作经验,有3年以上大数据相关领域工作经验。
2、具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计。
3、算法基础扎实,熟悉常见的数据结构,深入理解分布式算法和分布式系统原理。
5、善于沟通,有良好的文档写作能力,良好的沟通能力和团队合作精神,良好的抽象思维,理性做出技术决策,具有风险控制意识。
第9篇 数据仓库开发高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责字节跳动旗下的用户产品线的数据仓库架构设计、建模和etl开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少tb以上级大数据处理经验;
3、对数据敏感,认真细致,善于从数据中发现疑点;
4、善于沟通,具备优秀的技术与业务结合能力。
第10篇 数据仓库开发(_h_)职位描述与岗位职责任职要求
职位描述:
数据仓库工程师
工作职责:
1.参与或负责数据产品或数据仓库应用项目的etl设计、开发、维护及质量核查;
2.参与或负责数据仓库模型的规划和设计,建立并执行统一的数据开发规范;
3.参与或负责数据仓库基础设施和平台的建设,搭建教育行业领域的企业级数据仓库;
4.和数据分析师团队及其他需求部门进行有效沟通,完成数据需求及数据问题解决等;
5.完成日常数据质量的监控,跟踪处理各类数据质量问题。
职位要求:
1.熟悉主流关系数据库,熟练sql开发,熟悉linu_系统、shell编程;
2.精通数据仓库的etl的开发,有海量数据处理相关经验;
3.熟悉数据仓库领域数据模型设计方法,并有相关数仓模型设计经验;
4.熟悉hadoop、hive、hbase、kafka、 flume、spark等开源框架,优先考虑;
5.较好的沟通理解能力,性格乐观,态度踏实,积极上进。
第11篇 数据仓库/etl/bi工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责数据仓库建模,业务数据集市建设开发
2、负责数据仓库etl流程的优化及解决etl相关技术问题、etl流程监控,保障数据平台架构稳定性
3、建立数据分析指标体系,不断完善指标体系和分析模型;
4、通过专项分析,输出专项分析报告
5、负责数据分析相关需求和数据测试的工作
任职要求:
学历要求:
全日制统考类本科及以上学历,计算机、通信、电子、软件工程、统计学、应用数学、数据分析等相关专业
专业技能:
1、熟悉数据仓库各类模型建模理论,熟悉数据仓库数据分层架构和多维数据模型设计;
2、丰富的数据分析经验,熟练掌握sql、hql、sparksql,擅长运用其分析并完成复杂业务数据查询
3、掌握至少一种数据库开发技术:mysql/oracle/db2等,灵活运用sql实现海量数据etl加工处理;
4、熟悉hadoop生态(如:hdfs/mapreduce/hive/hbase等),并有相关实践经验;
5、熟练掌握一门或多门编程语言(如:python/shell/java/c++等),并有大型项目建设经验者优先;
素质:
1、敏锐的数据观察和分析能力,及时发现和分析其中隐含的变化和问题并给出建议;
2、良好的沟通能力和团队精神,较强的学习能力,能承担一定的工作压力。
经验:
至少2年以上数据仓库(离线&实时)模型设计开发、etl设计开发的相关经验,有通信运营商o域/b域大数据、智慧城市大数据的数据仓库、etl设计研发经验者优先
第12篇 dw数据仓库etl工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1. 负责数据仓库开发需求收集和分析;
2. 负责数据模型体系构建及数据主题设计和开发;
3. 负责数据抽取、清洗、转化等数据处理程序开发;
4. 负责对公司数据仓库平台整体架构改进与流程优化;
5. 负责bi报表开发和优化。
任职资格:
1. 2年以上数据仓库工作经验;
2. 熟悉数据库、etl、bi建模等工具;
3. 良好编程习惯,以及较强的学习能力和沟通能力。
第13篇 数据仓库顾问岗位职责任职要求
数据仓库顾问岗位职责
数据仓库实施顾问 oracle甲骨文 甲骨文(中国)软件系统有限公司 • 5+ years of proven e_perience in design and development of data warehouse solutions, etl, software development and system integration projects.
• data migration in large and comple_ environments
• a technical, hands-on role for enterprise data warehousing and data integration initiatives.
• good e_perience in data modeling and data architecture.
• strong understanding of dw concepts / design and implementation.
• understanding of conceptual, logical, and physical data modeling.
• good understanding of service oriented architectures , application frameworks and system integration methods.
• e_perience of full lifecycle development projects.
• development e_perience with oracle database technologies, strong pl / sql skills.
• building of operational data stores ( ods ), data marts, enterprise data business and technical metadata management.
• data analysis and data model development ( i.e. logical and physical models )
• working knowledge of data quality management practices using commercially available tools.
• familiarity with data governance concepts and processes.
• enterprise data integration e_perience in leading eai / etl tools and olap tools.
• familiarity with master data management concepts.
• business intelligence e_pertise and technical skills to successfully deliver solutions.
• good communication skills and technical documentation)
• ability to organize prioritizes work, meet deadlines and work independently.
• ability to handle multiple projects and activities in a timely, organized manner
第14篇 数据仓库高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责今日头条的用户产品线的数据仓库架构设计、建模和etl开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少tb以上级大数据处理经验;
3、对数据敏感,认真细致,善于从数据中发现疑点;
4、善于沟通,具备优秀的技术与业务结合能力。
第15篇 数据仓库开发(高级)工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责今日头条的用户产品线的数据仓库架构设计、建模和etl开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少tb以上级大数据处理经验;
3、对数据敏感,认真细致,善于从数据中发现疑点;
4、善于沟通,具备优秀的技术与业务结合能力。
第16篇 数据仓库岗位职责
资深数据仓库工程师(严选)-邮件事业部172 网易集团 网易(杭州)网络有限公司,杭州网易,网易,网易杭州,网易游戏,网易网络,网易集团,网易 工作职责:
1. 负责电商数据仓库搭建、etl开发与维护;
2. 完成数据统计、编写计算任务、接口开发;
3. 参于数据规范制定、文档编写。
任职要求:
1.本科以上学历,软件工程/计算机/通信/数学等相关专业;
2.熟悉hive sql语言,熟悉shell, python等至少一种脚本语言;
3.有hadoop、spark、flink等至少一种大数据平台的使用经验;
4.理解能力强,善于沟通,有责任心和团队精神;
5.有数据仓库建设、商业数据分析、增长项目经验者优先。
第17篇 资深数据仓库工程师职位描述与岗位职责任职要求
职位描述:
工作职责
1、基于公司数据建设需要,完成数据内容开发等工作,维护与完善数据模型各类信息;
2、负责各业务线系统的信息调研、表与字段的关系梳理,根据业务及日常需求来优化模型;
3、工作中对数据平台基础设施、数据内容建设等工作主动深度思考,提升效能、促进组织和系统发展;
4、负责核心数据仓库模型代码开发,跟进etl的完成。负责接入源系统数据的脚本开发、数据测试与验证、以及调度开发等工作;
5、与上游系统与下游应用同事沟通协作,推动各类需求在数据模型中的落地;
6、跟踪、监测、维护及优化数据模型,确保数据模型被使用。
任职资格
1、本科以上学历,5年或以上金融行业数据类工作经验;
2、熟悉hadoop生态系统组件,如:hive、mapreduce、spark、hbase等;具备编写、优化复杂sql的能力;
3、负责过大型数据平台或数据仓库设计,具有扎实的大数据和数据仓库的理论功底;
4、掌握一定的数据质量管理方法论、评估模型设计、质量报表设计,能够根据数据质量要求制定数据质量探查规则并进行实施;
5、掌握一定元数据管理方法论、元数据管理设计。
6、能够围绕业务和产品特征建模并解决问题;
7、具有丰富的数据实践经验;
8、基于公司数据建设需要,完成数据内容开发等工作,维护与完善数据模型各类信息。
第18篇 数据仓库开发工程师-lark职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责创新工具核心业务模块数据仓库的构建;
2、负责数据模型的设计,etl实施、etl性能优化、etl数据监控以及一系列技术问题的解决;
3、负责构建用户主题、各业务线主题、推荐主题、企业bi门户系统;
4、负责全产品线数据字典维护,提升数据资产质量。
任职要求:
1、计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验,数据挖掘和bi分析领域优先;
2、熟练掌握hive/sql,熟悉spark/map-reduce/mpi分布式计算框架,熟悉大数据的离线和实时处理,可以进行海量数据模型的设计、开发;
3、有产品sense,主动思考基于业务场景下的数据体系建设;
4、工作认真,负责,良好的团队合作精神和解决问题分析能力。钻研技术克服困难,勇于挑战;
5、有数据分析经验优先。
第19篇 数据仓库开发工程师-创新工具职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责创新工具核心业务模块数据仓库的构建;
2、负责数据模型的设计,etl实施、etl性能优化、etl数据监控以及一系列技术问题的解决;
3、负责构建用户主题、各业务线主题、推荐主题、企业bi门户系统;
4、负责全产品线数据字典维护,提升数据资产质量。
任职要求:
1、计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验,数据挖掘和bi分析领域优先;
2、熟练掌握hive/sql,熟悉spark/map-reduce/mpi分布式计算框架,熟悉大数据的离线和实时处理,可以进行海量数据模型的设计、开发;
3、有产品sense,主动思考基于业务场景下的数据体系建设,而不单单只会做执行;
4、工作认真,负责,良好的团队合作精神和解决问题分析能力。钻研技术克服困难,勇于挑战;
5、有分析经验的优先。
第20篇 数据仓库开发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责数据仓库的模型规划设计工作;
2、负责数据仓库etl规则设计、数据映射工作;
3、负责数据仓库建设需求调研、业务沟通;
4、负责业务模型抽象和数据模型的设计开发。
任职要求:
1、计算机相关专业本科及以上学历;
2、5年以上数据仓库建模经验;
3、熟悉etl、数据仓库开发及相关技术,熟悉hive等主流数据库技术,精通sql开发与优化;
4、熟练掌握维度建模理论,有能力分析业务数据,完成数据仓库模型设计;
5、有实时数据处理开发经验(如flink/sparkstreaming/storm)优先;
6、对apache kylin以及其他olap技术深入了解者优先;
7、工作态度踏实认真、积极主动,可接受较高强度工作,具备良好的沟通能力和协调能力。