- 目录
-
第1篇 高级数据架构师-798095979953职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责数据架构设计,包括定义数据的存储、集成、应用,支撑测试业务运营和数据分析类需求实现;
2、制定集成测试领域的数据体系化管理措施,包括数据标准、数据质量、数据安全、元数据设计等工作,确保数据可信与安全;
3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;
4、应用先进的统计建模、数据挖掘、机器学习方法建立数据模型解决实际问题,并研发创新方法以解决常规算法不能解决的问题;
5、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;
任职要求:
业务技能要求:
1、深入理解云化、paas、数据技术,在参与过的系统设计中,至少涉及两项关键技术;
2、精通或者熟悉hadoop体系架构,以及hdfs/hbase/mapreduce/spark/storm等技术,有直接的产品设计与开发及部署经验;
3、熟悉常见rdbms(oracle / postgresql / mysql)和nosql(redis / memcached/ mongodb)的使用及开发, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;
4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验;
5、精通大数据领域如洞察、用户画像等完整想, 具备一定的后台搭建、数据收集分析、数据挖掘与算法处理经验者优先;
6、有阿里或腾讯相关开发经验优先;
专业知识要求:
1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;
2、具备数据use case设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据use case的设计和开发;
3、具备数据建模能力。能够基于数据知识将业务需求转化为对数据与建模的需求,使用常用的数理统计/算法模型解决业务问题,可对算法模型进行评估与优化;
4、熟悉政务、工业、交通、医疗等业务,精通数据仓库、数据集市的构建流程。
第2篇 高级数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责
•结合所有业务场景和需求,设计业务端数据架构和各数据模块
•和技术团队沟通,推动整体数据架构和各数据模块的实现
•深入了解业务变化,对数据库存储和利用率要求提出解决方案建议
•分析数据库实施方法,以确保它们符合公司政策和可能适用的任何外部法规
•为管理和执行团队开发数据库设计和架构文档
•与客户数据库管理/体系结构和数据分析团队合作,帮助设置企业数据策略和标准
岗位要求
•计算机,专业本科及以上学历;data mining专业为佳
•5年以上数据架构搭建实施相关工作经验,有汽车或互联网行业相关经验优先;
•至少精通一种传统数据库sql server, oracle, mysql等,有hadoop平台和nosql相关经验优先;
•擅长数据挖掘流程和实际实现
•必须能够为问题开发创造性的解决方案
第3篇 大数据架构师岗位职责大数据架构师职责任职要求
大数据架构师岗位职责
工作职责:
负责大数据开发、数据挖掘、算法平台的技术架构及建设;
负责大数据实时检索分析平台的架构和建设;
负责pcg业务算法推荐,实时流计算框架的研发优化;
跟踪移动互联网开源大数据框架、新算法框架的技术选型及平台化预研及架构;
负责业务挖掘、算法应用的平台支持;
负责>;5人的技术或ft团队管理。
任职要求:
5年以上系统建设,设计,架构经验;4年以上大数据系统开发,设计,架构经验;3年以上软件工程管理经验;
熟悉商业智能系统,熟悉数据仓库,熟悉数据集市;
熟悉大数据相关技术:hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并阅读过相关源码;
管理过数据量上t级别,节点数300以上的大数据集群,开发,优化并管理过上t级别的大数据作业;
熟悉常用机器学习算法,了解深度学习,强化学习,迁移学习算法,了解相关原理(ff, bf, sgd等);
熟悉各种抽样方法(分层,过抽样等),特征处理方法(缺失值处理,离散化等);
熟悉机器学习框架或工具(spark mllib,tensorflow, caffe等),了解源码并能应用项目;
具备大数据云平台、计算存储平台、可视化开发平台经验,具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验,对大数据处理及应用有浓厚兴趣;
具备较强的团队管理能力和沟通能力,思维活跃,前瞻学习能力强;
了解软件项目管理、敏捷管理方法论,在中大型项目中有所实践。
第4篇 数据架构师职位描述与岗位职责任职要求
职位描述:
工作职责:
1. 负责数据仓库建设,主要从事数据仓库的基础架构设计、etl与开发流程优化,整体管理数据的生产、建模、应用等;
2. 负责数据治理平台,制定数据规范及标准、建设数据管理体系和流程,完善数据治理制度,提升数据质量;
3. 基于数据驱动参与构建交易相关的数据中后台系统,并负责维护与运行;
3. 深入业务,理解并合理抽象业务需求,建设数据主题,发挥数据价值;
4. 有数据中台建设经验者优先;有大型数据平台项目建设经验者优先
任职资格:
1. 精通数据模型和数据架构,有大型数据仓库建设经验
2. 熟悉数据仓库模型设计与etl开发经验,具备海量数据加工处理(etl)相关经验;
3. 精通sql,并且有一定的sql性能调优经验,并且熟悉my sql等常用数据库;
4.熟悉hive、hbase、storm、mahout、flume、elasticsearch、spark、kafka等,具备实际项目设计及开发经验;
5. 对数据敏感、对技术敏感,有研究的意识
第5篇 资深大数据架构师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责大数据平台架构的评估、规划和设计;
2、分布式存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、数据采集、加工、监控、分析、使用,可视化的全过程;
4、主流hadoop生态大数据系统相关组件的性能改进、功能扩容和故障分析;
5、解决规模增长带来的技术和业务问题,持续建设数据平台的分布式计算与存储能力;
6、对海量数据利用多维查询引擎,提供秒级查询的解决方案,促进业务发展;
任职要求:
1、统招本科以上学历,至少5年以上大数据领域工作经验;
2、熟悉分布式系统,有良好的java编码基础或者c++基础;
3、负责过大型数据平台设计,丰富的olap系统经验,对常见的olap引擎有深入研究及优化经验;
4、具有良好的问题分析和追踪能力,具有正确的团队合作意识和良好的沟通能力;
5、对hadoop的大数据体系有深入认识,对hadoop、hive、hbase、spark、flink、 kafka、es等有实际应用研发经验,读过关键源码;
6、具有数据挖掘、机器学习、推荐算法、人工智能、数学建模项目经验者优先;
7、有民航、在线旅游、电商类业务经验者优先;
第6篇 大数据架构师(数据中台)职位描述与岗位职责任职要求
职位描述:
岗位描述:
1.负责公司数据工厂建设,业务领域核心数据体系的规划设计,在数据化运营和数据能力产品化等方向上,制定数据技术和服务的策略;
2.规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透;
3.负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;
岗位要求:
1. 5年以上数据开发岗位的经验,对数据仓库、数据平台、数据分析、数据挖掘、深度学习、nlp等领域有深刻的理解,丰富的数据架构经验,精通数据建模及etl设计开发;有较为系统的海量数据性能处理经验;有前瞻性的整套数据管理、数据服务等解决方案的规划和落地经验尤佳;
2. 对公司业务有整体的理解,对数据业务场景非常敏感,能够有效结合业务和技术创新,全局地规划或完善数据服务体系以解决业务/产品的问题;
3. 具有大型跨部门的复杂项目或者技术领域的管理经验,有成熟的团队梯队建设经验和技能储备的思路;
4. 具备创新精神,逻辑思维能力强,商业嗅觉敏锐者优先;
第7篇 民航大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责民航大数据系统架构的整体规划、设计与研发;
2. 针对电子商务、在线营销等领域开展深入的数据挖掘和数据分析,构建大数据基础架构,优化建模,采集和处理海量数据,规划基于云服务的高效、可靠的数据访问能力;
3. 负责大数据服务平台的研发,带领团队独立完成大数据产品的设计与开发,解决技术开发过程中的技术难题。
职位要求:
1. 具备数据仓库理论和实践经验,熟悉hadoop、spark等大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有机器学习、推荐引擎、决策引擎等项目经验;
2. 熟悉web应用,移动应用,桌面应用等用户行为分析模型,精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架;
3. 有基于公有云、私有云的应用架构的项目经验,具备高可用性、高性能性、高扩展系统设计经验,对高并发系统架构设计有深刻理解;
4. 本科以上学历,5年以上大数据或大型项目架构设计经验;
5. 具备民航、旅游业相关行业经验有限;
6. 较好的英文沟通能力。
第8篇 big data architect 大数据架构师职位描述与岗位职责任职要求
职位描述:
responsibilities
•project delivery
understand, analyze the customer requirements, and design the corresponding solution
assist clients in the definition of the information architecture, to enable and leverage business analytics capabilities, starting from client's requirements to define the strategic approach to design big data architectures
keep a close communication with clients and implementation team, clarify the question and doubt on both side, guarantee the project carried forward smoothly
deal with the other project issue according to the project condition.
•project preparation
coordinate with other team to prepare for the new opportunities and give the necessary support
•knowledge obtaining and sharing
keep desire to learn new technology, follow up the trend, and review and share the new knowledge regularly.
requirements
•basic requirement
bachelor’s degree
e_cellent communication skills (english & mandarin)
•technical skills
substantial e_pertise in advanced analytics technologies & solutions (incl. spss, sas, r, tableau, qlikview)
proven practical e_pertise in big data projects with hadoop ecosystem, nosql or cloud data management technologies, master to basic technical operation including but not limit to linu_, shell, sql, python etc.
good understanding to data model design, business analysis and data process, familiar with basic data process method and be able to handle the practical operation.
•soft skills
strong problem solving attitude and proactive behavior to growth
proven ability as a team leader with responsibility of defining customer needs and designing client’s solutions
•e_perience
e_perience in /as an architect in the data warehousing and bi structure (incl. sql / data modelling, data integration, data governance) for several projects
第9篇 首席数据架构师岗位职责首席数据架构师职责任职要求
首席数据架构师岗位职责
职责描述:
1. 负责集团大数据资产库的技术架构、核心设计方案,并推动落地;
2. 带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化;
3. 新技术预研,解决团队技术难题。
任职要求:
1. 在技术领域有5年以上相关经验,3年以上的架构设计或产品经理经验;
2. 具有2年以上大数据产品和数据分析相关项目经验;
3. 精通大数据分布式系统(hadoop、spark、hive等)的架构原理、技术设计;精通linu_系统;精通一门主流编程语言,java优先;
4. 具备良好的团队合作精神与沟通协调能力,具备出色的文档编写能力。
第10篇 航空业务-大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责民航大数据系统架构的整体规划、设计与研发;
2. 针对电子商务、在线营销等领域开展深入的数据挖掘和数据分析,构建大数据基础架构,优化建模,采集和处理海量数据,规划基于云服务的高效、可靠的数据访问能力;
3. 负责大数据服务平台的研发,带领团队独立完成大数据产品的设计与开发,解决技术开发过程中的技术难题。
职位要求:
1. 具备数据仓库理论和实践经验,熟悉hadoop、spark等大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有机器学习、推荐引擎、决策引擎等项目经验;
2. 熟悉web应用,移动应用,桌面应用等用户行为分析模型,精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架;
3. 有基于公有云、私有云的应用架构的项目经验,具备高可用性、高性能性、高扩展系统设计经验,对高并发系统架构设计有深刻理解;
4. 本科以上学历,5年以上大数据或大型项目架构设计经验;
5. 具备民航、旅游业相关行业经验有限;
6. 较好的英文沟通能力。
第11篇 高级大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责
1. 负责乐播私有云及大数据系统的规划和架构工作,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;
2.负责面向pb量级的数据查询、数据计算、数据存储以及数据模型与管理的总体架构与优化,提升数据查询的响应效率;
3.负责平台数据建模和设计工作,数据抽取,数据清洗,数据建模工作,具有etl设计与开发,数据质量保障,元数据管理,指标体系建立;
4.负责研发技术发展方向,新技术领域的探索,将新技术应用到项目;
任职资格:
1. 本科及以上学历,5年以上大数据平台架构经验,有多个数据产品开发和实施经验;
2. 熟悉bi平台架构,大数据解决方案及hadoop、spark大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有实践经验者优先;
3.精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架,有大型互联网项目经验或业内知名产品研发经验者优先;
4.精通面向对象分析和设计,并能熟练运用建模工具进行设计工作,且能够指导初中级人员进行开发和设计工作;
5. 深刻理解数据结构和算法设计,有系统分析和设计实践经验;
第12篇 首席大数据架构师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责公司大数据平台系统架构设计、核心开发工作(hadoop生态圈),基于业务场景设计最优的系统解决方案。
2、构架大数据开发平台,包括数据采集、数据存储、数据计算、数据管理的平台系统及相关监控,推进平台的架构设计和实现。
3、利用hadoop、spark、flink等大数据技术对海量数据进行处理,支持建模(算法)的工程化实现,实现可视化bi分析。
4、对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。
5、了解机器学习等技术进行数据分析及建模的方案的系统化设计,跟进数据挖掘项目的架构设计工作。
6、解决部门遇到的技术难题,能够进行技术和培训。
任职要求:
1、统招本科或以上学历,计算机相关专业, 2年以上大数据项目经验、3年以上架构经验。
2、熟练使用cdh、hdp、fi等hadoop生态系统发行版套件,进行平台服务的安装、部署和维护。
3、具备较丰富的基于hadoop生态圈的大数据处理项目经验,熟悉数仓建设、数据中台建设
4、熟悉hadoop、hive、hbase、kafka、spark、flink、es、flume、sqoop、ozzie、tez、hue、azkanban、data_等大数据组件的使用和调优,了解数据分析和数据挖掘。
5、深刻理解大数据平台安全机制kerberos、ranger以及血缘分析套件atlas。
6、熟悉大数据应用开发平台的架构和设计,对数据采集、数据清洗、数据治理、数据质量管理、数据血缘分析、数据存储、作业调度、数据安全、数据分析有丰富的经验。
7、优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。
8、机器学习技术、数据挖掘经验丰富者优先考虑。
第13篇 大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位描述:
1. 制定公司的大数据发展(数据驱动、数据中台)规划、技术发展路线,建设合理的数据仓库架构;
2. 分析业界大数据技术使用情况,研究未来数据模型和计算框架的创新与落地;
3. 领导数据资产管理和系统化的数据模型建设;
4. 提升团队大数据能力,塑造团队在行业的技术影响力;
5. 对公司其他团队普及大数据技术能力,并带领团队提供大数据使用能力。
岗位要求:
1. 计算机/应用数学等相关专业、全日制本科及以上学历;
2. 具有7年以上大数据架构工作经验,拥有3年以上大型互联网公司相关经验优先;
3. 具有很强的数据设计抽象能力,具有海量数据、复杂业务的治理和管理经验;
4. 熟悉大数据架构与生态圈技术(如:hive、hbase、storm、kafka、es、kylin等);
5. 熟悉大数据技术演变历史,并能够总结发展特点;
6. 对数据挖掘、分析、算法、工程化、ai等技术了解者优先;
7. 具备良好的沟通协调能力、快速学习能力, 强烈的工作主动性和责任心,且热爱技术、具有钻研精神;
第14篇 大数据架构师岗位职责及相关职位要求
大数据架构师职位要求
1.计算机、工业自动化等相关专业本科及以上学历。
2.熟悉数据仓库建模理论,3年以上相关领域实践经验,能够独立完成系统架构。
3.熟悉hadoop、hive、spark等大数据技术。
4.熟练使用java或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力。
5.熟练mysql、redis、hbase等数据库,能够完成存储查询的优化。
6.思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力。
7.对新技术,新事物有很好的探索和求知欲。
大数据架构师岗位职责
1.负责大数据项目技术架构评估与设计。
2.负责关键功能的开发,技术难题的解决,以及输出代码的关键把控。
3.负责对使用关键技术的预研和选型,完成poc。
4.负责大数据平台新技术的开发使用和性能优化,测试。
5.能够带领团队完成项目开发工作,并能分享技术经验。
6.研究主流技术,能够应用于产品,推动产品功能、性能的提升。
第15篇 数据架构师(杭州/北京)职位描述与岗位职责任职要求
职位描述:
工作职责:
1、交流和理解客户业务需求,将需求转化成对数据加工生产的要求;
2、深入理解行业数据,理解和提炼标准,结合数据的技术特点设计数据模型和加工生产逻辑
3、对数据处理过程中的问题进行准确的分析和定位
4、负责包括数据标准在内的项目相关的技术文档的输出;
5、针对数据项目的实施和运维要求,对人员进行组织架构定义,职责分工以保障项目交付
6、作为技术专家,向客户进行项目方案汇报沟通;
任职资格:
1、深入理解数据治理的方法,具备数据仓库建设经验,包括数据清洗、etl、质量监控和评估等实施经验
2、具有行业数据标准梳理的能力,对行业领域数据模型和标准有深入了解
3、熟悉行业典型数仓的建设过程
4、具备建模能力,熟练使用uml等,准确表达需求和设计
5、对数据的可视化展现有深入认识和理解
6、掌握各类数据库的使用场景,包括常见的关系型数据库、nosql数据库、mpp数据库等
7、熟悉大数据离线计算和流式计算平台,理解大数据平台的分布式架构特点
8、具有基于大数据平台进行数据开发的丰富经验
9、熟悉相关领域的业界产品和方案
10、具有很强的沟通能力和技术文档撰写能力