- 目录
第1篇 大数据架构师岗位职责
大数据平台架构师 ne_ttao 上海复兆信息技术有限公司,ne_ttao,复兆,复兆 职责描述:
1、负责大数据平台框架的规划设计、搭建、优化和运维;
2、负责架构持续优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
3、负责大数据相关新技术的调研,关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台,推动数据平台发展;
4、负责数据平台开发规范制定,数据建模及核心框架开发。
任职要求:
1、计算机、数学等专业本科及以上学历;
2、具有5年及以上大数据相关工作经验;
3、具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计;
4、基于hadoop的大数据体系有深入认识,具备相关产品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)项目应用研发经验,有hadoop集群搭建和管理经验;
5、熟悉传统数据仓库数据建模,etl架构和开发流程,使用过kettle、talend、informatic等至少一种工具;
6、自驱力强、优秀的团队意识和沟通能力,对新技术有好奇心,学习能力和主动性强,有钻研精神,充满激情,乐于接受挑战;
第2篇 资深大数据架构师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责大数据平台架构的评估、规划和设计;
2、分布式存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、数据采集、加工、监控、分析、使用,可视化的全过程;
4、主流hadoop生态大数据系统相关组件的性能改进、功能扩容和故障分析;
5、解决规模增长带来的技术和业务问题,持续建设数据平台的分布式计算与存储能力;
6、对海量数据利用多维查询引擎,提供秒级查询的解决方案,促进业务发展;
任职要求:
1、统招本科以上学历,至少5年以上大数据领域工作经验;
2、熟悉分布式系统,有良好的java编码基础或者c++基础;
3、负责过大型数据平台设计,丰富的olap系统经验,对常见的olap引擎有深入研究及优化经验;
4、具有良好的问题分析和追踪能力,具有正确的团队合作意识和良好的沟通能力;
5、对hadoop的大数据体系有深入认识,对hadoop、hive、hbase、spark、flink、 kafka、es等有实际应用研发经验,读过关键源码;
6、具有数据挖掘、机器学习、推荐算法、人工智能、数学建模项目经验者优先;
7、有民航、在线旅游、电商类业务经验者优先;
第3篇 大数据架构师(数据中台)职位描述与岗位职责任职要求
职位描述:
岗位描述:
1.负责公司数据工厂建设,业务领域核心数据体系的规划设计,在数据化运营和数据能力产品化等方向上,制定数据技术和服务的策略;
2.规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透;
3.负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;
岗位要求:
1. 5年以上数据开发岗位的经验,对数据仓库、数据平台、数据分析、数据挖掘、深度学习、nlp等领域有深刻的理解,丰富的数据架构经验,精通数据建模及etl设计开发;有较为系统的海量数据性能处理经验;有前瞻性的整套数据管理、数据服务等解决方案的规划和落地经验尤佳;
2. 对公司业务有整体的理解,对数据业务场景非常敏感,能够有效结合业务和技术创新,全局地规划或完善数据服务体系以解决业务/产品的问题;
3. 具有大型跨部门的复杂项目或者技术领域的管理经验,有成熟的团队梯队建设经验和技能储备的思路;
4. 具备创新精神,逻辑思维能力强,商业嗅觉敏锐者优先;
第4篇 big data architect 大数据架构师职位描述与岗位职责任职要求
职位描述:
responsibilities
•project delivery
understand, analyze the customer requirements, and design the corresponding solution
assist clients in the definition of the information architecture, to enable and leverage business analytics capabilities, starting from client's requirements to define the strategic approach to design big data architectures
keep a close communication with clients and implementation team, clarify the question and doubt on both side, guarantee the project carried forward smoothly
deal with the other project issue according to the project condition.
•project preparation
coordinate with other team to prepare for the new opportunities and give the necessary support
•knowledge obtaining and sharing
keep desire to learn new technology, follow up the trend, and review and share the new knowledge regularly.
requirements
•basic requirement
bachelor’s degree
e_cellent communication skills (english & mandarin)
•technical skills
substantial e_pertise in advanced analytics technologies & solutions (incl. spss, sas, r, tableau, qlikview)
proven practical e_pertise in big data projects with hadoop ecosystem, nosql or cloud data management technologies, master to basic technical operation including but not limit to linu_, shell, sql, python etc.
good understanding to data model design, business analysis and data process, familiar with basic data process method and be able to handle the practical operation.
•soft skills
strong problem solving attitude and proactive behavior to growth
proven ability as a team leader with responsibility of defining customer needs and designing client’s solutions
•e_perience
e_perience in /as an architect in the data warehousing and bi structure (incl. sql / data modelling, data integration, data governance) for several projects
第5篇 高级大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责
1. 负责乐播私有云及大数据系统的规划和架构工作,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;
2.负责面向pb量级的数据查询、数据计算、数据存储以及数据模型与管理的总体架构与优化,提升数据查询的响应效率;
3.负责平台数据建模和设计工作,数据抽取,数据清洗,数据建模工作,具有etl设计与开发,数据质量保障,元数据管理,指标体系建立;
4.负责研发技术发展方向,新技术领域的探索,将新技术应用到项目;
任职资格:
1. 本科及以上学历,5年以上大数据平台架构经验,有多个数据产品开发和实施经验;
2. 熟悉bi平台架构,大数据解决方案及hadoop、spark大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有实践经验者优先;
3.精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架,有大型互联网项目经验或业内知名产品研发经验者优先;
4.精通面向对象分析和设计,并能熟练运用建模工具进行设计工作,且能够指导初中级人员进行开发和设计工作;
5. 深刻理解数据结构和算法设计,有系统分析和设计实践经验;
第6篇 航空业务-大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责民航大数据系统架构的整体规划、设计与研发;
2. 针对电子商务、在线营销等领域开展深入的数据挖掘和数据分析,构建大数据基础架构,优化建模,采集和处理海量数据,规划基于云服务的高效、可靠的数据访问能力;
3. 负责大数据服务平台的研发,带领团队独立完成大数据产品的设计与开发,解决技术开发过程中的技术难题。
职位要求:
1. 具备数据仓库理论和实践经验,熟悉hadoop、spark等大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有机器学习、推荐引擎、决策引擎等项目经验;
2. 熟悉web应用,移动应用,桌面应用等用户行为分析模型,精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架;
3. 有基于公有云、私有云的应用架构的项目经验,具备高可用性、高性能性、高扩展系统设计经验,对高并发系统架构设计有深刻理解;
4. 本科以上学历,5年以上大数据或大型项目架构设计经验;
5. 具备民航、旅游业相关行业经验有限;
6. 较好的英文沟通能力。
第7篇 民航大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责民航大数据系统架构的整体规划、设计与研发;
2. 针对电子商务、在线营销等领域开展深入的数据挖掘和数据分析,构建大数据基础架构,优化建模,采集和处理海量数据,规划基于云服务的高效、可靠的数据访问能力;
3. 负责大数据服务平台的研发,带领团队独立完成大数据产品的设计与开发,解决技术开发过程中的技术难题。
职位要求:
1. 具备数据仓库理论和实践经验,熟悉hadoop、spark等大数据相关技术,熟悉分布式系统基础设施中常用的技术,如缓存、消息中间件、搜索引擎等,有机器学习、推荐引擎、决策引擎等项目经验;
2. 熟悉web应用,移动应用,桌面应用等用户行为分析模型,精通java语言以及j2ee平台特性,熟悉常用的设计模式和开源框架;
3. 有基于公有云、私有云的应用架构的项目经验,具备高可用性、高性能性、高扩展系统设计经验,对高并发系统架构设计有深刻理解;
4. 本科以上学历,5年以上大数据或大型项目架构设计经验;
5. 具备民航、旅游业相关行业经验有限;
6. 较好的英文沟通能力。
第8篇 大数据架构师职位描述与岗位职责任职要求
职位描述:
岗位描述:
1. 制定公司的大数据发展(数据驱动、数据中台)规划、技术发展路线,建设合理的数据仓库架构;
2. 分析业界大数据技术使用情况,研究未来数据模型和计算框架的创新与落地;
3. 领导数据资产管理和系统化的数据模型建设;
4. 提升团队大数据能力,塑造团队在行业的技术影响力;
5. 对公司其他团队普及大数据技术能力,并带领团队提供大数据使用能力。
岗位要求:
1. 计算机/应用数学等相关专业、全日制本科及以上学历;
2. 具有7年以上大数据架构工作经验,拥有3年以上大型互联网公司相关经验优先;
3. 具有很强的数据设计抽象能力,具有海量数据、复杂业务的治理和管理经验;
4. 熟悉大数据架构与生态圈技术(如:hive、hbase、storm、kafka、es、kylin等);
5. 熟悉大数据技术演变历史,并能够总结发展特点;
6. 对数据挖掘、分析、算法、工程化、ai等技术了解者优先;
7. 具备良好的沟通协调能力、快速学习能力, 强烈的工作主动性和责任心,且热爱技术、具有钻研精神;
第9篇 大数据架构师岗位职责大数据架构师职责任职要求
大数据架构师岗位职责
工作职责:
负责大数据开发、数据挖掘、算法平台的技术架构及建设;
负责大数据实时检索分析平台的架构和建设;
负责pcg业务算法推荐,实时流计算框架的研发优化;
跟踪移动互联网开源大数据框架、新算法框架的技术选型及平台化预研及架构;
负责业务挖掘、算法应用的平台支持;
负责>;5人的技术或ft团队管理。
任职要求:
5年以上系统建设,设计,架构经验;4年以上大数据系统开发,设计,架构经验;3年以上软件工程管理经验;
熟悉商业智能系统,熟悉数据仓库,熟悉数据集市;
熟悉大数据相关技术:hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并阅读过相关源码;
管理过数据量上t级别,节点数300以上的大数据集群,开发,优化并管理过上t级别的大数据作业;
熟悉常用机器学习算法,了解深度学习,强化学习,迁移学习算法,了解相关原理(ff, bf, sgd等);
熟悉各种抽样方法(分层,过抽样等),特征处理方法(缺失值处理,离散化等);
熟悉机器学习框架或工具(spark mllib,tensorflow, caffe等),了解源码并能应用项目;
具备大数据云平台、计算存储平台、可视化开发平台经验,具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验,对大数据处理及应用有浓厚兴趣;
具备较强的团队管理能力和沟通能力,思维活跃,前瞻学习能力强;
了解软件项目管理、敏捷管理方法论,在中大型项目中有所实践。
第10篇 首席大数据架构师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责公司大数据平台系统架构设计、核心开发工作(hadoop生态圈),基于业务场景设计最优的系统解决方案。
2、构架大数据开发平台,包括数据采集、数据存储、数据计算、数据管理的平台系统及相关监控,推进平台的架构设计和实现。
3、利用hadoop、spark、flink等大数据技术对海量数据进行处理,支持建模(算法)的工程化实现,实现可视化bi分析。
4、对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。
5、了解机器学习等技术进行数据分析及建模的方案的系统化设计,跟进数据挖掘项目的架构设计工作。
6、解决部门遇到的技术难题,能够进行技术和培训。
任职要求:
1、统招本科或以上学历,计算机相关专业, 2年以上大数据项目经验、3年以上架构经验。
2、熟练使用cdh、hdp、fi等hadoop生态系统发行版套件,进行平台服务的安装、部署和维护。
3、具备较丰富的基于hadoop生态圈的大数据处理项目经验,熟悉数仓建设、数据中台建设
4、熟悉hadoop、hive、hbase、kafka、spark、flink、es、flume、sqoop、ozzie、tez、hue、azkanban、data_等大数据组件的使用和调优,了解数据分析和数据挖掘。
5、深刻理解大数据平台安全机制kerberos、ranger以及血缘分析套件atlas。
6、熟悉大数据应用开发平台的架构和设计,对数据采集、数据清洗、数据治理、数据质量管理、数据血缘分析、数据存储、作业调度、数据安全、数据分析有丰富的经验。
7、优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。
8、机器学习技术、数据挖掘经验丰富者优先考虑。