- 目录
第1篇 大数据架构资深工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的存储、计算等分布式系统;
2、为海量数据和大规模业务系统提供可靠的基础设施。
任职要求:
1、掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对 hdfs, rocksdb, leveldb, memcache, redis, mysql, hbase, kafka 的一项或多项有经验者优先;
4、计算方向:对 spark, mapreduce, storm, hive, presto, impala 的一项或多项有经验者优先;
5、集群管理方向:对 yarn, mesos 的一项或多项有经验者优先;
6、向开源社区贡献过 patch 者优先,请在简历上说明。
第2篇 大数据架构工程师 - 性能优化职位描述与岗位职责任职要求
职位描述:
工作职责:
1、参与计算框架和服务的定制和改进,为公司批处理和流式计算能力提供支撑;
2、深入理解业务场景,解决性能瓶颈,实现业务目标;
3、计算、存储和网络方面基础技术的探索和储备。
任职要求:
1、精通各种性能分析和调试工具,高效进行分析;
2、熟练的 c/c++/java 开发能力,代码质量高;
3、熟悉网络、linu_、hadoop 等系统,能够灵活解决新问题;
4、较好的团队协作和沟通能力。
第3篇 大数据架构高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的存储、计算、调度、监控等基础设施;
2、参与存储、计算、devinfra、监控当中的一个或多个方向。
任职要求:
1、掌握分布式系统原理,对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对 hdfs, rocksdb, ceph, hbase, kafka 的一项或多项有经验者优先;
4、计算方向:对 yarn, spark, flink, hive 的一项或多项有经验者优先;
5、devinfra方向:对 docker, mesos, kubernetes 的一项或多项有经验者优先;
6、监控方向:对 opentsdb, influ_db, prometheus, falcon 的一项或多项有经验者优先。
第4篇 大数据架构研发工程师职位描述与岗位职责任职要求
职位描述:
职位描述:
1. 负责大数据平台的架构设计、环境和框架的搭建以及部分核心编码工作;
2. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目;
3. 规划公司级数据平台,架构实时流与离线数据计算平台;
4. 对业务需求进行分析建模并持续进行优化,包括但不限于推荐、排序、用户画像等。
任职要求:
1. 本科及以上学历,5年以上大数据开发经验;
2. 深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及应用;
3. 深刻理解大数据处理实时流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法,有架构和设计实践经验;
4. 精通scala/java语言的一种或多种;
5. 有数据仓库、大数据平台及数据挖掘架构设计经验