六三科技网
您的当前位置:首页大数据架构师岗位的主要职责概述(4篇)

大数据架构师岗位的主要职责概述(4篇)

来源:六三科技网

大数据架构师岗位的主要职责概述

  职责:

  负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

  负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

  负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

  负责协助策略和算法工作,保障数据挖掘建模和工程化;

  负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

  负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

  负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

  任职要求:

  本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

  精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

  熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

  熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

  熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

  具备源码级问题解决和集群优化改造能力者优先;

  能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

  逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

  具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

  具备良好的文档撰写能力和技术团队管理能力

大数据架构师岗位的主要职责概述

  职责:

  1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

  2、负责实时计算平台基础架构设计、部署、监控、优化升级;

  3、制定项目数据仓库设计及实现规范,指导设计研发和部署;

  4、协助策略和算法团队工作,保障数据挖掘建模和工程化;

  5、深入研究大数据相关技术和产品,跟进业界先进技术。

  任职要求:

  1、3年以上大数据系统架构经验;

  2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;

  3、具备Java Scala Python等开发经验,熟悉数据挖掘和分析的策略与算法;

  4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。

  5、具备良好的系统分析能力、故障诊断能力;

  6、有大数据策略、算法、可视化经验优先;

  7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师岗位的主要职责概述

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

大数据架构师岗位的主要职责概述

  职责:

  1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

  2、负责大数据平台的开发和维护,以及对外服务接口的开发;

  3、负责大数据平台的优化和改进工作。

  任职要求

  1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

  2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;

  3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;

  4、具有机器学习相关项目经验者优先。

因篇幅问题不能全部显示,请点此查看更多更全内容