六三科技网
您的当前位置:首页大数据架构师岗位的职责内容(4篇)

大数据架构师岗位的职责内容(4篇)

来源:六三科技网

大数据架构师岗位的职责内容

  职责:

  1、负责面向信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

  2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

  3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

  4、负责指导研发完成大数据产品的开发

  5、带领团队进行产品核心技术的创新和积累

  岗位要求:

  1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

  2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

  3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

  4、有实际应用storm、spark、flume、kafka等项目经验优先;

  5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

大数据架构师岗位的职责内容

  职责:

  1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

  2、负责实时计算平台基础架构设计、部署、监控、优化升级;

  3、制定项目数据仓库设计及实现规范,指导设计研发和部署;

  4、协助策略和算法团队工作,保障数据挖掘建模和工程化;

  5、深入研究大数据相关技术和产品,跟进业界先进技术。

  任职要求:

  1、3年以上大数据系统架构经验;

  2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;

  3、具备Java Scala Python等开发经验,熟悉数据挖掘和分析的策略与算法;

  4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。

  5、具备良好的系统分析能力、故障诊断能力;

  6、有大数据策略、算法、可视化经验优先;

  7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师岗位的职责内容

  职责:

  1、负责大数据项目平台架构的评估、规划和设计

  2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行

  3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性

  4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现

  5、深入研究大数据相关技术和产品,跟进业界先进技术;

  6、根据项目要求编写相关技术文档;

  7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

  10. 负责对使用关键技术的预研和选型,完成 PoC ;

  11. 指导工程师完成开发工作,并能分享技术经验。

  任职资格:

  1、精通Linux操作系统,熟练使用Java;

  2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉Hadoop、Hbase、Storm、Spark、Pig等开源框架,并熟悉其工作原理;

  3、有Hadoop、Spark、Hbase平台性能调优经验;

  4、熟悉其它分布式存储相关技术,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

  5、熟悉Java开发常用框架.如Spring、MyBatis等;

  6、熟悉关系型数据库如oracle及数据库编程。

  7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。

  8、硕士以上学历,20xx年以上的工作经验。

大数据架构师岗位的职责内容

  职责:

  1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

  2. 参与数据挖掘和建模相关核心算法的代码实现

  3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

  4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

  5. 负责数据库设计、应用架构设计、核心技术选型等工作

  6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

  7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

  任职要求:

  1. 熟悉大数据和数据仓库的系统架构设计方法

  2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)

  3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

  4. 熟练使用JAVA,具有大规模分布式系统调优经验

  5. 熟悉AI相关算法,熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

  6. 具备良好的团队合作精神,对工作充满激情。

  7. 熟悉FusionInsight平台开发经验者优先

因篇幅问题不能全部显示,请点此查看更多更全内容