六三科技网
您的当前位置:首页大数据架构师岗位的基本职责(6篇)

大数据架构师岗位的基本职责(6篇)

来源:六三科技网

大数据架构师岗位的基本职责

  1. 负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;

  2. 管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;

  3. 负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;

  4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

  5. 调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;

大数据架构师岗位的基本职责

  职责:

  1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

  2. 负责实时计算平台基础架构设计、部署、监控、优化升级;

  3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;

  4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;

  5. 深入研究大数据相关技术和产品,跟进业界先进技术;

  任职要求:

  1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;

  2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

  3. 具备良好的系统分析能力、故障诊断能力;

  4 有大数据策略、算法、可视化经验优先。

大数据架构师岗位的基本职责

  职责:

  1、正确理解业务需求,对需求进行工作量评估;

  2、参与项目相关的需求、设计、投产手册等文档的编写;

  3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;

  4、配合测试组修复代码缺陷,确保功能实现与代码质量;

  5、负责所承担功能模块投产、部署,及上线后的日常维护;

  6、完成项目经理或者架构师安排的其他工作;

  任职资格:

  1、本科以上学历,计算机相关专业,两年以上大数据开发经验;

  2、熟悉Linux 环境,掌握shell或python;

  3、熟练使用hadoop,hive,HBase,YARN,kafka,spark等大数据开发组件;

  4、精通 ETL,数据仓库的设计和开发;

  5、有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储;

  6、较强的动手能力和学习能力,良好的沟通能力、团队协调能力;

  7、具有银行、金融行业从业背景者优先。

大数据架构师岗位的基本职责

  职责:

  1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

  2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

  任职要求:

  1、本科及以上计算机相关专业毕业;

  2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;

  3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;

  4、掌握常见数据流接入工具,包括Flume、kafka等;

  5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

  6、掌握一种或以上实时处理语言,如JAVA、SCALA、PYTHON等,有SCALA经验者优先;

  7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师岗位的基本职责

  职责:

  1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

  2.梳理公司各业务线常用的指标和维度,统一指标定义口径

  3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

  4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

  5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

  岗位要求:

  1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

  2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

  3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

  4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

  5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师岗位的基本职责

  职责:

  1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

  2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;

  3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

  4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;

  5、参与公司大数据项目前期的架构设计工作;

  任职要求:

  1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

  3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;

  4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;

  5. 熟练掌握java、R、python等1-2门数据挖掘开发语言;

  6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;

  7、有烟草或制造行业大数据解决方案售前经验者优先;

  8、能适应售前支持和项目实施需要的短期出差;

因篇幅问题不能全部显示,请点此查看更多更全内容