六三科技网
您的当前位置:首页大数据架构师工作的职责(3篇)

大数据架构师工作的职责(3篇)

来源:六三科技网

大数据架构师工作的职责

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

大数据架构师工作的职责

  1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。

  2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。

  3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。

  4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。

大数据架构师工作的职责

  职责:

  1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

  2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计

  3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型

  4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队

  岗位要求:

  1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;

  2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

  3、熟悉统计学基本原理,做过实战的数据建模项目;

  4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;

因篇幅问题不能全部显示,请点此查看更多更全内容