大数据架构师的职责.docx

大数据架构师的职责大数据架构师的职责大数据架构师的职责1职责：1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;2、负责实时计算平台基础架构设计、部署、监控、优化升级;3、制定项目数据仓库设计及实现规范，指导设计研发和部署;4、协助策略和算法团队工作，保障数据挖掘建模和工程化;5、深入研究大数据相关技术和产品，跟进业界先进技术。任职要求：1、3年以上大数据系统架构经验;2、精通HadoopHBaseHiveSparkFlinkKafkaRedis技术及其生态圈;3、具备JavaScalaPython等开发经验，熟悉数据挖掘和分析的策略与算法;4、精通数据抽取，海量数据传输，数据清洗的常用方法和工具。5、具备良好的系统分析能力、故障诊断能力;6、有大数据策略、算法、可视化经验优先;7、有在华为云存储产品和大数据产品的开发使用经验优先。大数据架构师的职责2职责1、负责企业级大数据平台、数据云服务的设计与开发;2、基于大数据生态圈，支持智慧交通等大数据场景应用实现;3、负责公司大数据产品的设计、封装与落地;4、负责学习大数据相关算法研究、实现与应用任职要求1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验，3年以上大数据架构设计、开发经验;2、精通大数据生态圈的技术，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备源码级问题解决和集群优化改造能力;3、熟悉常用编程语言，包括Java、Python、Scala等;4、具有很强的技术研发和创新能力，能有效把握技术发展方向，有较强的执行能力、学习能力、沟通能力、适应能力，责任心强;大数据架构师的职责3职责1、负责公司大数据平台的整体架构设计，包含数据收集、数据存储、数据挖掘、数据输出;2、负责规划从数据源到数据应用的整体流程，并参与用户产品和数据产品的决策;3、负责海量数据分析、用户行为分析，构建用户数据模型;4、负责解决核心技术问题，对技术方案进行决策;5、技术团队管理。6、熟悉手机IOS、安卓系统APP开发任职资格1、计算机相关专业毕业，本科以上学历;2、5年以上相关工作经验，具备软件产品架构设计经验，熟练掌握高性能、高扩展性架构设计方法;3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术，并能够基于上述项目开发大数据相关应用;5、熟悉基本数据挖掘方法和技术;6、强烈的敬业精神，良好的沟通与协调能力，能有效组织协调团队完成各类开发工作;7、热爱技术，相信数据的价值，对大数据有深刻的理解。大数据架构师的职责4职责：1.负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策2.参与数据挖掘和建模相关核心算法的代码实现3.负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施5.负责数据库设计、应用架构设计、核心技术选型等工作6.协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行7.培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题任职要求：1.熟悉大数据和数据仓库的系统架构设计方法2.熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)3.熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验4.熟练使用JAVA，具有大规模分布式系统调优经验5.熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;6.具备良好的团队合作精神，对工作充满激情。7.熟悉FusionInsight平台开发经验者优先大数据架构师的职责5职责:1)负责公司软件产品整体架构的设计和关键功能实现2)负责公司架构长期看护以及优化;3)负责软件部门各模组间的协调配合;4)提高巩固软件代码质量;5)负责大数据流式框架的设计、优化及部署;6)规划研发部门员工的技术发展路线并提供必要的帮助和指导任职资格:1)本科及以上学历，计算机相关专业，5年以上工作经验;2)频繁换工作，比如一年一个公司，请绕路;3)3年以上产品架构经验，主导过产品的成功上线;4)对底层设备通讯协议，B/S系统，手机APP开发等