大数据项目组人员配置

大数据项目组人员配置

背景

目前公司大数据项目的优先级提升，数据项目对公司来讲具备极强战略意义

原有数据中心项目组成员经常变动，无法专注在一个项目上，因此输出速度和质量无法有效保障

原有数据项目的优先级和利害程度没有现在这么高，因此原有项目组人员配置不完整

目标分析

为了使数据中心能够更快更高质量落地，需要完善团队人员

为了提升数据中心的产品质量，需要完善团队人员

出发点

数据中心项目落地，并不仅仅与开发完成的软件系统相关，涉及到各方各面。其中包括前期咨询，中期系统建设，售后落地实施和售后保障。

举个例子，数据中心的落地，就好比开一家火锅店。数据中心这个系统仅仅相当于火锅店的底料配方。数据中心落地，就好比经营一家火锅店，还需要考虑菜品供应商，n多经营许可证，财务管理，店铺租用，成本核算，人员管理，制度建设等等方面。而这些方面恰恰是重要但是单从技术和产品角度无法预知和控制的方面，这方面没有经历过会有较大风险。

为了规避风险，提升落地可行性，提出以下人员配置的建议

人员配置结构

在大数据团队组建过程中，科学地定义职位体系直接影响到大数据实施的效率和质量，由于大数据的创新性和严谨性，会有一批新的岗位，例如首席数据官、大数据解决方案架构师、大数据采集工程师、大数据研究员等；同时，也会强化原有岗位的新生命力，例如网络工程师、算法工程师、系统架构师、咨询顾问、数据库管理与开发等。整个职位架构体系如下图所示

数据中心项目岗位体系

基础平台类

基础平台类：大数据基础平台共分为硬件平台和软件平台两大类别，硬件平台包括服务器、操作系统和网络维护等工作，主要由网络工程师负责；软件平台包括Hadoop运维、数据仓库管理、软件系统运维等工作，由 Hadoop运维工程师、数据仓库管理员和系统管理员负责。

技术研发类

技术研发类：技术研发类岗位指的是针对大数据相关系统、软件、产品和功能进行的开发，而非IT系统的开发。由于大数据类的开发是一个相对完整的工作链，并且具有特殊应用需求和场景特征，因此涵盖了几乎与IT系统相同的职能岗位。技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。

产品设计类

产品设计类：项目产品类岗位通常是每个公司不可或缺的岗位，这些岗位是有计划开发数据工作的基本前提，通常决定了一个产品或项目未来的方向和具体实施的概念定义。而项目产品类泛指数据项目工作的前端职位，含项目经理、产品经理、UI、UE等

偏向硬件管理工程师和运维工程师等。目前暂时由研发人员承担，这部分需要多少人需要什么人要研发来出建议

大数据架构师（近6个月内不重要，6个月后看发展方向决定是否需要）：作为大数据技术平台成功落地的重要保障，大数据架构师在大数据技术发展之初就已经奠定了必不可少的角色基础，该职位主要负责Hadoop技术解决方案的整个生命周期的解决方案确定并进行引导，包括：大数据需求分析、平台选择、技术架构设计、应用设计和开发、应用测试和部署等大数据实施全流程的跟踪，并在实施过程中带领技术团队，为设计和开发大规模集群的数据处理系统提供技术和管理。作为一个或多个领域的系统架构专家，更要面向未来：设计领先的软件架构，洞察所在领域的系统技术发展趋势，提出新的系统架构理念，主导架构技术项目开展架构原型的验证，保证未来新产品的软件架构具有领先的架构竞争力；改进已有产品的软件架构，分析行业内重点产品的软件架构，识别软件架构设计方面的问题，提出解决建议和方案，并指导改进；提升团队的软件架构设计能力，时刻洞察技术发展动态，指导技术开发人员及时升级系统技术

数据仓库架构师（重要，当前无此角色，可以内部培养或外部招人）：数据仓库的架构设计及数据集市建设，带领团队落地及后续的运维，负责各条业务线的数据整合方案设计及日志规范，数据分析指标体系建设及元数据管理，并要稽查和监控数据质量，数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。在技能要求上，精通SOL、SSIS、SSRS和OLAP等进行数据库及数据模型设计，如使用Oracle/HANA建立数据仓库，熟悉Kettle、Informatic、Datastage、DataService等ETL开发工具（目前很多ETL工具也支持Hadoop），了解行业内的各种数据仓库应用案例和商业智能（BI）实时动态。如使用Hadoop、Storm、Spark建立数据仓库，精通大数据分布式平台技术，熟悉Java、Scala、Map/Reduce、HiveSQL、SparkSQL等技术。同时，根据企业数据仓库技术发展的实际情况，可能需要使用Oracle与Hadoop相结合的方式完成工作。

数据ETL工程师（实施时候非常重要）：1、 负责数据库及ETL开发； 2、 负责从数据源系统抽取、转换、清洗数据，将数据推送到公司软件产品数据库中； 3、 研究跟进数据库开发技术，为各业务系统提供数据及报表支持； 4、 负责项目开发、测试过程中的数据错误排查和修正工作； 5、 负责项目实施过程中数据源分析，并完成ETL报表统计； 6、 负责处理生产环境中遇到的数据库等问题； 7、 独立进行系统的部署与性能调试。这些工作要求工程师了解企业数据流通机制，精通Oracle、MySQL、NoSQL等数据库的工作原理和主流的大数据接入技术（Kafka、Storm、Flume、MQ、SparkStreaming），熟悉Nginx日志、算法设计、数据结构、Java和Scala等

开发工程师（已有，壁垒不高）

数据仓库产品经理（已有，1主1副）

数据分析师

近4个月不需要，项目落地之后，有数据产生之后，该岗位会以具体情况来看是否重要

前置条件

有数据回收回来之后该岗位才会产生价值

子主题

数据应用产品经理

设计应用数据的app的产品经理。需要对用户侧的感知非常敏感。偏重体验类的设计

近4个月不重要，项目落地之后，有数据产生之后，该岗位会变得重要。

曾经做过面向C端或对用户体验类产品设计，对公司体系和思路都比较认同的产品经理

实施项目经理

负责制定项目实施流程的项目经理，能够制定数据治理项目实施流程，实施规范，实施checklist，能够配置实施人员团队并且完成数据治理项目的全实施流程的人。包括但不限于数据梳理，数据采集，数据etl，质检等。

无，非常重要

该角色决定项目是否能够落地