数字化转型的数据基础设施.pdf

数字化转型的数据基础设施

1数字化转型背景下，企业数据平台面临多重挑战

1.1数据平台是支撑企业数字化转型的核心基础设施

数据平台是企业进行数据分析和数据应用，从而实现数字化转型的核心基
础设施。通常，数据平台包含数据采集与接入、数据存储与计算、数据管理、
数据分析与挖掘、数据服务等功能。

图1典型数据平台架构
从业务的角度，数据平台支撑了企业数字化转型的各项需求，企业因此能
够实现精细化运营，从而降低运营成本、提高运营效率、提升创新能力。具体
而言，通过数据平台的应用，企业可以在业务中实现数据驱动，从而达成以下
目标：
1）准确洞察用户画像和用户需求；
2）及时感知市场趋势；
3）降低管理和生产成本；
4）设计和生产出更符合用户需求的产品；
5）更快地推出和迭代产品。

1.2企业数据管理与应用正面临一系列挑战
近年来，面对市场环境的快速变化，以及政府对发展数字经济的促进举
措，企业对数字化的价值的理解愈加深刻。在各行业企业或政府部门纷纷加快
数据基础设施的建设的同时，数据在企业经营管理中的应用广度和深度也随之
极大地扩展，由此带来数据管理与应用的一系列问题和挑战。
（1）数据规模持续膨胀，数据资产管理重要性提升
随着企业业务的快速发展以及全面的数字化，企业内部业务和数据系统会
变得众多，当这些数据汇聚之后，需要处理的各种结构化和非结构化数据的数
据规模也因此急剧膨胀。这给企业的数据应用和数据资产管理带来了以下问
题：
1）不确定数据价值。企业用户往往不能确定系统中有哪些数据，也不知道
自己的业务问题可以使用哪些数据来解决。
2）不能共享数据。企业缺少统一的数据管理标准，导致各业务部门之间难
以对数据进行汇聚、共享和使用，从而无法发挥大数据的协同价值。
3）难以获取所需数据。用户获取所需数据的过程太长和复杂，且缺乏有效
的数据开发工具，导致用户获取和使用数据存在困难。
（2）数据应用场景持续扩展，敏捷性、易用性、实时性、智能化要求提升
为了充分发挥数据的价值，数据驱动的决策和业务应用正逐渐渗透进企业
的各个部门和各个业务线。面对数据应用场景的持续扩展，企业对其底层数据
平台也提出更高的技术和能力要求，包括了敏捷性、易用性、实时性、智能化
四个方面的要求，具体如下：
敏捷性。企业存在大量数据分析，尤其是创新性的数据分析和应用需求。
但传统竖井式建设的信息系统修改困难、集成混乱；企业缺乏自有的技术开发
能力，无法快速响应业务需求。
易用性。数据平台逐渐由赋能数据部门转向全面赋能业务部门，而使用传
统数据平台需要的编程和数据分析能力是大部分业务人员所不具备的，因此需
要新一代的数据平台具备低门槛的自助分析能力，适应不同能力的数据或业务
人员。
实时性。企业在生产和运营中存在越来越多的实时决策场景，如何快速查
找、分析和获得数据洞察是当前数据平台面临的一大挑战，需要从平台的架构
设计、计算和存储引擎，以及业务流程优化上满足数据分析的实时性需求。
智能化。在数据应用越来越多的背景下，企业相关的人力配备已不能满足
需求，因此需要平台具备智能化的能力，一方面在数据分析环节引入自动化能
力，减少人工操作，降低人力成本。另一方面，通过平台的智能预测能力，提
高业务决策效率和能力。
（2）数据安全合规要求趋严
数字化时代，数据安全风险已经渗透在数据应用中的各个层面，例如数据
采集、数据传输、数据存储、数据共享等，因此企业数据泄漏造成的损失和风
险的可能在加大。与此同时，大众对数据隐私的关注，加上监管对数据安全要
求的趋严，都促使企业在搭建新一代的数据平台时，需要在各个层级上都建立
完善的安全机制防范数据泄漏的风险。
表1数据安全重点法律法规

2构建新一代数据基础设施：数据智能平台

2.1数据智能平台的定义

要定义新一代的数据基础设施，我们首先需要阐明在之前的发展阶段中，
不同阶段的数据基础设施产生的原因、应用场景和面对新阶段的需求时的局限
性。数据基础设施经过数十年的发展，已经依次经历了三个阶段：数据库、数
据仓库、大数据平台。
在数据库阶段，企业对数据的使用需求主要是面向管理层从宏观层面对公
司的经营状况做描述性分析，处理的数据为有限的结构化数据。
在数据仓库阶段，企业对数据的使用需求从面向管理层拓宽到面向业务人
员，主要满足一些业务监测和洞察类的数据查询和分析需求，处理的数据依然
以结构化数据为主。
在大数据平台阶段，企业需要处理大规模、多源异构的数据，对业务的监
测和洞察也更多地偏向诊断性和预测性分析。
而到了2019年之后数字化转型的新阶段中，企业对数据应用的范围从之前
的管理层和部分业务人员扩展到了跨部门、跨企业的数据共享，需要进行大量
面向业务，实时和智能决策的探索式、自助式分析，并且需要处理超大规