让数据用起来。
插图

数据中台
《数据中台:让数据用起来》
进入数据行业也有蛮长一段时间了,即便是在国内互联网Top企业,依旧觉得本司数智化做的很不好,很多数据并没有很好的用起来。如何让数据用起来,也便成了自己这一段职业生涯中重点思考的事情,带着种种疑问,便读了本书,本书解决了我很多基本面的认知,补齐了很多数据赛道的专用术语,其中很多落地的实操性的举例,更是让自己更好的结合公司的情况应征了一番,很是有收获。
“让数据用起来”,既是终极目标,也是数据中台要为处于不同数据认知,成熟度阶段的企业实现的一个个具体目标。业务不会停滞,信息化不断追求自身的价值,数据部门力图与业务部门具有同等组织地位和话语权,业务部门不断提出新的挑战,政府在加速拉动数字经济建设,数据中台也就诞生于这一系列背景下,扛起了“让数据用起来”的重担。
数据中台是一套可持续的“让数据用起来”的机制,是一种战略选择和组织形式,通过有形的产品和实施方法论,构建的一套持续不断把数据变为资产并服务业务的机制。需要企业从战略,组织,人才等方面全方位规划,而不仅仅是工具和产品层面。目前,与数据中台并列的往往还有业务中台,但未来的企业可能只有一个中台,二者有合并趋势。
工具和产品层面的选择很多,而且这个方向新技术、新产品的周期愈来愈频繁,抛开单纯的有形的产品,更应该关注下实施的方法论,其中最为关键的就当为数据治理了。
数据治理主要涉及以下几个部分:
- 数据标准管理:基础标准,数据标准,技术标准,平台和工具标准,管理标准,安全和隐私以及行业应用标准。数据标准分为:业务术语标准,参考数据和主数据标准,数据元标准,指标数据标准。
- 数据模型管理:概念数据模型,逻辑数据模型,物理数据模型。
- 元数据管理:描述数据的数据,他是数据分析的作战地图,是数据治理的核心和基础。户口本对个人信息的登记。通常分为如下三类:技术元数据(库表结构,字段约束,etl程序,sql程序),业务元数据(业务指标,业务代码,业务术语),管理元数据(数据所有者,数据质量定责,数据安全等级)。元数据管理包括元数据的增删改查,变更管理,对比分析,统计分析等。元数据可以浏览检索,数据血缘分析(上游来源),影响分析(下游流向),数据冷热度分析。
- 主数据管理:描述企业核心业务实体的数据。例如:供应商,客户,员工,产品,渠道,交易方式等。
- 数据质量管理:准确性,完整性,一致性,有效性,唯一性,及时性,稳定性,连续性,合理性。
- 数据安全管理:设置安全等级。
- 数据价值管理:从质量,成本,应用价值等维度评估。
- 数据共享管理:共享交换,内外部流通。
- 生命周期管理:不可恢复数据,可恢复数据。
- 标签管理
- 数据资产门户:数据资产地图,数据资产目录,数据资产检索。
最近在做很多标签的工作,对书中关于数据资产质量评估的地方有蛮多体会,也重点摘录下此部分
- 源头数据质量
数据源安全性(是否授权,合法取得),数据源准确性,数据源稳定性(生成周期,数据量,格式,取值区间),数据源时效性(数据间隔可控)。
- 加工过程质量
标签测试准确率,标签产出稳定性,标签覆盖量,标签完善度,标签规范性,标签值离散度,使用价值质量,标签使用准确率,标签调用量,标签受众热度,标签可用率,标签故障率,标签关注热度,标签持续优化度,标签持续实用度,标签成本性价比。
《数据中台:让数据用起来》图书链接(提取码:v55d)