数据资产价值实现（四）| 企业数据集成驱动价值最大化

随着越来越多的企业意识到数据作为出产身分的价值，加快了企业数字化转型，把美满企业级的数据治理系统作为企业数字化转型的一个指标。UG环球科技在大数据领域始终维持足够的技术敏感度，并堆集了丰硕的经验与资产。为此，我们组织了一个系列专文，吩熠颁发，与您一路索求更适合当下行业发展的数据观，欢迎各人持续关注。

作者｜UG环球科技大数据钻研院

内容｜本篇共3960字，预计阅读功夫18分钟

数据是组织的战术资产，组织应该明显地相识“数据的战术价值”以及若何开释和利用数据来产生积极的业务影响。界说数据战术的起点首先是相识若何以一种经过沉思熟虑、可沉复、火速的方式使用数据来满足企业内表各类需要，从集成主数据起头，部署可沉用的高质量数据，最终实显祗业级的集成语义层。

需要驱动与业务驱动

l 需要驱动

很多组织习惯性地将需要驱动软件开发的传统步骤利用于数据平台类系统建设中，数据服务部门依照业务部门的需要进行设计、开发提供数据服务。数据服务部门日常穷于应酬业务部门用户需要，还要面对需要部门的抱怨，同时接受用户对数据的正确性、一致性以实时效性不中意。由于需要的分析了局不能交互共享，难以在组织内获得并充分利用数据的全数价值，不能解除企业层面的内部阻碍。他们日复一日沉复开发了数以万计的表，知路自己一向在沉复设计和分发类似的可能不正确或矛盾的数据，服务于特定主张需要职能，而很少关注数据自身，持续创建孤岛。

基于孤立的、部门的数据，只能产生业务特定的狭窄认知，不足支持业务急剧行动所需的黏合力、统一性与火速性，很难洞察出更多的业务价值，难以满足业务发展与竞争必要。部门领域的数据质量问题往往也难以实时发现，可能产生不良后果，如误导客户营销，增长风险，导致合规成本飙升等等，投入巨资沉复建设而获得的价值很幼。

l 数据驱动

设计优良的软件解决规划能够利用封装的可沉用职能组件，获得靠得住的质量保障，同时预防了沉复开发带来的各类成本与不确定性。

数据价值不在于预约义的处置职能，而在于数据自身。以数据为中心是一种矫捷的企业数据架构，在数据分析生态环境中部署可沉用的高质量数据：采集最宽泛起源的数据，依照统一的规范洗濯与转换数据，算帐冗余数据，提升数据的正确性、一致性与齐全性等内涵价值，形成反映企业齐全的数据单一视图。而后基于统一的数据创建分歧视图沉用于多种主张，并确保必要它的每幼我都能够接见它，将分析转移到数据中，而不是相反地——为每个需要复造数据。

在数据驱动的布景下，能够有效治理数据需要，新需要首先思考若何从已搭建的集成数据环境中寻找是否有可沉用的数据资产——获得 “免费午餐”，不必要重新起头，因而能够显著降低开发和守护成本，削减寻找数据的功夫，急剧部署响应市场变动和各类需要。

l 数据集成驱动业务价值

数据可能回覆几多业务问题，取决于数据能产生几多有意思的组合。冗余数据与垃圾数据将使可能的组合发散，有价值的数据被覆没在垃圾海洋中，不能产生更多的有价值的信息，使数据问题扩散，使用户蛊惑。数据集市的需要是确定的，因而数据是确定的，所能产生的组合也是确定的。

与分散的数据集市环境存在显著分歧，在企业集成数据环境中能够回覆的跨领域的业务问题，随着集成数据领域的增长，能回覆的问题呈指数级增长，这是回覆新问题、产生新价值的起源。

图1：数据可能回覆几多业务问题，取决于数据能产生几多有效组合

比尔·恩门以为数据的集成是数据仓库的第一真相。公司越大，这一点就越真实。数据集成是数据仓库建设的主题内容，必要深刻调研数据近况，排除垃圾与冗余数据，界说与分类数据，成立数据之间关系。这些工作必要具备专业能力与悠久韧性，一些供给商和照拂们忽视甚至倾轧集成，但是在数据仓库之表没有其他步骤能够进行集成，也没有捷径。

DAMA 等专业组织把数据集成与数据架构别离作为独立的职能。若是把数据集成作为数据架构的一部门，表表上似乎降低了对数据治理有关领域的理解难杜纂复杂度，但也降低了数据集成的沉要性，忽视了数据架构、数据集成、利用架构之间的关系。

高质量的数据资产

来自于高度的数据集成

彼得·德鲁克说过，效能致力于正确地做事，成效则是做正确的事。在数据仓库20多年的发展过程中，分歧供给商与用户角色专业人员对数据集成的理解与意识存在很大差距，大多停顿在表表的浅显理解中，或有意忽略或回避“数据集成”的性质，既不能正确地做事，也不能做正确的事，数据集成的成熟度没有得到质的提升。

代表高质量数据的齐全性来自数据的高度集成。中文语境下的“整合”概想，并不能覆盖英文语境“集成”概想的丰硕内涵。英文语境中集成与齐全性词根一样，能够说数据集成的性质指标是实现数据的齐全性，有清澈的尺度要求。把多个数据源以通用体式存储到数据湖中，而后转换为指标物理模型结构的数据，存储在一样的数据模型中，还不是齐全的数据集成。

数据集成在逻辑数据建模过程中必要发展以下设计工作：

l 查抄每个逻辑实体的界说、语义用处和领域，以查找可能的业求实体沉复项，这些实体可能以分歧的名称为人所知

l 鉴别出相对概想，进一步确保逻辑实体的唯一性。如客户是一个相对概想，某个组织 (第一性概想)买了银行的产品或服务成了银行的客户，这个组织同时也可能是银行的合作同伴、供给商或买卖敌手，要鉴别出这些角色背后的唯一的性质实体

l 确保每个实体事俘都有一个且只有一个唯一的标识符，即便在往事俘性命周期实现并从数据库中删除后，也始终不会将其沉新分配给新的实体事俘

l 遵循范式化规定，将“一个事实放在一个处所”，一个属性只能分配给一个实体，作为该实体的标识符或作为该实体的描述性属性，而不能分配给其他实体，在组织的数据领域内维持唯一性，从而实现真相的单一版本

l 成立衔接现实世界中业求实体的关系。从逻辑业务角度（而不是从报表模式或数据接见角度，统计报表中的分歧维度组合不是业求实体关系）捕获业务关系至关沉要，这些关系是此刻和将来所有已知和未知潜在接见模式的基础

l 在提升数据集成成熟度的同时，持续集成更多业务数据，把企业数据集成为一个有机的整体

图2：业务价值随持续集成的数据增长

从基础数据集成起头

确定集成路线图的初始数据领域很沉要，以确保承诺的价值交付功夫表。数据部门人员通�；岚盐鹊剑悍制绲睦眯枰�，时时必要一些一样的数据，如客户、机构、利率、汇率等主数据以嘉拷寮数据险些被所有利用所需。某些跨职能利用问题拥有宽泛的业务影响，必要多个主题域来回覆，提供前瞻性洞察。应选取求实的战术，尽快满足业务的火急需要，优先思考公共必要的数据以及那些直接支持业务指标的已知业务问题并为后续新项目增长附加价值的数据，如风险合规和财政管帐以及客户、产品主数据等，杠杆撬作为用大，见效快。

以客户数据为例，客户数据是企业的战术数据，企业价值的实现来自客户。作为关键主数据的客户数据，可能散布在组织内部门歧业务系统中，来自分歧数据源表白的信息身分各有侧沉，客户的结构属性可能有交叉、互补与差距，属性的体式与值有差距，客户纪录数也可能有差距，必要集成形成齐全一致的集中。分歧业业组织之间的客户数据也存在以上这些差距。好比保险业、银行业、电信业关注的信息身分可能有很多分歧，蕴含客户的界说信息、客户采办产品汗青、行为偏好等，若何从客户数据中获取价值，都将成为获得竞争优势的关键蹊径。

通过持续集成来自组织内表分歧数据，能够形成客户信息360° 视图，相识产品与服务组合的变动对客户的影响, 更快地鉴别客户需要、问题、机遇，扩大客户群，给分歧客户提供分歧服务，更有效地向客户交叉销售，提升客户给企业带来的价值。而在利用需要驱动的布景之下，如同盲人摸象，每幼我得到的仅是部门单方面的信息。

类似还有市场数据、产品数据的集成，出格是市场数据的集成，如基金市场的产品数据，银行既能够代销，也能够使用自有资金投资，本是统一产品概想，在通过分歧的渠路接入分歧的业务系统时设计了不一致的结构，守护了分歧的数据集中，在进行整应时往往不被鉴别出来而设计成分歧的概想，如代销基金产品、共同基金产品。

结合最新技术与实际

构建企业集成语义层

必要把稳的是，只管传统的ETL或ELT数据集成流程已经存在了好多年，但数据的集成并不料味着肯定伴随数据的移动与复造，能够与数据的地位无关，基于云的数据集成平台越来越普遍。复造必要功夫与资源，复造过程可能导致数据泄漏、迷失或变形失真。在许无数据平台与数据利用项目中，不休复造数据，把数据从业务源系统复造到数据湖，再加工复造到数据仓库，从数据仓库迁徙到各类集市，野蛮成长之后再进行治理。分歧业务系统中的数据价值差距悬殊，一些非主题业务系统中有价值的数据很少，都复造到数据湖中是不明智的。ChatGPT 推动的天生式 AI 鼓起，点燃了对高质量数据的需要(质量、时效性与覆盖领域)，传统ETL或ELT步骤不成能满足这些要求。

结合利用数据架构、分类法、本体模型、业务词汇表、元数据和知识图谱的关键元素，暗示组织知识和领域寓意，聚合和统一非结构化和结构化数据，界说数据之间的关系，通过持续的数据索求，集成和编目，构建集成的业务语义层，提供来自任何领域的一致信息视图，而无需将所有内容都复造移动到一个系统中。借助集成语义层，能够使用单一框架来接见、理解和集成知识资产，这也是实现人为智能的基础。

2016年 Noel Yuhanna（Forrester）初次提出了大数据编织概想，在Gartner推动下，数据编织已成为现代数据治理的沉要趋向。数据编织不强造数据物理迁徙，通过自动元数据、知识图谱、人为智能（AI）和机械进建（ML）等技术，动态整合跨平台、跨环境的数据，实现数据的自动化索求、集成、治理和交付。数据编织已从“创新萌芽期”进入“进展膨胀期”，虽没有全面成熟，数据虚构化、自动元数据治理、AI驱动的数据集成等技术已相对成熟，可用于实现逻辑数据集成和动态编排。

结语：

决策是凭据可用的数据做出的，数据集成越成功，用户越有能力提出与解决更复杂的问题�；谡鲎橹捎玫氖莸母呒队没芄惶岢霾⒔獯鸶嗟目缌煊虻奈侍�，提供竞争敌手看不到的业务洞察和整体治理业务的能力。对于很多组织来说，数据集成之路还很漫长，必要提升专业能力，必要有企业级的业务架构、数据架构和利用架构设计思虑，充分利用数据编织、人为智能、知识图谱、DataOps等新架构、新技术、新知识。

数据资产价值实现（三）| 优化数据治理生态

金融科技

2025.03.20

有关新闻

数据资产价值实现（三）| 优化数据治理生态

金融科技

2025.03.20

数据资产价值实现（二）｜把数据当作资产治理

金融科技

2024.12.23

数据资产价值实现（一）｜怎么理解数据即资产？

金融科技