文/张太胜 平台产品运营部
随着大数据技术的不绝更新和迭代，数据治理平台和工具获得了飞速的生长，相关看法如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据货仓、数据湖、大数据平台、数据中台等，这些看法特别容易混淆，本文对这些名词术语及内涵进行系统的解析，便于对数据行业相关看法有全面和深刻的认识。
HZERO
01
数据行业相关看法回首
01
商务智能BI
Business Intelligence
是一种以提供决策剖析性的运营数据为目的而建立的信息系统。属于在线剖析处理：On Line Analytical Processing(OLAP)，将预先盘算完成的汇总数据，贮存于魔方数据库(Cube) 之中，针对庞大的剖析盘问，提供快速的响应。
在前10年，BI报表项目比较多，是数据货仓项目的前期预热项目（主要剖析为主的阶段，是数据货仓的初级阶段），制作一些可视化报表展现给治理者。
02
BI的焦点特点
The core features
它利用信息科技，将疏散于企业内、外部种种数据加以整合并转换成知识，并依据某些特定的主题需求，进行决策剖析和运算；
用户则通过报表、图表、多维度剖析的方法，寻找解决业务问题所需要的计划；
这些结果将呈报给决策者，以支持战略性的决策和界说组织绩效，或者融入智能知识库自动向客户推送。
03
数据货仓
Data Warehouse
一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反应历史变革的（Time Variant）数据荟萃，用于支持治理决策和信息的全局共享。
其主要功效是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大宗资料，透过数据货仓理论所特有的资料贮存架构，进行系统的剖析整理，以利种种剖析要领如联机剖析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创立，资助决策者能快速有效的从大宗资料中，剖析出有价值的资讯，以利决策拟定及快速回应外在情况变换，资助建构商业智能(BI)。
主题：是指用户使用数据货仓进行决策时所体贴的重点方面，如：收入、客户、销售渠道等；所谓面向主题，是指数据货仓内的信息是按主题进行组织的，而不是像业务支撑系统那样是凭据业务功效进行组织的。
集成：是指数据货仓中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的历程，因此数据货仓中的信息是关于整个企业的一致的全局信息。
随时间变革：是指数据货仓内的信息并不可是反应企业目今的状态，而是纪录了从已往某一时点到目今各个阶段的信息。通过这些信息，可以对企业的生长历程和未来趋势做出定量剖析和预测。
04
数据湖
Data Lake
作为存储企业的种种各样原始数据的大型货仓，其中的数据可供存取、处理、剖析及传输。数据湖是以其自然花样存储的数据的系统或存储库，通常是工具blob或文件。
数据湖通常是企业所有数据的简单存储，包括源系统数据的原始副本，以及用于报告、可视化、剖析和机械学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。
目前，Hadoop是最常用的安排数据湖的技术，数据湖是一个看法，而Hadoop是用于实现这个看法的技术。
05
数据平台
Data Platform
数据平台是在大数据基础上泛起的融合了结构化和非结构化数据的数据基础平台，为业务提供效劳的方法主要是直接提供数据集。
数据平台的泛起是为了解决数据货仓不可处理非结构化数据和报表开发周期长的问题，所以先撇开业务需求、把企业所有的数据都抽取出来放到一起，成为一个大的数据集，其中有结构化数据、非结构化数据等。当业务方有需求的时候，再把他们需要的若干个小数据集单独提取出来，以数据集的形式提供应数据应用。
大数据时代，数据平台一般被称之为大数据平台。狭义上的大数据平台和古板数据平台的功效一致，只是技术架构和数据容量方面的差别，但广义的大数据平台通常被付与更多的使命，它不但存储多样化的数据类型，还具有报表剖析等数据货仓的功效，以及其他数据剖析挖掘方面的高级功效。
06
数据中台
Data center
通过对企业内外部多源异构的数据收罗、治理、建模、剖析和应用，使数据对内优化治理提高业务价值，对外进行数据相助让业务价值获得释放，使之成为企业数据资产治理中枢。
数据中台的使命和愿景是让数据成为如水和电一般的资源，随需获取，敏捷自助，与业务更多连接，使用更低本钱，通过更高效率的方法让数据极大发挥价值，推动业务立异与厘革。
一切业务数据化，一切数据效劳化，一切数据业务化。
One Data；One ID; One Service。
建立在数据货仓和数据平台之上，是加速企业从数据到业务价值的历程的中间层。
02
术语之间的区别与联系
介绍完数据相关术语的看法之后，进一步探索这些术语之间的区别与联系，详情如下：
数据集市VS数据货仓
数据货仓VS数据湖
1.在贮存方面上，数据湖中所有数据都坚持原始形式进行存储，并且仅在剖析时再进行转换。数据货仓就是数据通常从事务系统中提取。
2.数据湖的很是适合深入剖析的非结构化数据，数据科学家用具有预测建模和统计剖析等功效的高级剖析工具进行数据挖掘。而数据货仓就是数据货仓很是适用于月度报告等操作用途，因为它具有高度结构化。
3.在架构中数据湖通常在存储数据之后界说架构，使用较少的初始事情并提供更大的灵活性。在数据货仓中存储数据之前必须先界说架构。
数据货仓VS数据平台
数据货仓具有历史性，其中存储的数据大多是结构化数据，数据平台的泛起解决了数据货仓不可处理非结构化数据和报表开发周期长的问题。
数仓&数据平台VS数据中台
数据货仓具有历史性，其中存储的数据大多是结构化数据，数据平台的泛起解决了数据货仓不可处理非结构化数据和报表开发周期长的问题。
Tips：当大数据平台满足以业务为驱动的建设模式和数据效劳化的条件，大数据平台一般也可看做是数据中台
03
新兴的数据看法
当我们正在叹息从数据货仓到数据湖、从数据平台到数据中台的演化如此迅速之时，其它新兴的数据看法也已悄然到来。例如Data mesh看法的提出，改变了数据湖或者数据货仓的集中式范式，将企业数据平台从单体式架构演进成具有微效劳特性的漫衍式数据平台，而这种架构应该更能满足数据中台关于灵活的数据效劳化的要求。
01
漫衍式数据平台
Data Mesh
一个漫衍式数据平台的焦点是一组用面向域的数据产品、用自效劳的方法使用数据技术设施提供的数据流水线（清洗、组合、富厚等）或合规（数据鉴权、隐私、宁静等）的公共效劳、并接受数据产品思维的设计和治理，以及和企业交付基础设施深度集成。
Data mesh看法的提出，改变了数据湖或者数据货仓的集中式范式，将企业数据平台从单体式架构演进成具有微效劳特性的漫衍式数据平台，也是企业构建数据中台的较好实践。
企业选择漫衍式数据平台动因剖析？
1.目前企业广泛使用单体式架构，数据的沉淀、处理、和使用基本保存于错综庞大的源系统（Source Systems）中，其代码体系是庞大的；
2.数据立异的实质就是更细粒度业务的发明、实现、和规�；�，数据使用场景一定爆发频繁的细粒度扩展；
3.数据场景的使用有极高的独立性，业务需要数据平台凭据需求提供稳定且奇特的数据效劳；
4.数据平台面向的往往就是一个庞大的技术债，数据平台必须和技术债治理集中在一起考虑；
5.在云平台和开源数据工具蓬勃演进的今天，企业需要更快地引进新的数据工具和基础设施，其技术栈需要更快的演进。
02
78m威九国际HDSP产品
HDSP
78m威九国际HDSP产品正是应运这一新兴趋势，78m威九国际在HZERO框架上应用开源Hadoop生态产品结合行业经验打造微效劳漫衍式的大数据效劳平台HDSP，为企业数智化厘革立异连续赋能
78m威九国际HDSP
03
总结
最后，再次总结数据货仓，数据平台和数据中台几个焦点看法的区别与联系
01
在看法层面上
concept
数据平台和数据中台的技术能力都是基于数据货仓生长而来，在数据建设理论上一脉相承，他们处理的工具都是海量数据，效劳目的、商业价值也统一类似。
其实平台和中台，两者在能力上都有对外都提供Open API效劳。一方面，中台是业务应用，不具体代表着某种技术，它不是最终用户能直接使用的，必须结合企业的各个数据业务场景；
另一方面，平台是不带有业务特征性质的，主要搜集其他人的能力，整合成平台的能力，相对来说是静态的，而中台是动态变革的自己，需要通过数据驱动的方法来滋养业务，不绝训练调解业务模型和业务算法提供的能力，提供应其他系统宁静台集成的能力。
02
在数据层面上
DATA
数据货仓的数据来源主要来源于RDBMS，其中存储的数据花样以结构化数据为主，这些数据并非企业全量数据，而是凭据企业业务需求做针对性整合、抽取。
数据平台和数据中台的数据来源的期望都是全域级的数据，主要有结构化数据、半结构化数据、非结构化数据等。
03
在目标层面上
The target
数据货仓基于单机的，一旦数据量变大，会受单机容量、盘算以及性能等方面的限制。主要用来做报表剖析，目的性相对来说简单，只是针对相关剖析报表用到基础数据，进行抽取、整合、数据清洗和剖析。好比，新增一张报表，就要从底层到上层再做一次，流程上相对来说繁琐；
数据平台建立是为了解决数据货仓不可处理非结构化数据和报表开发周期长的问题以及盘算和性能等问题�Ｋ鸭下蛲ㄊ�，数据清洗后，当业务提出需求的时候，把业务方需要的若干个小数据集单独提取出来，以数据集的形式提供应业务方去使用；
数据中台通�；岫岳醋远喾矫娴幕∈萁惺萸逑春�，然后凭据主题域的看法建立多个以事务为主的主题域；和数据平台在底层建设上都是基于漫衍式盘算平台和存储平台，理论上可以通过无限扩充平台的盘算和存储能力。目标是都是为了融合整个企业的全域级数据，买通数据之间的隔膜，消除数据标准和口径不统一的问题。
04
在应用层面上
application
建立在数据中台上的数据应用场景，不但仅只是面向于数据报表开发剖析与展示处理，更多是将数据酿成效劳化的方法，然后提供应业务系统消费，发挥更大的价值。
企业在计划和建设历程中，应充分结合企业的业务需求，数据资产现状，技术资源现状，本钱投入和危害等因素选择刚恰好的数据产品和工具，让企业数据自己连续发挥价值。
更多内容
各人可以通过以下途径了解HZERO产品更多文档，最新动态、产品特性：
78m威九国际开放平台
https://open.hand-china.com/
78m威九国际开放论坛
https://openforum.hand-china.com/
（复制至浏览器中翻开）
各人可以体验试用HZERO：
请登录开放平台，选择HZERO产品进行试用，即可体验。
请在PC端翻开
沪ICP备14039535号-1
沪公网安备 31011802002577号