南京迪塔維數(shù)據(jù)技術(shù)有限公司，以數(shù)據(jù)之路為初心，自2014年成立以來，經(jīng)過7年多的深耕，公司秉承著“孜孜問道，數(shù)業(yè)專攻”的理念，在數(shù)據(jù)技術(shù)上不斷顛覆力求精進，在產(chǎn)品理念上也堅持了 “客戶定義產(chǎn)品”的發(fā)展思路，逐步在數(shù)據(jù)技術(shù)和教育行業(yè)的交叉口站穩(wěn)腳跟。
在解決方案正式發(fā)布前，我們將多年來積累的理念與解決方案進行分享，歡迎轉(zhuǎn)發(fā)、關(guān)注。本文作為系列文章的開篇，首先重點介紹數(shù)據(jù)倉庫技術(shù)相關(guān)架構(gòu)、概念和組成。
概念解讀
01
數(shù)據(jù)倉庫
目前數(shù)據(jù)倉庫的主流定義是數(shù)據(jù)倉庫之父Bill Inmon在1991年出版的《Building the Data Warehouse》一書中所提出的。
數(shù)據(jù)倉庫是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。
根據(jù)定義，我們逐條解讀一下數(shù)據(jù)倉庫的特點如下：
面向主題：數(shù)據(jù)倉庫中的數(shù)據(jù)按照主題域進行組織、存儲，非嚴格第三范式結(jié)構(gòu)。
集成的：分散的數(shù)據(jù)經(jīng)過抽取、清洗后，經(jīng)過系統(tǒng)加工、匯總和整理后，消除源數(shù)據(jù)的不一致性，形成整體的全局的信息。
相對穩(wěn)定的：數(shù)據(jù)主要應用數(shù)據(jù)查詢、分析、輔助決策類應用，進入倉庫的數(shù)據(jù)一般會長期保存、相對穩(wěn)定。
反應歷史變化：包含歷史信息（常用的數(shù)據(jù)切片、快照及數(shù)據(jù)拉鏈技術(shù)），歷史數(shù)據(jù)可追溯。
看到上述的特征大家會發(fā)現(xiàn)，數(shù)據(jù)倉庫的特點也正是目前數(shù)據(jù)中臺和數(shù)據(jù)治理的核心建設目標。
02
數(shù)倉組成
數(shù)據(jù)倉庫結(jié)構(gòu)包含：
基礎數(shù)據(jù)存儲，主要特點支持海量數(shù)據(jù)存儲，支持快速檢索。
數(shù)據(jù)集成工具，主要是ETL工具，以T+1的周期性同步、CDC增量同步、觸發(fā)式實時同步為主，數(shù)據(jù)源最早定義為關(guān)系型數(shù)據(jù)庫。
元數(shù)據(jù)，數(shù)據(jù)倉庫建模以星型模型為主，事實表+維表作為核心存儲結(jié)構(gòu)，多表之間星型或者雪花型結(jié)構(gòu)延展。表模型數(shù)據(jù)、描述信息以元數(shù)據(jù)的方式抽象重構(gòu)。
可視化分析工具，主要是以T+1報表的形式，將數(shù)據(jù)倉庫中的數(shù)據(jù)進行可視化呈現(xiàn)，例如經(jīng)典的28分析、庫存周轉(zhuǎn)率分析、商品關(guān)聯(lián)銷售分析等。
以上作為數(shù)據(jù)倉庫的基礎組成部分，在數(shù)據(jù)存儲方面，數(shù)倉又逐步形成了一直影響至今的幾個概念：
數(shù)據(jù)集市：以一個業(yè)務場景或應用域為邊界，構(gòu)建出一個數(shù)倉子集，數(shù)據(jù)經(jīng)過預計算后進行存儲。
ODS：用來存儲來自各業(yè)務系統(tǒng)的原始數(shù)據(jù)，是數(shù)據(jù)倉庫的前置庫，主要用于業(yè)務數(shù)據(jù)備份及減少ETL的復雜度。
03
數(shù)倉的沿革
隨著技術(shù)的沿革，我們可以發(fā)現(xiàn)，數(shù)據(jù)倉庫到大數(shù)據(jù)平臺再到數(shù)據(jù)中臺，各個基本架構(gòu)依然存在，只是名稱和功能外延發(fā)生了擴展。舉例來說：
ODS從最早的數(shù)倉前置庫，逐步演進到現(xiàn)階段的數(shù)據(jù)湖，貼源層這樣的概念，數(shù)據(jù)內(nèi)容從單純的關(guān)系型數(shù)據(jù)，逐步擴展到日志、信號數(shù)據(jù)，音視頻數(shù)據(jù)、圖文數(shù)據(jù)等，但是其核心作用依然與ODS的定義保持一致。
再比如說數(shù)據(jù)集市，在現(xiàn)在的中臺架構(gòu)中，數(shù)據(jù)集市逐步演變?yōu)榱藢ｎ}庫、主題庫的概念，但是本質(zhì)依然是為數(shù)據(jù)價值萃取，數(shù)據(jù)分析可視化等目標服務。
總結(jié)來說：
數(shù)據(jù)倉庫從提出概念到落地再到成熟，時間跨度上和Oracle從非主流到一統(tǒng)江湖的時間基本一致，在2010年左右數(shù)據(jù)倉庫的建設理念在企業(yè)、政府、金融等領(lǐng)域不斷落地、更新迭代，達到架構(gòu)發(fā)展的頂峰時期。
隨著Hadoop開源大數(shù)據(jù)架構(gòu)的推出，數(shù)據(jù)倉庫理念的統(tǒng)治地位也和 Oracle數(shù)據(jù)庫的地位一樣，逐漸開始進入了下行階段。
然而，無論是大數(shù)據(jù)平臺、數(shù)據(jù)中臺還是數(shù)據(jù)庫云都沒有在本質(zhì)上顛覆數(shù)據(jù)倉庫架構(gòu)，數(shù)據(jù)倉庫的核心理念依然存在于各個最新概念當中，不得不承認其思想和架構(gòu)的經(jīng)典。
迪塔維公司在創(chuàng)業(yè)伊始，有幸參與蘇州市國稅局的數(shù)據(jù)倉庫架構(gòu)體系建設，截止到目前為止公司也一直在參與江蘇省稅務局的數(shù)據(jù)倉庫建設體系。
基礎架構(gòu)圖如圖所示
經(jīng)過多年的發(fā)展，稅務數(shù)據(jù)倉庫體系的基礎依然屹立不倒，依然作為目前大數(shù)據(jù)風險管理、稅收風險識別等內(nèi)部業(yè)務的主要支撐平臺。
但是，隨著新興技術(shù)的發(fā)展，原有數(shù)據(jù)倉庫的核心組成部分已經(jīng)發(fā)生了一些變化，這與高校信息化行業(yè)中數(shù)據(jù)平臺的發(fā)展非常類似。
下一期我們將重點解讀一下數(shù)據(jù)倉庫技術(shù)在近20年間教育行業(yè)落地中的發(fā)展和變化。
作者：王珂