上期我們講到了高校數(shù)據(jù)中臺(tái)“要不要遷移”和“怎么遷移”的問(wèn)題，因?yàn)槠拗?，“怎么遷移”只介紹到了數(shù)據(jù)湖集成的部分。其實(shí)數(shù)據(jù)湖集成的關(guān)鍵在于梳理業(yè)務(wù)系統(tǒng)入湖的需求（范圍要求、實(shí)時(shí)性要求）和按需進(jìn)行入湖策略的設(shè)置，這部分因?yàn)樵陂_發(fā)過(guò)程中我們就把復(fù)雜的代碼過(guò)程轉(zhuǎn)換成了可供選擇的配置項(xiàng)，所以操作起來(lái)難度應(yīng)該不大。

之后的標(biāo)準(zhǔn)層遷移、下行接口遷移、質(zhì)量規(guī)則遷移和A尸l接口遷移因?yàn)樯婕暗酱a標(biāo)準(zhǔn)&數(shù)據(jù)標(biāo)準(zhǔn)升級(jí)、集成工具替換、質(zhì)量規(guī)則優(yōu)化、無(wú)感知接口遷移等很多對(duì)標(biāo)和優(yōu)化工作，需要人工＋智能化輔助工具結(jié)合的方式進(jìn)行“又快又好”雙管齊下的遷移。這期我們就來(lái)詳細(xì)聊聊這些工作怎么做。

標(biāo)準(zhǔn)層遷移

將學(xué)校原數(shù)據(jù)中心的代碼標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)模型遷移至迪塔維數(shù)據(jù)中臺(tái)4.0中，重新進(jìn)行代碼的比對(duì)、確認(rèn)、轉(zhuǎn)標(biāo)，完成代碼標(biāo)準(zhǔn)的迭代升級(jí)，并以八大域數(shù)據(jù)目錄進(jìn)行數(shù)據(jù)的重新歸類。

◆ 確認(rèn)需要遷移的標(biāo)準(zhǔn)模型范圍及優(yōu)先級(jí)

◆ 數(shù)據(jù)標(biāo)準(zhǔn)模型遷移

遷移方式有批量導(dǎo)入、自動(dòng)反向和人工新建三種，需注意新建時(shí)PG數(shù)據(jù)庫(kù)對(duì)大小寫敏感，需以小寫的方式進(jìn)行字段命名，并按八大域目錄進(jìn)行模型的劃分。

◆ 模型主鍵設(shè)置

◆ 集成接口的遷移

l 批量遷移

批量遷移來(lái)源可選擇ODI、DDI、KETTLE等常見(jiàn)的第三方工具，填寫數(shù)據(jù)庫(kù)連接信息后，按需對(duì)遷移接口進(jìn)行勾選，即可一鍵生成相應(yīng)的接口信息，再進(jìn)行人工調(diào)優(yōu)。

l 人工新建

注意以下幾點(diǎn)：

【多表關(guān)聯(lián)】：多表關(guān)聯(lián)集成時(shí)，需確認(rèn)好主外鍵關(guān)系及關(guān)聯(lián)方式，在數(shù)據(jù)庫(kù)中測(cè)試無(wú)誤后方可進(jìn)行配置，以防出現(xiàn)關(guān)聯(lián)后數(shù)據(jù)量不一致的情況；

【數(shù)據(jù)轉(zhuǎn)標(biāo)】：若代碼標(biāo)準(zhǔn)確認(rèn)且已完成數(shù)據(jù)對(duì)標(biāo)及映射，則可在集成時(shí)進(jìn)行轉(zhuǎn)標(biāo)操作，確保進(jìn)入到標(biāo)準(zhǔn)層數(shù)據(jù)的準(zhǔn)確性。

◆ 無(wú)主鍵接口的遷移

同數(shù)據(jù)入湖，無(wú)主鍵表需通過(guò)集成工具（或通用集成方式）進(jìn)行接口的遷移，集成工具僅支持低頻調(diào)度的方式進(jìn)行任務(wù)調(diào)度設(shè)置。

◆ 任務(wù)調(diào)度的配置

同入湖調(diào)度，分為實(shí)時(shí)流和高頻輪詢兩種模式。具體操作已在上篇說(shuō)明，不再贅述。

◆ 標(biāo)準(zhǔn)層視圖的遷移

視圖的遷移是標(biāo)準(zhǔn)層遷移中的重、難點(diǎn)。如果新舊數(shù)據(jù)中心所使用的數(shù)據(jù)庫(kù)類型不同，將造成很多函數(shù)的不可用，人工遷移又會(huì)耗費(fèi)大量成本。別擔(dān)心，我們有聰明又高效的SQL翻譯機(jī)工具，能快速進(jìn)行異構(gòu)數(shù)據(jù)庫(kù)視圖的翻譯和遷移，極大地提升遷移效率。

下行接口遷移

完成原集成工具（如ODI）中的下行接口1:1遷移，在不影響學(xué)校第三方業(yè)務(wù)的情況下，進(jìn)行臨摹式的下發(fā)接口遷移工作。

◆ 下行ETL接口信息梳理（下發(fā)源表、目標(biāo)表信息、代理執(zhí)行時(shí)間，目標(biāo)庫(kù)連接信息）

◆ 下行ETL接口遷移

l 有中間庫(kù)

按照原有下行接口在集成工具中進(jìn)行接口制作。流程為：

l 無(wú)中間庫(kù)

需跟學(xué)校溝通，要求業(yè)務(wù)廠商提供中間庫(kù)后再進(jìn)行下發(fā)。若不能提供，則需通過(guò)新數(shù)據(jù)中臺(tái)開放中間庫(kù)用戶，再依照上述流程進(jìn)行數(shù)據(jù)下發(fā)。

注意兩個(gè)“嚴(yán)禁”：

（1）嚴(yán)禁對(duì)業(yè)務(wù)系統(tǒng)直接推送數(shù)據(jù)；

（2）嚴(yán)禁業(yè)務(wù)廠商直接讀取標(biāo)準(zhǔn)層的表或視圖。

◆ 做好下行ETL接口遷移的文檔記錄和交付

質(zhì)量規(guī)則遷移

對(duì)標(biāo)準(zhǔn)層的數(shù)據(jù)質(zhì)量檢測(cè)配置進(jìn)行遷移及優(yōu)化，確保數(shù)據(jù)的準(zhǔn)確性。

◆ 原數(shù)據(jù)中心數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則梳理

◆ 數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則調(diào)整

需按照PG數(shù)據(jù)庫(kù)的語(yǔ)法要求將質(zhì)量檢測(cè)規(guī)則進(jìn)行重構(gòu)（可借助SQL翻譯機(jī)）。

◆ 空數(shù)據(jù)表及空字段信息梳理

◆ 數(shù)據(jù)質(zhì)量檢測(cè)新需求收集

例如：人員相關(guān)數(shù)據(jù)的檢測(cè)一律添加過(guò)濾條件，只檢測(cè)在職教職工。

◆ 數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則配置

質(zhì)量檢測(cè)在數(shù)據(jù)湖層進(jìn)行還是在標(biāo)準(zhǔn)層進(jìn)行以學(xué)校意見(jiàn)為主，建議在數(shù)據(jù)湖層進(jìn)行，因?yàn)檫@樣可以發(fā)現(xiàn)數(shù)據(jù)源頭的更多問(wèn)題，而標(biāo)準(zhǔn)層是經(jīng)過(guò)清洗轉(zhuǎn)換的，不能真實(shí)表達(dá)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量情況。

注意過(guò)濾條件有兩種添加方式，一種是在新建規(guī)則時(shí)將過(guò)濾條件加入到規(guī)則語(yǔ)句中，另一種是在字段規(guī)則配置時(shí)填寫過(guò)濾條件。前者會(huì)造成規(guī)則重復(fù)且難以區(qū)分，建議以第二種方式進(jìn)行處理。

配置規(guī)則時(shí)，需設(shè)置標(biāo)識(shí)字段，用于辨別違規(guī)數(shù)據(jù)，例如人事信息的標(biāo)識(shí)字段一般設(shè)置為姓名和職工號(hào)，如下圖所示：

◆ 在線數(shù)據(jù)調(diào)試

◆ 配置任務(wù)調(diào)度周期

一般開始時(shí)間設(shè)置在標(biāo)準(zhǔn)層集成任務(wù)之后，檢測(cè)周期根據(jù)數(shù)據(jù)變化情況可選擇每日、每周或每月等。

◆ 質(zhì)量檢測(cè)報(bào)告輸出

我們會(huì)分業(yè)務(wù)系統(tǒng)輸出質(zhì)量檢測(cè)報(bào)告，對(duì)比檢測(cè)結(jié)果與學(xué)校溝通，進(jìn)一步優(yōu)化檢測(cè)規(guī)則。

◆ 質(zhì)量檢測(cè)提醒

質(zhì)量檢測(cè)報(bào)告經(jīng)優(yōu)化確認(rèn)后，可以配置質(zhì)量檢測(cè)提醒，定期發(fā)送給各業(yè)務(wù)部門進(jìn)行質(zhì)量問(wèn)題確認(rèn)，我們支持對(duì)接郵箱、企業(yè)微信、釘釘?shù)戎髁髑腊l(fā)送消息提醒。

API接口遷移

標(biāo)準(zhǔn)層切換完成后，將開放的API接口進(jìn)行遷移，要求在不改變域、調(diào)用地址、出入?yún)?、過(guò)濾方式、調(diào)用方法的前提下進(jìn)行無(wú)感知遷移。

◆ 原API接口梳理（接口名稱、接口地址、數(shù)據(jù)源、出入?yún)⒆侄巍PPID、密鑰、TOKEN、調(diào)用次數(shù)、應(yīng)用名稱、申請(qǐng)人等）

◆ 原API接口測(cè)試，排除僵尸接口、測(cè)試接口。

◆ API接口遷移

API接口遷移涉及復(fù)雜的接口調(diào)用、解析工作，這里我們提供一鍵遷移功能，可快速實(shí)現(xiàn)第三方接口的無(wú)感知遷移。自動(dòng)化完成接口在開放平臺(tái)上的注冊(cè)、解析、申請(qǐng)、認(rèn)證信息對(duì)比、可調(diào)用API生成及批量測(cè)試，最后我們配合學(xué)校將開放平臺(tái)IP切換或域名指向調(diào)整，完成對(duì)第三方API接口的無(wú)感知切換。

◆ 中臺(tái)API接口測(cè)試

為保證中臺(tái)切換上線后數(shù)據(jù)交換的平穩(wěn)流暢，中臺(tái)API接口要經(jīng)過(guò)多輪嚴(yán)格的測(cè)試，包括平臺(tái)一鍵測(cè)試、外部工具測(cè)試和負(fù)載壓力測(cè)試、網(wǎng)頁(yè)端適配測(cè)試（GET方式）等，并進(jìn)行持續(xù)調(diào)優(yōu)。

注意以下幾點(diǎn)：

l 一輪測(cè)試需詳細(xì)梳理測(cè)試結(jié)果，并進(jìn)行分類分析和接口修復(fù)。

l 接口負(fù)載測(cè)試（壓力測(cè)試）需至少對(duì)500并發(fā)、1000并發(fā)、1500并發(fā)進(jìn)行測(cè)試，根據(jù)壓測(cè)結(jié)果及學(xué)校使用場(chǎng)景的需求，可對(duì)API負(fù)載節(jié)點(diǎn)進(jìn)行新增。

◆ 第三方廠商協(xié)助聯(lián)調(diào)

打通接口測(cè)試的“最后一公里”，可以聯(lián)系使用頻率較高的廠商進(jìn)行真實(shí)場(chǎng)景模擬測(cè)試。

◆ 域名切換驗(yàn)證

所有測(cè)試均通過(guò)后，可與學(xué)校協(xié)調(diào)一個(gè)使用頻率相對(duì)較低的時(shí)間進(jìn)行域名的映射切換。我們會(huì)做好充分的風(fēng)險(xiǎn)預(yù)案，并配備技術(shù)人員進(jìn)行現(xiàn)場(chǎng)切換保障，隨時(shí)響應(yīng)突發(fā)問(wèn)題。

若切換后發(fā)現(xiàn)問(wèn)題且無(wú)法在短時(shí)間內(nèi)處理完成，則會(huì)馬上將域名切換回原開放平臺(tái)服務(wù)器，待問(wèn)題處理完成后再重復(fù)上述域名切換操作，直至平穩(wěn)切換。

遷移工作的總結(jié)

? 檢查與確認(rèn)

核對(duì)環(huán)境：根據(jù)實(shí)施計(jì)劃，核對(duì)各服務(wù)器的環(huán)境配置情況；

檢查部署：檢查各平臺(tái)的部署完成情況；

確認(rèn)數(shù)據(jù)：確認(rèn)數(shù)據(jù)遷移的完整性，驗(yàn)證數(shù)據(jù)傳輸?shù)姆€(wěn)定性；

測(cè)試驗(yàn)證：測(cè)試驗(yàn)證數(shù)據(jù)中臺(tái)的功能，判斷數(shù)據(jù)的使用狀況；

驗(yàn)證運(yùn)行：驗(yàn)證遷移后的各平臺(tái)、工具、業(yè)務(wù)的運(yùn)行情況。

? 歸檔與交接

文檔歸檔：指定負(fù)責(zé)人整理文檔，遷移完成后交付給學(xué)校留存；

知識(shí)沉淀：新知識(shí)、新經(jīng)驗(yàn)更新至迪塔維知識(shí)庫(kù)，完成知識(shí)共享。

? 風(fēng)險(xiǎn)和策略

遷移過(guò)程中可能發(fā)生的平臺(tái)、網(wǎng)絡(luò)、數(shù)據(jù)等方面故障，應(yīng)及時(shí)檢查，盡快恢復(fù)正常運(yùn)行；

對(duì)數(shù)據(jù)遷移過(guò)程中可能出現(xiàn)的數(shù)據(jù)丟失情況，應(yīng)及時(shí)做好備份，確保數(shù)據(jù)的完整；

API遷移過(guò)程中，可能因調(diào)用方式不兼容而引發(fā)故障，應(yīng)提前測(cè)試API接口的兼容性，避免出現(xiàn)事故。

特別強(qiáng)調(diào)：備份預(yù)案牢記心間，遷移安全防線共建！

數(shù)據(jù)中臺(tái)“怎么遷移”的問(wèn)題就介紹到這里了，不知道有沒(méi)有打消老師的一些疑慮呢？這里也請(qǐng)各位老師放心，我們會(huì)為每個(gè)現(xiàn)場(chǎng)配備技術(shù)支持，在遷移過(guò)程中出現(xiàn)任何異常情況時(shí)都可以及時(shí)響應(yīng)。遷移切換期間，我們會(huì)提前協(xié)調(diào)好開發(fā)、運(yùn)維等同事的支持，做好備份工作和回退方案，保證您的遷移工作安全無(wú)虞。