1、產品概況
統(tǒng)一數(shù)據開發(fā)平臺是數(shù)據中臺能力的輸出源頭,是一組數(shù)據敏捷開發(fā)工具。數(shù)據開發(fā)平臺符合高校業(yè)務及技術特點,遵從全數(shù)據鏈路管理理念,為數(shù)據治理和數(shù)據應用賦能。統(tǒng)一數(shù)據開發(fā)平臺支持與中臺各組件的無縫對接,實現(xiàn)由元數(shù)據智能驅動的“設計”即“開發(fā)”,“所見”即“所得”的敏捷開發(fā)模式。從本質上縮短數(shù)據價值體現(xiàn)周期,提升數(shù)據價值開發(fā)效率。
2、產品功能

圖:統(tǒng)一數(shù)據開發(fā)平臺功能模塊
統(tǒng)一數(shù)據開發(fā)平臺的主要功能包括:
- ?數(shù)據集成
數(shù)據集成工具,是基于 Web 的簡潔的集成平臺,支持與統(tǒng)一身份認證對接,支持與數(shù)據治理平臺的信息標準、元數(shù)據、數(shù)據血緣無縫對接,集成界面可以根據元數(shù)據設置顯示中文語義描述,大大降低了數(shù)據集成工作的技術壁壘。支持各類常用大數(shù)據、關系型數(shù)據、API接口數(shù)據、文本數(shù)據、消息數(shù)據、非結構化數(shù)據的在線數(shù)據集成、交換。所有數(shù)據集成接口的開發(fā)定制均在web端通過拖拽實現(xiàn),無需編碼。它可以部署在校內私有云或內部數(shù)據中心,通過統(tǒng)一瀏覽器訪問提供數(shù)據線上集成服務,使用人員無需在本地安裝任何插件或客戶端。
工具充分考慮高校行業(yè)的特性,支持數(shù)據復制建表,支持批量生成接口,支持與數(shù)據治理平臺的雙向同步,支持批量生成數(shù)據接口,支持人工智能自動構建數(shù)據字段映射等,大大降低了數(shù)據交換時間成本和運維成本。

圖:數(shù)據集成工具
數(shù)據集成工具自動記錄所有集成過程和數(shù)據操作,為數(shù)據治理平臺和前臺數(shù)據應用提供數(shù)據血緣和數(shù)據影響分析資料。
- 日志處理
日志處理工具是基于Hadoop、ElasticSearch、ClickHouse分布式存儲的一站式日志處理工具,對不同日志源 (包括Windows系統(tǒng), Unix/Linux系統(tǒng), 應用程序, 路由器, 防火墻等)所產生的日志進行收集,實現(xiàn)日志的集中統(tǒng)一管理和存儲,具有實時檢索、查詢分析、監(jiān)控告警能力,并提供計算引擎(流式計算、批量計算)對數(shù)據做進一步的加工處理。
作為統(tǒng)一的日志處理中心,集中處理高校各類流式非結構化日志信息,這些數(shù)據可以來自任何能產生日志的地方,如網絡探針采集的日志信息、設備日志信息、應用服務器產生的日志信息等,相關人員可以對這些日志進行檢索與分析,從而更快的定位問題,并且持續(xù)挖掘數(shù)據價值。

圖:日志處理工具
對于采集的日志,工具可以引用對應的數(shù)據解析模板,對數(shù)據進行二次計算,通過設置不同的預警規(guī)則,實現(xiàn)日志數(shù)據的價值輸出,比如通過門禁日志、一卡通消費日志、流控日志來定位可能不在校的學生,通過日志來分析學生之間的關系、孤獨指數(shù)等。
日志處理基于分布式系統(tǒng)完成,能夠與關系型數(shù)據庫自動關聯(lián)實現(xiàn)實名化、業(yè)務化需求,日志可基于內存提供快速、實時的計算和結果輸出能力,支持前端日志搜索、與數(shù)據分析組件無縫對接,支持自定義輸出日志相關報表、圖表,實現(xiàn)數(shù)據資產的統(tǒng)一可視化輸出。
- 智能填報
智能填報工具建設將以“服務”為主旨,基于全域數(shù)據中心快速構建校內的表單數(shù)據填報服務,快速構建圍繞對象(教師、學生、資產)的無源信息采集業(yè)務。通過“一張表”代替單個或多個審批事項的多個申請表格、材料,采用“數(shù)據自動填報+表單流轉審批”的手段,實現(xiàn)各類事項及業(yè)務辦理申請“一張表辦成事”、“數(shù)據多跑路,師生少跑腿”的信息化服務模式。

圖:智能填報工具
智能填報工具采用輕量級移動化體系進行系統(tǒng)構建,可以通過可視化的界面,快速定制各類通用表單(例如:健康打卡、在線調研、活動報名等)和業(yè)務報表(教職工職稱申報、教師崗位聘任、年底工作考核等)。用戶端可以快速實現(xiàn)報表的自助填報,解決重復填寫已有信息的問題。能夠與學校身份認證、微信企業(yè)號、WeLink號、釘釘?shù)绕脚_無縫對接,實現(xiàn)實名填報。

圖:報表編輯
總之,報表工具的在線敏捷開發(fā)能力,能夠為管理部門或業(yè)務主管提供一站式數(shù)據報表設計器,支撐報表持續(xù)性建設,為師生梳理提供自動化報表服務。報表提供歷史填表版本管理,記錄填報歷史,完善填報周期,采用以數(shù)據為牽引、內容為導向的建設方式,做到數(shù)據不丟、不斷。
- 數(shù)據分析
數(shù)據分析工具,提供各類在線數(shù)據可視化敏捷開發(fā)的能力,快速構建數(shù)據查詢、數(shù)據分析主題,提供即席分析、數(shù)據大屏分析、數(shù)據分析報告輸出等能力。在數(shù)據分析能力方面,能夠滿足手機、PAD等移動終端訪問以及大屏可視化,可分類提供領導駕駛艙功能,為不同領導在其主管領域內的業(yè)務決策提供支持。支持各類主流、常用、定制化的數(shù)據可視化組件,包括氣泡云圖、?;鶊D、漏斗圖、全國地圖、南丁格爾玫瑰圖、GIS 區(qū)域地圖、矩形樹圖、餅圖、 熱點圖、TOP條形圖、關系圖等多種生動豐富的展現(xiàn)形式,并支持圖形一鍵切換。

圖:數(shù)據分析工具
- 規(guī)則引擎
規(guī)則引擎是針對高校大數(shù)據應用特點,基于底層大數(shù)據分布式計算框架所自主研發(fā)的高校通用數(shù)據計算平臺。通過規(guī)則引擎可以實現(xiàn)校級指標的快速計算,形成校級KPI庫,針對個人數(shù)據提供個人KPI庫定制,提供個性化的、動態(tài)的標簽計算能力,滿足大數(shù)據分析不斷增長的數(shù)據標簽需求;針對數(shù)據庫提供各類數(shù)據質量檢測規(guī)則,形成標準化規(guī)則接口,供校內其他業(yè)務系統(tǒng)使用;工具能夠依據數(shù)據挖掘標準算法(時間序列、回歸、Kmeans等),結合高校行業(yè)特征,形成學業(yè)預警、貧困生預警、虛假貧困預警、不在校預警等校園定制化算法。

圖:規(guī)則引擎工具
3、產品特色
統(tǒng)一數(shù)據開發(fā)平臺與傳統(tǒng)數(shù)據開發(fā)中間件相比最大的優(yōu)勢在于:
- 所有能力匯聚在一個獨立、完整的私有云系統(tǒng)內,開發(fā)效率高;
- 支持分布式部署,運行穩(wěn)定,在近百所高校的場景驗證下,性能表現(xiàn)極佳;
- 所有模塊開發(fā)無需二次建模,均能夠與數(shù)據治理平臺的元數(shù)據、信息標準無縫對接,大大提升數(shù)據規(guī)范和操作一致性;
- 基于全數(shù)據鏈路的架構,實現(xiàn)所有開發(fā)成果的自動數(shù)據溯源、自動對接數(shù)據質量反饋、自動匹配關聯(lián)歷史數(shù)據、自動實現(xiàn)影響性分析,做到全時無死角的鏈路監(jiān)控;
- 所有模塊均可與云端知識庫無縫對接,可以為每個學校提供大量的數(shù)據治理、數(shù)據開放、數(shù)據開發(fā)和數(shù)據應用的素材,從本質上降低工具落地、上手難度。
