新聞資訊

新聞資訊 媒體報道

關于數據中臺建設的一些思考,建設目的和建設過程。

編輯:001     時間:2021-02-27


數據中臺讓一切業務數據化,一切數據業務化

數據中臺系統,就是對海量數據進行采集、計算、存儲、加工,形成標準的大數據資產層,為組織的內外部客戶提供高效數據服務。數據中臺能夠降低數據庫和數據倉庫的重復建設,減少煙囪式協作的成本,幫助組織構建新型的差異化競爭優勢。

介于前臺數據應用層和后臺原始數據管理層的中間層就是數據中臺。數據中臺主要是為了支持前端各類數據服務而對后臺原始數據進行加工和整合后生成的各類數據集合。這些數據集合可能有明確的服務對象,也可能尚無明確的服務對象。

數據中臺不同于數據庫。目前,高校各部門使用的業務系統數據庫主要是關系型數據庫,聚焦于對人、財、物的管理。而數據中臺中的數據,不遵循范式要求,并不針對某類具體實體或者聯系的管理,主要是面向應用;而且數據中臺中的數據不僅包括實體和聯系數據,還包括各類日志數據、圖表、文本、音視頻資料等半結構化和非結構化的數據。

數據中臺的概念也不同于數據倉庫,主要體現在以下三個方面:

1.數據來源不同。數據倉庫的數據主要來源于各類業務數據;而數據中臺的數據除了各類業務數據外,還包括各類日志、IOTInternet of Things)數據、半結構化和非結構化數據等。

2.對數據實時性要求不同。數據倉庫主要是為了支持決策,因此,并不要求數據達到實時更新,一般能做到T+1就可以;但數據中臺由于要進行實時的業務支持和快速的問題分析,因此對數據的實時性要求更高。

3.服務對象不同。數據倉庫的服務對象主要是企業經營的決策者;而數據中臺的服務對象不僅包括決策者,還包括業務人員、運維人員、各類應用系統開發人員以及合作伙伴等。

此外,相比較于數據庫和數據倉庫,數據中臺離業務更近,對需求的響應更迅速。組織中現有的數據庫和數據倉庫都可以成為中臺系統的數據來源。

數據中臺系統的建立,可以降低數據服務的門檻,讓數據真正實現資產化和業務化,成為組織新型核心競爭力的來源。



對于后臺的很多功能,同樣可以抽象出來,成為各業務共有的能力。

這樣可以讓數據更靈活更敏捷地服務于前臺的各項業務,這個就是數據中臺的初衷。

數據倉庫在使用中會出現數據質量問題:不同的分析需求對數據的構成有不同的質量要求和容忍度。
數據倉庫的這個特征導致了漫長的開發周期、高昂的開發成本和維護成本、細節數據丟失等問題的出現。

把所有數據放入湖中的一個很關鍵的點是需要有一個清晰的治理。
每個數據項應該有一個清晰的跟蹤,以便于知道數據從哪個系統中來以及什么時候產生等,
也就是元數據管理、數據血緣以及必要的數據安全。

本質上是把數據作為資產,整理出企業的元數據和數據血緣關系,再以這些數據為中心,抽象出公共服務的能力。
最后,讓前端流程的構造和企業的穩定數據公共服務解耦。這樣就沉淀出了公共服務能力,即把這些能力SaaS化。

最根本的目的是敏捷地支撐業務部門的業務創新需求,打造快速服務商業需求的服務能力,
并且盡量實時處理,體現數據的資產化及價值最大化。

中臺最主要的用戶是數據開發者群體,包括數據研發人員、數據分析及建模人員。
建設中臺的目的在于提高他們的效率、降低學習曲線、提高數據質量。

賦能業務,服務客戶,打破孤島,產業結構升級
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

回復列表

相關推薦
久久精品国产亚洲一区二区