質量數據:400-686-4199信息標準化:400-643-4668青青草影片、雲LIMS:400-629-4066

數據“知識庫”|數據管理的內容、現狀和問題

2019-07-12

按照國際數據管理協會(DAMA)的定義,數據管理(DM)是規劃、控製和提供數據及信息資產的一組業務職能,包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序,從而控製、保護、交付和提高數據和信息資產的價值。

如同其他資產一樣,數據資產也具有生命周期,企業管理數據資產,就是管理數據的生命周期。有效的數據管理開始於數據的獲取之前,企業先期製定數據規劃、定義數據規範以期獲得實現數據采集、交付、存儲和控製所需的技術能力。

數據管理的目標是“控製、保護、交付和提高數據和信息資產的價值”,因此,數據質量和數據安全是貫穿數據生命周期的管理重點。數據質量決定了數據滿足數據消費者期望的程度,直接影響著數據資產的價值;而隱私和安全則是合法使用數據的前提,與數據的產生、獲取、更新和刪除的全過程密切相關。

數據管理可按照所針對的數據域劃分為宅男福利管理、業務數據管理、分析數據管理。因為三種數據資產的特征不同、用途不同,管理的目標和方法也存在一定的差異。

宅男福利管理

創建和維護企業中具有高業務價值、可在各個業務部門和職能領域之間被重複使用的數據,為業務開展和數據分析提供基礎。重點關注數據的一致性完整性、相關性和精確性。

業務數據管理

管理企業業務活動中數據的產生和維護過程,為跨係統的業務流轉和協同提供基礎。重點關注多個業務係統之間的數據整合、清洗、標準化,以及數據的有效分發和同步。

分析數據管理

組織和管理數據,為企業運營的分析和決策提供支持。將不同來源、不同形態的數據資源,轉換成為一組不同結構的專題數據,以便匯總、描述、預測和分析。在這裏,相同的信息可能會以多種不同的數據形態存儲和呈現,重點關注數據的一致性、完整性、可用性。

上述三種數據管理都涉及對數據生命周期的過程管理,都涉及數據質量、數據安全和隱私。其中,宅男福利管理是數據資產管理的基礎,業務數據管理更強調數據的流通價值,分析數據管理更關注數據提供的洞察能力。

數據管理的現狀和問題

過去的10年間,國內大部分領先企業都陸續建設了ERP係統、資產管理係統、人力資源係統、供應鏈管理係統、物流係統,電子商務係統,集成門戶,協同辦公、決策支持係統等各類信息化係統,這些係統通常獨立建設,獨立運行,分別服務於企業內不同的職能部門。由於業務和IT技術發展的漸進性,企業的各個業務係統都經曆了從無到有,不斷擴展和升級的過程,從而形成了一個又一個的業務豎井,業務係統的構建更多是以項目為中心,從下而上地構建,往往缺乏整個企業範圍內的統一規劃,從而使得一些需要在各個業務中共享的核心數據被分散到了各個業務係統進行分別管理。

在這個以應用為中心的信息化進程中,由於企業各部門在開發或引進各種應用係統時都是單一地追求各自的功能實現,沒有從全局視角進行業務數據流分析和相互協調,沒有遵循統一的數據標準和規範,各個部門都按“自產自用”的模式管理數據資源,導致數據不一致和數據冗餘間題與日俱增。

例如,在某個係統的供應商目錄中,一個供應商可能稱為“XX(中國)有限公司”,而另一個係統的客戶日錄中可能稱其為“XX公司”,而這樣的錯誤往往來源於負責此公司的銷售和采購業務人員錄入習慣的不同;不同的開發人員,甚至同一位開發人員在不同的任務中,對同一個數據對象的命名也可能發生不一致,如“供應商代碼”“供應商號”“供應商編號”等。同時,企業內部的業務區隔或行政分化也在不斷地製造著企業數據交互的斷層。

由此可見,現階段以職能和應用為中心的企業信息化建設在帶來數據高速增長的同時,引發諸多數據管理的問題。這些海量的、分散在不同係統中的數據資產呈現出數據量大、涉及領域廣、結構複雜的特點,導致了數據資源利用的複雜性和管理的高難度。具體而言,大型企業在數據管理方麵通常存在如下問題。

缺乏數據管理的體係規劃

企業缺乏全麵的、涵蓋所有應用係統的數據管理體係規劃,對數據管理策略、組織模型和流程模型沒有清晰的目標和定義,沒有可執行的數據治理實施階段和步驟,同時也缺乏對整個數據生命周期中數據的處理、校驗、生效、變更、分布,以及相關的策略、模型、流程和方案。

缺乏有效的數據管理組織

企業缺乏高層認可的數據管理組織,無法統一建立基礎數據管理標準,相應的數據監督管理措施無法得到落實,也沒有建立數據管理及使用考核體製,無法保障已經建成的數據管理標準和內控體係有效地執行。

各信息係統的建設和管理職能分散到各職能部門或各單位,數據業務質量審核主要由業務職能部門分頭負責,缺乏完善的基礎數據質量管控流程和管理規範,缺乏數據管理組織和崗位職責的界定體係,各職能部門或各單位中的數據管理的職責分散,權責不明確。同時,跨業務部門的基礎數據質量溝通機製不夠完善,缺乏清晰的跨業務的基礎數據管控規範及標準,影響基礎數據質量,統計分析口徑不統一,導致數據管理的相關標準、規範無法有效地執行和落實。

缺乏IT工具的支持

企業數據管理的業務開展缺乏IT係統的支持,手工處理占主要部分,基礎數據完全采用人工方式收集、整理,存在工作效率低下、錯誤率高等問題。數據標準的執行主要靠人為因素,無法實現全麵、嚴格的數據質量控製和審計。同樣的工作要在不同的係統中重複操作,數據管理的工作煩瑣,效率低下。

缺乏對數據管理的正確認識

現階段,多數企業錯誤地認為數據管理是單純的技術工作,應由信息係統的開發人員完成,基本不需要業務人員。實際上,信息化進程中的數據管理工作是在兩類人員的密切合作下推進的。缺少業務人員的參與,或業務人員與開發人員溝通不暢、矛盾分歧都會造成信息係統開發效率低、質量差等問題,最終影響數據資產質量。

由於在數據管理上存在上述認識、規劃、組織和管理工具上的缺陷,導致各類業務係統往往各自為政,難以互聯互通,數據不一致和數據冗餘問題與日俱增。海量的數據資產往往無法得到更高層次的利用,不能及時發現潛在的問題。最終,企業缺乏完善、統一的基礎數據來源和技術標準,缺乏統一、可信的基礎數據源,給企業的發展帶來了極大的障礙。企業在信息化的進程中,正在麵臨“數據資產管理危機”。具體表現如下。

信息孤島

企業中絕大部分係統處於分散、獨立的狀態,各係統獨立運行,係統中的數據標準自成體係,係統與係統之間無法進行業務交互和數據交換,導致數據隻在係統內部有效,不能與其他係統的相關數據進行關聯分析。

數據標準不統一

數據的標準包括了企業核心業務定義,數據模型、數據屬性、參考數據、指標等,也包括了行業內部的數據標準。企業在各業務係統建設時如果缺少統一的數據標準,會導致開發和運維人員難以正確理解數據模型相關含義,致使企業不同業務係統集成和數據共享困難。

數據質量差 

在業務係統運行過程中,由於各類原因,會導致數據冗餘、數據不一致、數據缺失等問題,例如計量單位不一致、編碼不一致、同一實體多條記錄等數據質量問題。這些問題數據如果不及時發現並處理,就會影響企業的運營,阻礙業務發展,甚至造成嚴重的後果,對於後續的數據分析,也會因為這些問題數據的存在而被下擾,分析結果將受其影響,誤導管理層決策。

當前,企業信息化建設正在處於應用為中心向數據為中心轉化的關鍵時期,企業麵臨數據整合的挑戰不斷增長且日益嚴峻,低質量的數據資產已經成為在信息化與業務深度融合中的關鍵製約因素,數據資產一旦處於混亂無序狀況,其重要性就會降低,價值會大打折扣,甚至會影響企業的利益和決策。

Experian發布的“2018年全球數據管理研究”指出,僅有24%的企業使用專門的平台來進行企業級的數據質量管理;29%的企業存在數據質量管理,但是僅限於部門級別;23%的企業有計劃在未來開展數據質量管理;但依然有24%的企業沒有任何的數據質量或者數據治理計劃,企業普遍認為當前數據中有三分之一是不準確的,其中有69%的企業認為不準確的數據將會影響他們給用戶提供的服務,在已經部署數據質量管理項目的企業中,有42.2%的企業使用手動編碼的方式進行數據質量管理,隻有28.7%的企業使用了廠商提供的專業數據質量工具進行管理。

總體來說,國內企業目前數據管理都處於初級階段,很多企業的數據資產都或多或少地麵臨著如下問題。

數據不完整

缺少關鍵基礎數據,部分輔助數據缺失或不全麵,曆史數據丟失嚴重。

數據分散,不一致

企業內的數據入口眾多,同一類數據采用的標準、規則不一致。

 數據質量低

大量數據基本上“堆積”在一起,缺少必要的數據管理,集成數據的可用性差,質量比較低。

數據共享集成成本高

數據標準不統一、分散、可用質量差,數據核對、清理、映射的工作量巨大,導致共享集成和數據分析的成本非常高。

數據經濟效益不顯著

數據決策分析的結果可靠性差,投入與產出不匹配。

因此,數據資產的質量已經提升到企業的核心戰略層麵,成為一項複雜而艱巨的係統工程,數據的應用與數據質量是相輔相成、相互推動的關係,對數據資產進行治理,是提升企業數據管理與應用水平的關鍵舉措。企業應該著眼於長期、持續有效的數據治理,建立行之有效的數據治理體係,挖掘數據的潛力,從而發揮數據資產在企業中的核心價值。