數據質量分析定義的六個階段

2020-12-06 千家智客

導讀

大數據作為當下最火熱的網際網路行業的詞彙，隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。

　　大數據作為當下最火熱的網際網路行業的詞彙，隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。同時隨著大數據時代的來臨，數據質量分析也應運而生，那麼關於數據質量分析定義的六個階段你是否了解?

 

　　（1）定義階段（D階段）。界定數據質量治理的範圍，並將數據質量改進的方向和內容界定在合理的範圍內。通過使用主數據識別法、專家小組法、問卷調查法、漏鬥法等方法，定義出數據治理的對象和範圍。企業數據質量治理對象一般主要包括兩類數據：一類是操作型數據，例如：主數據、參照數據和交易數據。另一類是分析型數據，例如：主題數據、指標數據等。註：根據筆者經驗以及80/20法則，企業的數據質問題80%是由於管理不當或業務操作不規範引起的，參考：《主數據的3大特點、4個超越和三個80/20原則》。

 

　　（2）測量階段（M階段）。在定義出數據治理對象和內容後，需要選取以下若干個指標來作為數據質量評價指標，建立數據質量評估模型，對企業的數據進行評估和測量。常用的數據質量評價指標就是我們上述提到的：數據唯一性、數據完整性、數據準確性、數據一致性、數據關聯性、數據及時性等。

 

　　（3）分析階段（A階段）。基於數據質量評估模型，執行數據質量分析任務，通過數據分析，找到發生數據質量問題的重災區，確定出影響數據質量的關鍵因素。數據治理和大數據分析是密不可分的，數據治理的目標是提升數據質量從而提高數據分析的準確性，而大數據分析技術也可反向作用於數據治理，通過大數據分析算法和大數據可視化技術，能夠更準確、更直觀的定位到發生數據質量問題的癥結所在。該階段可以用的大數據技術包括：回歸分析、因子分析、魚骨圖分析、帕累託分析、矩陣數據分析等。

 

　　（4）改進階段（I階段）。通過制定改進管理和業務流程、優化數據質量的方案，消除數據質量問題或將數據質量問題帶來的影響降低到最小程度。我們一直在強調數據質量的優化和提升，絕不單單是技術問題，應從管理和業務入手，找出數據質量問題發生的根因，再對症下藥。同時，數據質量管理是一個持續優化的過程，需要企業全員參與，並逐步培養起全員的數據質量意識和數據思維。該過程主要用到方法：流程再造、績效激勵等。

 

　　（5）控制階段(C階段）。固化數據標準，優化數據管理流程，並通過數據管理和監控手段，確保流程改進成果，提升數據質量。主要方法有：標準化、程序化、制度化等。

 

　　數據質量分析定義的六個階段.中琛魔方大數據分析平臺(www.zcmorefun.com)表示數據質量分析能夠迅速和有效地簡化與提煉數據流，幫助用戶交互篩選大量的數據，有助於使用者更快更好地從複雜數據中得到新的發現，成為用戶了解複雜數據、開展深入分析不可或缺的手段。


相關焦點

  • 張馳諮詢:六西格瑪設計培訓定義階段內容是什麼?
    六西格瑪設計培訓定義階段內容是什麼？ 六西格瑪設計 DMADV是以量化的設計目標為起點，不斷優化來達到六西格瑪性能的設計方法，是六西格瑪設計(DFSS)成功的關鍵。 所謂D (Define)即定義。
  • 六西格瑪綠帶認證管理定價分析階段
    六西格瑪綠帶認證管理定價分析階段 六西格瑪綠帶認證如同任何質量方法一樣，分析是六西格瑪的核心。分析階段的目的是確定和了解輸出變量變異的原因和控制這種變異的方式。六西格瑪綠帶認證與我們想要改進的流程相關的分析有三種：1.流程分析，通過這種分析了解導致缺陷的流程問題；2.根本原因分析，推測缺陷的原因並且證實合理的子集；3.數據分析，將輸出變量的變異與一些輸入變量聯繫起來。這三種分析是密切相關的，因為我們要在同一流程中運用它們發現導致輸出變量——例如折扣水平或合同條款——發生變異的原因。
  • 大數據智能分析的「六個特徵」和「六個能力」
    六是前瞻性大數據智能分析能夠有效地補充傳統單一來源數據分析手段的缺陷，通過數據清洗和處理技術，加之合理的建模，充分挖掘和掌握運行規律，具備較強的前瞻性。2大數據智能分析的「六個能力」目前，市場上有不同類型的大數據智能分析公司，也有各種類型的大數據智能分析應用平臺和管理平臺，各有特色，各有千秋。以數據為元素的大數據智能分析，是大數據技術的核心要素，是垂直領域創新應用的典範和落腳點。
  • 六西格瑪DMAIC各階段分析工具及產出詳解
    （一切從使客戶滿意出發，建立過程質量特性），常採用SIPOC、VOC，CTQ’s方法來表達。 4、問題定義 在項目中要解決的問題是什麼？需要給它下一個準確的定義，以免公司成員對它造成誤解。 項目需測定的指標是什麼？客戶要求或內部規格是什麼？
  • 信息系統數據質量分析及其在「金保工程」中的應用研究
    2.數據質量的研究概況 　　關於數據質量的研究起步於九十年代初期，發展的歷史並不是很長，可以說還處於起步階段，但是對於數據質量的產生原因、數據質量問題的分類、數據質量的定義以及如何對數據質量進行管理都有了一定的研究。
  • CPDA數據分析師:揭秘數據完整性和數據質量之間的差異
    來源：CPDA數據分析師網 / 作者：數據君 儘管許多人可以互換使用數據完整性和數據質量這兩個術語 但必須牢記兩者之間的一些重要區別，真正強大的數據系統可確保數據解決這些區別，從而幫助企業最大程度地提高存儲信息的準確性，一致性和上下文
  • 全國蔬菜質量標準中心用數據來定義
    全國蔬菜質量標準中心副主任李美芹對於「好蔬菜」作了解答。 如下為解答內容：隨著生活水平的提高，消費者對蔬菜需求的變化也正是蔬菜標準化、優質化、品牌化的發展方向。目前，大米、紅酒等分等分級已經做得相對成熟，我國的蔬菜分等分級仍在探索和初步階段。這個方面，日本、韓國等發達國家已經走在前面，我們也正在做這個方面的工作。
  • 數據分析過程:制定決策的5個步驟
    編輯導語：隨著大數據的重要性逐漸凸顯，越來越多的公司開始收集數據並且進行數據分析，分析過後利用得到的數據制定相應的決策。那麼，制定決策的這個過程應該如何去做呢？本文作者為我們總結了五個步驟，幫助我們完成數據分析、制定決策方案。
  • 學習Python數據分析,需要幾個階段?
    編程基礎 要學習如何用Python進行數據分析， 筆者建議第一步是要了解一些Python的編程基礎，知道Python的數據結構，什麼是向量、列表、數組、字典等等；了解Python的各種函數及模塊。下圖整理了這一階段要掌握的知識點：
  • 大數據項目的成功展開少不了這六個要素
    數據準備策略應包含以下元素：1、對當前和將來的業務問題有透徹的了解，期望數據能為企業帶來答案。了解要應用大數據分析的業務領域可以為數據建立業務環境，並有助於制定數據收集和執行策略。此階段的目標是確定企業中哪些數據與關鍵業務問題相關，哪些無關。企業還可以隨著業務需求的變化擴展業務問題和要查找的數據，但是一開始最好還是密切關注數據。
  • 六西格瑪認證(6sigma培訓)方法實現車身輕量化項目案例
    經過一周的學習與課堂演練研討，學員對六西格瑪-6sigma項目的實施邏輯和流程有了較為清晰和系統的認識，按照老師給出的項目實施路線圖，學員正式開始六西格瑪-6sigma項目運作。  六西格瑪-6sigma培訓項目改善運作步驟分為五個階段，分別為：定義階段、測量階段、分析階段、改進階段、控制階段。
  • 質量單位——千克的重新定義
    質量單位千克是國際單位制（International System of Units，SI）的七個基本單位之一，最初的定義始於1791年，它與長度單位有關，規定1立方分米的純水在4攝氏度時的質量為1千克。
  • 【深度】華為是如何確保數據質量的?非常強大!
    圖3：華為數據治理的兩個階段 在Won Kim的論文「A Taxonomy of Dirty Data」中，數據質量被定義為「適合使用」，即數據適合使用的程度、滿足特定用戶期望的程度。 數據質量不是追求100%，而是從數據使用者的角度定義，滿足業務、用戶需要的數據即為「好」數據。
  • 六西格瑪:世界最先進的質量管理方法(小白也要懂的工具模型2)
    那時，摩託羅拉的統計數據表明他們的質量水平為 4SIGMA。即每一百萬個產品中有 6800 個缺陷。6SIGMA方案中的具體目標是：1989 年將產品質量和服務質量提高 10 倍：到 1991 年達到至少 100 倍的改進；到 1992 年達到 6SIGMA 的質量水平。
  • 運營必備的 15 個數據分析方法
    1.1 數據分析的目標 對於企業來講，數據分析的可以輔助企業優化流程，降低成本，提高營業額，往往我們把這類數據分析定義為商業數據分析。商業數據分析的目標是利用大數據為所有職場人員做出迅捷、高質、高效的決策，提供可規模化的解決方案。商業數據分析的本質在於創造商業價值 ，驅動企業業務增長。
  • 北鬥三號觀測數據質量分析
    為分析各個信號的觀測數據質量，本文選取6個境外iGMAS連續跟蹤站15天的數據對北鬥三號的觀測數據質量進行分析，從信噪比、偽距多路徑、數據完整率、數據飽滿度和數據連續性等五個方面綜合對比了北鬥二號和北鬥三號新舊信號的數據質量，並將北鬥三號與GPS和Galileo在兼容互操作頻點進行對比。
  • 吉林六西格瑪品質管理難考嗎
    吉林六西格瑪品質管理難考嗎， 匯鑫科技： 系統全面的了解西格瑪DMAIC方法；理解並能靈活運用相關流程分析工具：DOE、SPC、MSA、FMEA、QFD、MINITAB等工具；能在西格瑪改進項目中識別及應用正確的工具完成改善項目；熟悉西格瑪項目各階段所用工用在MINITAB中的靈活運用。
  • 六西格瑪管理培訓在深圳某公司的應用 | 天行健諮詢
    1、定義階段①項目團隊組建精益六西格瑪團隊成員的角色分配以及相應的融入項日的程度如表 1 ，通過這一設定，團隊成員可以清楚地知道如何合理地分配時間、精力，以及哪裡可以得到協助和支持。簡單地講，六西格瑪管理的基本原則就是經濟性，最大可能地降低成本，節約資源減少風險，提高客戶滿意度，給股東、給社會創造價值。大家知道，浪費、報廢、返工、過度測試、客訴、退貨等不符合性成本的降低，都是精益六西格瑪重點關注的地方。2、測量階段項目定義後，進入測量階段。在該階段，測量系統必須先通過MSA,以驗證有效性。
  • 智能製造發展的五個階段全面解讀
    具體來看分為以下五個階段： 第一階段：全員生產系統（TPS）。由日本提出來的，建立的5S 標準（整理、整頓、清掃、清潔、素養）是七八十年代整個製造系統當中引以為核心的標準，固化在了組織和對人培訓方面。 第二階段：精益製造和6-Sigma。它的核心價值是如何以數據作為標準建立管理體系，本質是消除浪費。
  • 數據中心發展歷程及功能演進的四大階段
    【IT168 專稿】從功能特徵看，隨著技術的發展和應用及機構對IT認識的深入，數據中心的內涵已經發生了巨大的變化。從功能的內涵，可將數據中心可以分為四個大的階段，數據存儲中心階段、數據處理中心的階段、數據應用中心，數據運營服務中心階段。