接招,數據質量平臺EsDataClean的13種兵器!

2020-12-12 數據分析研究猿

子曰:工欲善其事,必先利其器。作為一款數據管理管理產品,如何能夠「慧眼」診斷出數據中存在的各類問題,離不開質量管理平臺內置的核心「武器」——質量評價算法。

今天,我們一起來了解一下這EsDataClean的這十三種秘密武器。

空值檢查

用於檢查業務表的目標欄位是否為空值。不但能實現對同一業務表的單個指標

值是否為空的檢查,對於多個指標的空值檢查也輕鬆應對,可以根據實際需要實現是否允許每個指標不能為空或者不能同時為空的檢查。

值域檢查

用於檢查業務表中數值型、字符型、日期型目標欄位的值是否在指定的範圍內。如:檢查參加工作者年齡是否在16,65之間,可以在值域範圍內書寫[16,65]。

規範檢查

你可以輕鬆實現諸如:身份證號碼、IP位址、手機號碼、日期、郵編、固定電話、日期、字符等類型指標的規範性檢查;系統還提供正則表達式實現更加複雜的規範檢查。

重複數據檢查

她可以實現業務表中記錄數據是否重複,什麼是重複數據,你說了算!重複數據依據自定義功能,助你完成重複數據的定義。

記錄缺失檢查

在直報系統中,我們去檢查某一填報任務的報表戶id數據是否與機構表中的機構id一致,是否有缺失,記錄缺失檢查可以幫你完成。

引用完整性檢查

檢查業務表中錄入的民族代碼,是否都在民族維表內,病案數據中的血型代碼是否都在血型代碼中?引用完整性檢查可以幫你完成。

業務邏輯檢查

用於檢查指標間是否符合邏輯關係要求,如參加工作的人,年齡應在16在65之間。我們實際應用得邏輯關係校驗往往很複雜設計多個表,多種條件、分支判斷,不用擔心,系統提供了多表關聯關係定義,多種函數、可視化的邏輯關係定義操作界面,助你輕鬆完成複雜邏輯關係的定義。

及時性檢查

對業務數據有時效性要求的小夥伴們,在設定時效性檢查的欄位、允許的誤差天數、檢查的表達式定義等基本信息後,便可進行業務數據的時效性檢查。

波動檢查

業務指標與同比、環比相比在多大的範圍內波動是合理的,你可以用它來檢查。

平衡檢查

檢查某廠商生產的手機長、寬的差值應在[1,8]毫米之間;用於判斷一個業務表中兩個指標(表達式)間的差值是否在指定的範圍內。

離群值檢查

了解某個指標識的離散分布情況,從中發現差異比較大的值;如:對某地區三級醫院的人均住院費用極值的探索,你再也不用拍腦袋,寫sql去後臺查啦!系統支持拉依達法,即三倍標準差和格魯布斯法的監測校驗,幫你輕鬆找到離群值。

結果集比對

用於實現跨數據源的對比,對數據抽取前後,數據的一致性進行對比分析。支持分數據期和業務表全數據集的一致性對比分析。

Sql檢查

如果以上的各種檢查方法都看完了,還沒有你滿足你的一款style;別擔心,系統提了支持sql腳本檢查的操作入口,按照系統提供的sql腳本調用格式,進行配置,你就可以實現將自己寫的sql檢查腳本集成到數據質量平臺來使用。

結束語

好了,看了這麼多兵器的用途,想必你對數值質量平臺的每一款武器都有直觀的了解了吧

相關焦點

  • 亞洲最強的16種兵器,第10種橫掃千軍,第13種是中國佛教的法器!
    亞洲最強的16種兵器,第10種橫掃千軍,第11種是中國佛教的法器!2.關刀「帳前畫角聲入雲,隴上鐵衣光照水。」亞洲最強的16種兵器,第10種橫掃千軍,第11種是中國佛教的法器!3.棍「鼓腕騰棍晴雷收,舞腰困褭垂楊柔。」亞洲最強的16種兵器,第10種橫掃千軍,第11種是中國佛教的法器!4.弓「落野飛星箭,弦虛半月弓。」
  • 妖怪手帳八種兵器怎麼樣 妖怪手帳八種兵器屬性分析
    導 讀 很家都想知道妖怪手帳八種兵器怎麼樣,今天小編就為大家介紹一下妖怪手帳八種兵器屬性分析,希望可以幫助到各位玩家哦。
  • 質量大數據平臺面對海量測量數據,如何一鍵生成報告?
    比如一個產品有可能被不同測量設備測量,不同的參數數據有可能分散存儲在不同的測量設備中,很難實現全參數數據關聯整合;比如實現相互關聯研究分析,或者製作一份綜合的質量報告,就要花費很多時間進行數據的提取、梳理和整合。
  • 妖怪手帳八種兵器怎麼樣
    18183首頁 妖怪手帳 妖怪手帳八種兵器怎麼樣 妖怪手帳八種兵器怎麼樣 來源:網絡 作者:蘭斯級一號艦
  • 呼和浩特玉泉區打造「網際網路+質量監管」平臺 農產品質量追溯...
    6月5日,在呼和浩特市玉泉區烏蘭巴圖村俊祥農業種植基地,記者看到農產品在包裝時會貼一張「福地玉泉田園優品」的產品質量追溯標籤。基地負責人趙俊祥介紹,「掃一掃二維碼,就能知道農產品銷售企業的基本信息,產品品種、農藥使用情況和成熟日期等,相關情況一目了然。」
  • clean sweep
    請看外電報導:Bao Guiying has led a clean sweep for China of the East Asian Games' opening athletics events, with victory in the women's 10,000m.
  • 一部手機雲遊永州,你準備好接招了嗎?
    一部手機雲遊永州,你準備好接招了嗎? 2020-08-10 17:13 來源:澎湃新聞·澎湃號·政務
  • clean code
    什麼是clean code所謂的 clean code 字面上就是整潔代碼的含義,落實到我們工程師日常 coding 中就是如何寫出看上去乾淨、邏輯清晰、有一定抽象能力擴展性好的代碼。其實 clean code 這個話題,可以說大小所有網際網路公司的工程師在日常工作中都有所耳聞。
  • 快速集成WP資料庫清理中文插件wp-clean-up到主題
    很多站長使用wordpress建站程序發現網站久了,運行速度變慢,主要一部分原因是已經卸載的插件、主題等無用數據緩存在資料庫中冗餘……今天剛好用戶在L氪跡佛山SEO技術教程學習網留言說,自己的網站由於運行速度慢,導致用戶體驗不好,於是在搜尋引擎找了一些方法,推薦安裝wp-clean-up
  • Clean是乾淨,cut是切,clean-cut可不是「乾淨的一刀切」啊!
    1. clean-cut是啥什麼意思?當我們說一個人非常乾淨利落,習慣性用一個表達叫做clean-cut。Clean是乾淨,cut是切,clean-cut可不是「乾淨的一刀切」啊!Clean-cut means you look quite neat and clean,所以,Clean-cut形容一個人看上去乾淨整潔,清清爽爽喲!看看下面這個人,是不是這樣?
  • clean-up
    新東方網>英語>英語學習>英語閱讀>雙語新聞>正文clean-up 2012-03-15 10:51 來源:[標籤:來源] 作者:
  • Cleanits:製造業時序數據清洗系統
    基於此,結合實際製造業數據質量問題現狀,本文研究並開發了一個製造業時序數據清洗系統:Cleanits. 該系統實現了對三種嚴重的製造業時序數據質量問題的檢測和修復,有效地提高製造業大數據的質量及其可用性。 關鍵詞: 工業大數據;時序建模分析;數據管理;數據挖掘;機器學習.
  • ——關於《城市軌道交通工程質量安全監管信息平臺共享交換數據...
    近日,住房和城鄉建設部印發了《城市軌道交通工程質量安全監管信息平臺共享交換數據標準(試行)》(以下簡稱《標準(試行)》)。在《標準(試行)》印發之際,住房和城鄉建設部工程質量安全監管司相關負責人對相關內容進行了解讀。
  • 有「淨」也有「靜」 Oclean歐可林發布會多款產品亮相
    【TechWeb】2020年10月28日,以「淨無止靜」為主題的Oclean歐可林2020年秋季智能新品發布會在北京召開,正式發布全新一代「空氣動力」Oclean W1衝牙器、超靜音電動牙刷Oclean Air 2、智能消毒器Oclean S1等系列新品。
  • 數據倉庫之開源數據工具平臺
    在上篇內容中,說了數據建設與使用中重要的四個工具平臺,他們使用上的需求如下:數據可視化使用簡單數據清晰跨數據源支持元數據數據描述全面數據流完整清晰簡潔質量監控Davinci (http://college.creditease.cn/detail/278)宜信開源的大數據可視平臺。
  • 快速刪除excel單元格中的空格,tirm函數與clean函數的使用技巧
    我們在實際工作中,當我們使用excel表格處理數據的時候,我們有時候會發現excel單元格中會存在空格,我們都清楚,有些人的名字是3個字的,有些人的名字是2個字的,有的人為了美觀,通常會在2個字的名字中間增加一個空格,這樣看上去就比較協調,但是單元格中存在空格,我們在後續處理數據的操作就會出現問題
  • cleanair是什麼功能鍵
    當車主打開內循環或者外循環時,cleanair功能就會自動開啟。它能過濾有害氣體,保證車內空氣環境的乾淨。Cleanair帶活性炭的空調濾芯,多了一層活性炭隔層,能夠將更多的有害物質吸附在濾芯上,當然空調濾芯的價格也比普通的貴了幾倍。負離子空氣淨化,通過高壓電路產生等離子體,細菌表面含有的蛋白膜會被正負離子破壞,從而失去活力而死亡,以此達到消滅空氣中的細菌的目的。
  • 信息化數據平臺提升新疆動物防疫水平
    今年,自治區畜牧獸醫局通過模塊式開發包括種畜禽管理、無紙化防疫、調運環節監管、畜禽產品質量安全追溯等全鏈條信息化系統,搭建了「移動網際網路++大數據分析+手機APP」的畜牧獸醫大數據平臺。從4月集中推廣至今,全區共完成141萬個養殖(場)戶、391個屠宰場、3107萬條流通數據、65萬條監管數據提取。據介紹,畜牧獸醫大數據平臺解決了數據採集難、監管難、渠道不暢、決策缺少支撐等問題,實現了信息即時匯總、數據動態分析、流通實時追溯,為提升養殖業全程信息化管理水平,有效防控動物疫病提供大數據支撐。
  • 興仁市提升全員人口信息數據質量
    興仁市提升全員人口信息數據質量 發布時間:2019-12-13 14:20:35      來源:興仁市政府辦公室   近年來,興仁市衛生健康系統針對當前全員人口信息資料庫中存在的問題
  • 英語詞彙辨析:clean,cleanse
    >   clean,cleanse   用作動詞時,clean很易和另一動詞cleanse混淆不清。   Clean的意思是「使潔淨」、「把…去垢」(to make clean by washing,dusting,sweeping or brushing)。如:to clean a dress,room,hand,shoe,watch等。例:   Please clean your shoes.   請把鞋刷乾淨。