SQLServer2008R2 BI數據支撐平臺的價值

2020-11-28 IT168

  【IT168專稿】微軟提供了一套全面的商業智能(BI),它為數據存儲、數據分析和數據報表提供了一套可伸縮的數據平臺,並讓最終用戶通過強大、直觀的工具(如Office、SQL Server Management Studio 、Business Intelligence Development Studio)來訪問和分析商業信息。微軟商業智能的核心是Microsoft SQL Server 2008/R2,它是一個全面的數據服務平臺,使用戶能夠:統一企業中所有數據的存儲和訪問;建立並管理成熟的商業智能解決方案。

  Microsoft SQL Server Analysis Services(SSAS,微軟SQL Server分析服務)是Microsoft SQL Server 2008/R2的一部分,SASS支持多維數據和數據挖掘,並向報表工具、分析工具、預測工具提供穩定的數據和模型支持。有了多維數據和數據挖掘的基礎,使用聯機分析處理、Unified Dimensional Model(統一維度模型)和Microsoft Office的深度集成使SSAS的功能愈加強大,本文通過簡單案例從多維分析模型的應用價值、建模工具、資料庫擴展能力、性能和穩定性方面來介紹,期望起到拋磚引玉的作用。

  多維分析模型的應用價值

  Microsoft SQL Server 2008 Analysis Services 以Analysis Services 2005所帶來的價值為基礎,利用了它的可縮放性、高級分析能力以及 Microsoft Office 互操作性。通過在性能、可縮放性以及開發人員工作效率方面的巨大改善,用戶可以創建企業規模 Online Analytical Processing(聯機分析處理)解決方案。Unified Dimensional Model(統一維度模型)可以合併數據訪問,並提供各種分析功能,同時還與 Microsoft Office 和開放式可嵌入體系結構進行深度集成。

  多維分析模型的應用價值在於創建企業規模的解決方案、集中管理關鍵性能指標和記分卡、預測分析。

  應用價值一:創建企業規模的解決方案

  通過在若干 Analysis Services 伺服器之間共享一個只讀的 Analysis Services 資料庫向外擴充 Analysis Services,實現了可縮放的基礎結構。

  由於Business Intelligence Development Studio 以Visual Studio 開發環境為基礎,因此它可與Visual Studio/VSTS實現完全集成,從而提供設計、開發、協作、優化和測試資源,在Visual Studio IDE中,開發人員的工作更快且更有效率。

  應用價值二:集中管理關鍵性能指標和記分卡

  可以把關鍵性能指標(KPI)和平衡記分卡的數據進行集中管理,並為Performance Point、Excel 、SharePoint和Reporting Services 應用程式的數據訪問提供了統一的入口。

  應用價值三:預測分析

  通過使用Microsoft SQL Server Data Mining Add-Ins for Office 2007 可以進行預測分析,用戶能夠通過 Office 2007 訪問數據挖掘功能,並在熟悉的 Office 環境中利用 Microsoft SQL Server 2008 Analysis Services 極為複雜的數據挖掘算法,因此商業用戶只需單擊幾次滑鼠,即可輕鬆地獲得對複雜數據集。

  我們可以使用SQL Server 2008 附帶的 AdventureWorks 示例資料庫來進行預測分析,以下案例根據M200 型號在各地區銷售情況的歷史記錄進行預測,演示的主要步驟如下:

  (1)下載安裝SQL Server 2008 Office 2007 數據挖掘外接程序,其下載地址如下:

  http://www.microsoft.com/downloads/details.aspx?FamilyId=896A493A-2502-4795-94AE-E00632BA6DE7&displaylang=zh-cn

  (2)打開Excel文件DMAddins_SampleData.xlsx,選擇名稱為Forecasting 的Sheet

  (3)連接資料庫,使用預測工具

  最終結果如圖1所示:

 

  圖1 數據挖掘預測分析

  建模工具和關鍵過程

  SSAS的建模的目的是設計多維資料庫對象,建模的工具包括SQL Server Management Studio 和Business Intelligence Development Studio ,前者用於管理 Analysis Services、SQL Server、Integration Services 和 Reporting Services 的實例,可以管理 Analysis Services 對象(執行備份、處理等),還可以使用 XMLA 腳本直接在現有的 Analysis Services 實例上創建新對象,並提供了分析伺服器腳本項目。Business Intelligence Development Studio 是一種基於Visual Studio 2008的開發環境,用於創建和修改商業智能解決方案。使用 Business Intelligence Development Studio,可以創建包含 Analysis Services 對象(多維數據集、維度等)定義的 Analysis Services 項目。

  使用Business Intelligence Development Studio建模的關鍵步驟有四步:

  (1)定義 Analysis Services 項目

  (2)配置 Analysis Services 項目屬性

  (3)生成 Analysis Services 項目

  (4)部署 Analysis Services 項目

  SSAS資料庫的擴展能力,包括:數據挖掘、權限和訪問接口

  與傳統的 OLAP平臺相比,SSAS提供了更多高級特性。這使組織能夠利用一種解決方案滿足多種分析需求,因為該解決方案提供的特性要比傳統的 OLAP 平臺多得多。在這方面,Unified Dimensional Model(統一維度模型)扮演了核心角色,它提供了豐富的分析功能。

  統一維度模型(Unified Dimensional Model,UDM)對於 Analysis Services 而言是一個新概念,它最早是隨著 SQL Server 2005 的發布而出現的。它在用作數據源和專有多維數據集的物理關係資料庫與用於滿足用戶查詢的維度結構之間提供了中間邏輯層。通過這種方式,可將 UDM 當作 OLAP 解決方案的核心部分。該模型還提供豐富的高級商業智能功能,以提供最優的關係分析和 OLAP 分析,並進一步使組織能夠利用獨特的Key Performance Indicator Framework (關鍵性能指標框架)以及複雜的預測分析功能,輕鬆地擴展解決方案。SSAS不僅對解決方案易於擴展,對數據挖掘、權限和訪問接口也能做擴展,下面分別描述:

  (1)數據挖掘擴展

  SASS和數據挖掘的關係如圖2所示:

  圖2 SQL Server數據挖掘

  SASS對數據挖掘的擴展主要體現在:提供了一組行業標準的數據挖掘算法;通過數據挖掘設計器,能夠創建、管理和瀏覽數據挖掘模型,並在隨後使用這些模型創建預測;支持數據挖掘擴展插件 (DMX) 語言,可用於管理挖掘模型和創建複雜的預測查詢。

  這些功能和工具,對數據挖掘提供了有效擴展,可以單獨使用某一種功能或工具,也可以組合使用這些功能和工具,以發現數據中存在的趨勢和模式,為決策做成數據支持。

  (2)權限擴展

  SASS 對數的保護分成了兩個級別:實例級和用戶級。實例級由 Analysis Services 實例使用的所有物理元素構成,必須對這些元素實施保護以確保只有經過授權的用戶才有權訪問它們。這些元素包括數據文件夾、應用程式等等。用戶級由授予用戶的權限構成,這些權限允許用戶訪問存儲在 Analysis Services 資料庫內的信息並阻止用戶訪問超出其特權的數據,用戶級的權限實現方式有:

  建立用戶身份驗證機制

  定義伺服器角色的用戶允許權限

  定義 OLAP 對象級安全性

  定義數據挖掘對象級安全性

  定義程序集和存儲過程級安全性

  啟用或禁用實例配置屬性

  (3)訪問接口擴展

  在使用SSAS開發報表或進行數據挖掘的過程中,訪問接口的擴展包括:OLE DB for Data Mining 、ADOMD.NET、分析管理對象 (AMO) 、Analysis Services 腳本語言。

  OLE DB for Data Mining擴展了Microsoft OLE DB for Data Mining 1.0 規範,能夠添加新的架構行集、在現有架構行集中添加列以及向數據挖掘擴展插件 (DMX) 語言添加用於創建和管理挖掘結構的語法。

  分析管理對象 (AMO) 是一個完整的對象庫,這些對象可通過編程方式進行訪問,該對象庫使應用程式能夠管理正在運行的 Microsoft SQL Server Analysis Services 實例。ADOMD.NET 是用於與 Microsoft SQL Server Analysis Services 進行通信的 Microsoft .NET Framework 數據訪問接口。ADOMD.NET 可使用 XML for Analysis 協議與分析數據源通信,方法為使用 TCP/IP 或 HTTP 連接傳輸和接收符合 XML for Analysis 規範的 SOAP 請求和響應。

  Analysis Services 腳本語言(Analysis Services Script language,ASSL)是SASS客戶端應用程式與Analysis Services通信所使用的腳本語言,是一種特殊的XML語言,包括對象定義語言和向 Analysis Services 實例發送操作命令的命令語言。

  性能、穩定性和安全性

  (1)性能

  在大多數商業環境中,關係型資料庫是業務關鍵應用程式和服務的核心所在。SQL Server 作為關係型資料庫,對資料庫性能的分析我們從關係資料庫的性能以及SQL Server 2008的幾大功能組件:數據倉庫和分析服務、報表服務、集成服務這個方面來介紹其性能。

  SQL Server 2008/R2提供了一個強大的資料庫引擎,它支持大型關係資料庫和複雜的查詢處理,是第一個發布更新的TCP-E基準結果的資料庫銷售商,通過一個創記錄的3GB的TPC-H結果顯示了它對大範圍的數據倉庫工作量的執行能力;它包含SQL Server Profiler 和Database Engine Tuning Advisor。通過使用SQL Server Profiler,你可以捕捉應用程式典型負載中所發生的事件,然後在Database Engine Tuning Advisor 中將這些事件重現,從而針對數據的索引和分區生成相應建議,這樣你就可以優化應用程式的性能了;

  它提供了性能套件,性能套件是一套用來收集、分析、排除故障和存儲SQL Server 診斷信息的集成框架。性能套件為性能監控提供了一個端對端的解決方案,其中包括針對性能數據的低開銷收集、集中化存儲、以及分析報表。你可以使用SQL Server管理套件來管理收集工作,例如可以使用數據收集器、啟動一個收集集合併查看作為性能狀態面板的系統收集集合報表。你還可以使用系統存儲結構和性能套件應用程式編程接口(API)來建立你自己的基於性能套件的性能管理工具。性能套件提供了一個統一的數據收集基礎架構,它在每一個你想監控的SQL Server實例中都有一個數據收集器。這個數據收集器非常靈活,它可以管理數據收集範圍以適應開發、測試和生產環境。你使用這個數據收集框架就可以輕鬆地收集性能數據和一般的診斷數據。

  在數據倉庫和分析服務性能上,查詢優化器可以動態地導入一個最佳的位圖過濾器來加強星型模式(star schema)的查詢性能。支持數據分割、高級索引功能和索引視圖來支持更大型的數據存儲,還有稀疏列和有效的數據類型,例如VARDECIMAL,對於包含大量 NULL 值的大型表,它可以降低相關開銷(數據倉庫的一個普通特性)。在SQL Server分析服務中的塊計算使用默認的值,將要計算的表達式的數目降至最低,並將單元導航限制為整個空間只有一次,而不是每個單元一次,從而顯著提高了計算性能。

  在報表服務性能上,報表服務引擎被重新開發,以便通過按需處理過程對報表服務添加更好的性能和可擴展性。報表不再局限於內存,提供了新的渲染器。

  在集成服務性能上,實現了顯著改進的查找性能,它降低了包運行時間並優化了ETL操作。具有變更數據捕獲(Change Data Capture, CDC) 功能來記錄對變更表的更新,當數據刷新按計劃進行時,可以實現對數據變更的跟蹤並確保數據倉庫的一致性。

  (2)穩定性

  SQL Server 2008/R2 提供一系列技術支持確保零宕機,包括 16 節點集群、資料庫鏡像、發布訂閱、對等複製和日誌傳送。這些功能結合熱插拔硬體支持、聯機備份和還原功能,讓 SQL Server 成為任務關鍵型應用程式的絕佳選擇。例如,根據 Wipro Technologies 的一項研究,將 SAP ERP 環境遷移到 SQL Server 可以減少超過 20% 的意外停機時間。

  (3)安全性

  可以在多個級別對 Microsoft SQL Server Analysis Services 進行保護。必須保護 Analysis Services 的每個實例及其數據源,從而確保只有經過授權的用戶才擁有所選維度、挖掘模型以及數據源的讀或讀/寫權限,並阻止未經授權的用戶惡意破壞敏感商業信息。可以通過以下步驟來保護分析服務的實例:

  安全體系結構包括安全角色、安全屬性、使用 SQL Server Management Studio 管理 Analysis Services;

  為 Analysis Services 配置登錄帳戶;

  保護 Analysis Services 實例;

  配置對 Analysis Services 的訪問權限

相關焦點

  • SQLServer2008 R2數據管理兩特性新亮相
    SQL Server 2008 R2提供了主數據服務、數據應用層程序、多伺服器管理、Power Pivot for SharePoint 、Report Builder 3.0、Stream Insight等眾多新功能。在新功能支持下,SQL Server 在數據管理上也有了全新提高,無論是數據的易管理性還是數據的可用性都得到了增強,尤其是數據應用層程序和資料庫鏡像,本文將從這兩個方面進行介紹。
  • 嵌入式BI應用案例:金麒麟數據可視化分析平臺(集成ERP、MES)
    嵌入式BI應用案例:金麒麟數據可視化分析平臺(集成ERP、MES) 嵌入式BI應用案例:金麒麟數據可視化分析平臺(集成ERP、MES) 2020-12-02 15:16:45  來源:網際網路
  • 商業智能BI數據分析平臺,選擇國產BI還是國外?
    上手難度國際的貿易智能BI應用在剖析方法、統計圖表等數據可視化操縱上,顯得更職業;計劃數據集範例繁雜,對數據剖析職員請求高,乃至有些片面需求技術職員支撐。國產BI,支撐主動鑽取,操縱簡略,簡略幾步便能疾速將數據整頓成種種剖析匯報,即使是操縱新手也能放鬆上手。數據源錄入國產BI企業憑據各個部分的現實需求接納了更合乎本部分的數據源體系,而恰是由於各個部分數據源差別,所以部分間數據相對自力。
  • 網約車運力平臺精細化運營下的數據價值思考
    不少平臺更是制定了精細化運營的策略,本文作者就對其數據價值進行了思考。1. 前言本文建立在網約車聚合業務下,運力平臺的精細化運營階段的基礎上,思考數據支撐/數據產品的價值和可落地的切入點。2. 精細化業務方向拆解基於啟動階段的業務經驗,業務在早期可以通過快速開城擴張,得到體量的快速增長,但當達到一定量級後,體驗和安全會成為制約增長的重要因素。
  • BI是什麼意思?在企業應用中有哪些好處?
    百度百科中的BI是指業務智能或智能業務(Business Intelligence的縮寫),其用途是指使用現代數據倉庫技術,在線分析處理技術,數據挖掘和數據展示技術進行數據分析以實現業務價值。老實說,解釋很專業,但是什麼是商業智能?我想很少有人能說清楚。
  • CIO不可不知的BI與數據分析產品選型標準
    隨著企業的數據快速積累,數據量可能呈現出爆炸式增長,BI產品必須能滿足企業快速增長的數據存儲與分析需要,產品和平臺要具備很強的擴展性。企業數據量較小時,用單機存儲和分析就可以,隨著數據量的增大,單機擴展為多機,需要實現系統的無縫對接,並保持良好的系統穩定性。據William透露,永洪的產品對於大規模並發的支持度很高,客戶之一的美的大數據平臺就能夠支持2.5萬用戶同時使用。
  • 康曉宇:數據基礎設施支撐金融科技創新
    而金融科技創新離不開數據基礎設施的底層支撐。數據基礎設施是傳統IT基礎設施的延伸,它以數據為中心,讓數據存得下、流得動、用得好,使數據要素價值實現最大化。華為利用自身在數據存儲、傳輸和安全等方面的技術優勢,以用戶需求為導向,積極參與銀行業數據基礎設施建設,為銀行業數位化轉型貢獻力量。
  • 關於BI商業智能的「8大問」|一文讀懂大數據BI
    大數據(Big Data)是指在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。兩者是不一樣的概念,BI相對於大數據更傾向於決策,適合支持經營指標支撐類的問題,大數據則內涵更廣,傾向於刻畫個體,更多的在於個性化的決策。
  • 《中國金融》|數據基礎設施支撐金融科技創新
    而金融科技創新離不開數據基礎設施的底層支撐。數據基礎設施是傳統IT基礎設施的延伸,它以數據為中心,讓數據存得下、流得動、用得好,使數據要素價值實現最大化。華為利用自身在數據存儲、傳輸和安全等方面的技術優勢,以用戶需求為導向,積極參與銀行業數據基礎設施建設,為銀行業數位化轉型貢獻力量。
  • 2018年中國大數據BI行業分析報告
    滿足該需求對企業的價值和意義:在滿足業務部門BI數據自助分析的同時,兼顧企業的數據權限管控,形成企業以IT部門集中管理下的良性數據分析風貌,杜絕企業數據安全隱患。(二) 業務人員可通過BI工具進行自助數據分析,佔受訪企業94.5%。需求描述:業務人員可以在瀏覽器前端,對自己權限範圍內的數據進行多維拖拽探索和自助分析,發掘隱含在數據中的業務價值。
  • 醫院大數據平臺建設_構建醫院智能BI平臺的關鍵技術
    想一想,你可能已經習慣以每周或每月IT或數據科學家交付給你的度量標準的形式使用BI數據。然而,一個現代的BI在一個醫院中應該具備什麼樣的關鍵技術?接下來以Smartbi大數據分析系統為例為大家做詳細介紹。一個醫院大數據平臺建設必須具備四個關鍵技術,它們分別是ETL技術、數據倉庫技術、OLAP技術、BI展現技術。
  • 深度研究:回歸模型評價指標R2_score
    r2_score使用方法 根據公式,我們可以寫出r2_score實現代碼1- mean_squared_error(y_test,y_preditc)/ np.var(y_test)也可以直接調用sklearn.metrics中的r2_scoresklearn.metrics.r2_score(y_true, y_pred,
  • 為基因測序平臺提供有力IT支撐
    基因測序技術可通過基因組信息以及相關數據系統,預測罹患多種疾病的可能性。但基因測序產生的巨大數據量,對數據存儲提出了嚴苛的挑戰。近日,曙光中標上海交通大學醫學院附屬仁濟醫院(以下簡稱:仁濟醫院),為其搭建的心內科基因測序平臺提供IT支撐。曙光提供的存儲解決方案,有效解決了基因測序過程中存儲容量、性能和成本等問題,有力支持醫院實現高精度的測序數據分析。
  • 百度智能雲時空數據管理平臺亮相 打造一體化數據中臺
    通過構建多源異構的時空數據服務中臺,形成地上地下一體、靜態動態一體、基礎專題一體的信息資源服務支撐體系打造城市地理空間信息框架基礎環境,提升自然資源空間治理能力,為物聯網、工業網際網路、智慧城市、數字孿生等應用建設提供基礎數據服務能力支撐,賦能數字經濟時代的高質量發展,積極擁抱新基建浪潮。而這也是繼去年時空資料庫升級為時空時序資料庫之後,百度智能雲在時空數據管理領域的又一次重大升級。
  • 聚焦HCP——抓住被忽視的數據價值
    ,如何高效處理紛繁複雜的數據集和數據類型,是每家企業都在思考的問題,尤其是當非結構化數據變成了企業內部未經開發的「重要價值」。「企業存儲著大量的數據,但並沒有有效手段把數據價值挖掘出來,所以我們需要數據的提煉。數據的存儲、提煉非常重要,更重要的是要有一個安全可靠的『煉油廠』即存儲設備,不要被黑客或意外事情所影響。」Hitachi Vantara中國區首席技術官吳衛平說。      IDC預測,到2025年全球數據總量將達到175ZB。在企業組織的存儲系統中,非結構化數據佔據了數據總量的80%-90%。
  • 讓大數據真正發揮「大價值」
    讓大數據真正發揮「大價值」  數字經濟時代,大數據帶來的諸多便利得益於被譽為「萬能糧倉」的數據中心。數據中心算力越強,大數據價值越能得到發揮。國家發改委等4部門近日發布的《關於加快構建全國一體化大數據中心協同創新體系的指導意見》(下稱《意見》)提出,加強全國一體化大數據中心頂層設計。
  • 怎樣從髒亂差的醫療大數據中提取價值(二)
    編輯導語:上期講到了隨著大數據時代的到來,醫療信息化建設迫切的需求與醫療大數據的溯源過程,還深入的提出了在髒亂差的醫療大數據中怎麼發現價值;接下來我們再進一步探討一下數據的價值與特徵。
  • 梅斯醫訪談:價值為馬,數據為鞭,打造網際網路醫學第一專業平臺
    社交的本質是互動,而互動的較大資產是數據。網際網路平臺的優勢在於可以充分觀察、評估用戶的客觀行為軌跡,我們現在通過5維數據(臨床能力、科研成果、行業地位、線上活躍度和產品認知力)建立的精準醫生畫像模型,就是為了實現 MCM 的三精準:用戶、內容和渠道。 生物谷:數據在當今社會的重要性不言而喻,在工作中,我們應當如何挖掘數據背後的內容,較大價值的運用數據?
  • 海光芯創CEO胡朝陽:高速光電子集成IDM平臺 為新基建提供產品支撐
    ICC訊(編輯:Aiur)  9月8日,在第19屆訊石光纖通訊市場暨技術專題研討會(IFOC2020)上,高速光電集成器件和光模塊製造商蘇州海光芯創光電科技有限公司(簡稱海光芯創)CEO胡朝陽博士發表了《高速光電子集成平臺及其在光通信行業的應用》主題報告,面向電信運營商、大數據中心、通信設備商以及光通訊行業,介紹並比較高速光電子集成平臺的優缺點