AWS添加微軟資料庫應用程式搬遷輔助,無伺服器能擴至更大規模

2020-12-24 十輪網

關於資料庫、數據倉庫等多種存儲與分析服務的發展,是AWS這幾年力推企業上雲的重頭戲。

他們在2018年全球用戶大會提出Database Freedom口號,抨擊Oracle、微軟SQL Server這類舊型商業等級資料庫,認為它們成本昂貴、高度捆綁、採用專屬設計,並非聚焦於用戶需求,因此,AWS鼓吹企業採用開放式的資料引擎與可移植能力,以及強調他們可提供商業等級的關係型資料庫性能,因而主推兼容於MySQL和PostgreSQL的Amazon Aurora,還可以選擇商用等級軟體Oracle、SQL Server,以及開放源碼軟體PostgreSQL、MySQL、MariaDB,而這些都隸屬於他們的資料庫雲計算服務Amazon RDS。

此外,AWS母公司Amazon在11月1日宣布全面改用自家數據倉庫服務Redshift,而不再使用Oracle。

到了2019年全球用戶大會,AWS將重點擺在數據倉庫,宣布推出更多Redshift系列服務與功能,像是Redshift RA3執行實例、AQUA for Amazon Redshift高端加速查詢、Redshift Data Lake Export資料湖導出,以及Redshift Federated Query聯合查詢、具現化查看(虛擬資料表)Materialized views,其中的RA3、Redshift Data Lake Export當時已上線提供、Materialized views的支持提供預覽版,AQUA for Amazon Redshift今年12月終於發布預覽版,Materialized views與Federated Query,則陸續在3月、4月正式推出。

今年AWS全球用戶大會的相關技術應用發布,又將目光重新聚焦在資料庫,他們也發布協助資料庫系統遷移的新功能,這次鎖定的對象是微軟SQL Server,而非以往針對的Oracle,同時,也強化Aurora的無伺服器應用服務。

關於SQL Server資料庫遷移,AWS將推出Babelfish for Aurora PostgreSQL功能,希望能以此協助用戶,讓他們將既有SQL Server資料庫系統,更簡易地搬遷至AWS的資料庫雲計算服務Aurora PostgreSQL,用戶可在Aurora PostgreSQL環境,繼續執行既有SQL Server的應用程式,而且僅需小幅修改程序代碼即可、甚至不用修改程序代碼,同時,AWS也計劃開放這套軟體功能的程序源碼,採用Apache 2.0授權許可,並公布在程序代碼協作與共享社群平臺GitHub。

另一項消息,則是他們針對隨需執行的關係型資料庫服務Aurora Serverless,宣布將推出第二版。針對那些不打算自行管理資料庫容量的用戶,Aurora Serverless v2能在一秒之內,大幅擴展執行規模,而能處理數十萬筆交易,相較於基於尖峰容量設置的資料庫環境,AWS宣稱,最高可節省90%的成本。目前,AWS已針對兼容於MySQL 5.7版本的Aurora,推出預覽版本供用戶測試。

在大數據分析的部分,除了上述AQUA for Amazon Redshift本月宣布推出預覽版的消息,AWS還針對資料搬移與準備服務Glue,發布了匯集與複製多個人信息料源的Elastic Views功能,同時,也在商業智能雲計算服務QuickSight,增設了自然語言輸入查詢的功能Q。

取代SQL Server成AWS拓展資料庫市場新目標,積極強化遷移能力

為了吸引更多用戶將資料庫系統遷移到公有雲,AWS提供資料庫綱要轉換工具Schema Conversion Tool(SCT),以及資料庫遷移服務Database Migration Service(DMS),但除了資料庫綱要的轉移,應用程式的資料訪問邏輯該如何因應搬遷,又會是另一項大工程,因為通常需要大費周章地手動調整程序代碼,而且這裡面又涉及到資料庫各自專屬的指令使用。

過去AWS針對Oracle資料庫應用程式的部分,可通過SCT將PL/SQL轉換到PL/pgSQL,但並未涵蓋到SQL Server應用程式,而影響遷移資料庫的工程。另一方面AWS這邊也接到越來越多用戶想將SQL Server遷移至Aurora需求──這主要是因為微軟對於授權的做法越來越積極,增加更多操縱機制,例如,他們將自有授權帶入雲計算服務(BYOL),局限在2019年10月1日購買的用戶,使用的軟體也只能升級到這個日期之前可用的版本,使得遷移上雲的成本變高。

對此,AWS決定開發一套名為Babelfish for Aurora PostgreSQL的功能,能讓原先可在SQL Server執行的應用程式,也能在PostgreSQL其中直接執行,而且只需修改少量程序代碼即可。這項功能會替Aurora PostgreSQL提供轉換層,讓雲計算服務能夠理解專為SQL Server撰寫的應用程式的T-SQL指令。

基本上,Babelfish可支持相關的SQL分支語法、指標、目錄查看(catalog views)、資料類型、觸發程序(trigger)、預存程序(stored procedure)、函數(function),以及Tabular Data Stream(TDS)通信協議,用戶不需改寫應用程式的資料訪問請求方式,也不需沿用既有SQL Server驅動程序。

用戶在運用AWS DMS遷移資料庫之後,只需更新他們的應用程式組態,將資料庫的指向從原本的SQL Server改為Aurora即可。由於Aurora會通過Babelfish for Aurora PostgreSQL理解SQL Server與PostgreSQL專屬的查詢語言,之後用戶即可改用PostgreSQL來撰寫資料庫應用程式的功能,並且能同時執行既有的SQL Server的T-SQL語法敘述程序代碼。

作為Aurora即將發布的功能之餘,AWS也預告,將在2021年公開Babelfish for PostgreSQL的程序源碼,將受益的對象擴大至整個PostgreSQL使用社群,而非局限在Aurora用戶。任何人能夠參與這項軟體開發計劃,並加入更多功能,屆時Babelfish for PostgreSQL將採用Apache 2.0的授權模式,讓各種企業或組織基於這樣的授權條款,能夠自由使用、散播、修改,相關的工作與規劃都會公布在程序代碼協作平臺GitHub。

發布新版資料庫無伺服器應用服務,能更快擴展執行規模

在2018年,AWS的無伺服器資料庫應用服務Aurora Serverless正式推出,雖然用戶不需自行管理資料庫容量,但有越來越多的情況,需要快速、更精確地擴展資料庫容量,例如,執行更多生產環境的工作負載,以及運用Aurora的多種功能,像是激活多個可用區域(Multi-AZ)實現高可用性、構建全球資料庫來達到低延遲、運用讀取副本(Read Replicas)以獲取高性能、採用時間回溯(Backtrack)來快速恢復,或是提供平行查詢來加快查詢速度。此時,用戶若要擴展Aurora Serverless資料庫容量1倍,每次需耗費5到50秒。

而在即將推出的Aurora Serverless v2,能在1秒以內大幅擴展資料庫工作負載規模,使其能夠處理數十萬筆交易。相較於現行每次在工作負載需要擴展規模時增加1倍容量的做法,Aurora Serverless v2會根據應用程式的需求來細部調整每次增益的容量,提供最合適的資料庫資源容量。

而且,此時用戶只需根據他們使用的容量,來支付服務費用。

若是對照基於尖峰容量而配置的資料庫資源,由於難免會有過度提供或閒置的狀況,而如今Aurora Serverless v2能夠變動態擴展與縮減執行規模,在資料庫服務的使用上,有望節省更多成本。

而有了這類精細擴展規模的能力,Aurora Serverless預計可支持更多種企業應用系統的需求,甚至也適用於軟體即服務(SaaS)供應商,能因應於多租戶環境,以及本身需管理大量關係型資料庫的環境。

針對用量起伏較大的關係型資料庫雲計算服務應用,例如線上搶票或暴量商品或服務訂購,AWS原本就有Aurora Serverless的執行模式,今年推出第二版的功能,能在更短時間內擴展與縮減資料庫執行容量規模,最低可擴展0.5個資料庫容量單位(Aurora Capacity Unit,ACU),最高可到256個ACU。(圖片來源/AWS)

提供更多加速數據倉庫查詢的應用服務與功能

在大數據分析的應用上,AWS旗下有多種雲計算服務,可針對不同用途的資料處理需求,例如,Athena能用於無伺服器形態的資料查詢(以SQL語法分析存放在S3的資料);Elasticsearch Service可用於資料搜索與圖表化呈現(集成Elasticsearch、Logstash、Kibana);Kinesis能處理即視頻流媒體與時資料流;Redshift專攻數據倉庫;EMR可執行多種大數據框架軟體的工作負載,像是Spark、Hive、Presto、Flink、HBase;Glue提供無伺服器執行形態的資料準備服務;QuickSight則是支持商業智能分析應用的服務。

而在今年全球用戶大會期間,AWS特別針對其中三項服務,也就是Redshift、Glue、QuickSight,發布新的消息。

AQUA for Amazon Redshift

首先是去年發布的分布式硬體加速緩存技術AQUA for Amazon Redshift,在今年12月開放預覽版試用,預計在2021年1月正式推出,而且將依附在RA3執行實例其中免費提供,因此,租這項服務的用戶不需變更程序代碼,即可享受到AQUA的好處。

Glue Elastic Views

第二個則是針對資料匯集的需求,AWS在Glue這項無伺服器ETL資料準備服務其中,即將推出名為Elastic Views的集成功能,目前已發布預覽版,用戶可通過具現化查看表(materialized views)的構建,而能運用多種來源資料。基本上,這項功能可橫跨存儲系統、數據倉庫、資料庫等多個人信息料存儲服務,執行自動結合與複製資料的作業。

為了要匯聚分散在多個人信息料孤島上的內容,雖然我們可以構建資料湖來進行集成,但考慮到訪問延遲與實際IT運營挑戰,放置在專屬存儲的資料量仍在大量增加,因此,企業仍須在這些分散或集中的存儲服務之間,進行資料搬移(Data Movement)的工作,而在Glue Elastic Views其中,用戶可使用SQL語法,針對想要從不同來源存儲服務複製資料、進行匯總,以便創建具現化查看。

而除了將不同來源資料庫的內容複製到目標資料庫,Glue Elastic Views還會自動更新目標資料庫的內容──AWS會持續監控來源資料庫的變更,並在幾秒之內更新目標資料庫,一旦某個來源的資料模型有變動,Glue Elastic Views會主動警告開發人員,讓他們更新手上的具現化查看來反映變更。

當然,Glue本身是無伺服器架構的資料準備服務,Glue Elastic Views可隨著工作負載加重或減輕,自動擴展或縮減服務容量,確保目標資料庫存放的具現化查看表內容,維持最新狀態。

Glue Elastic Views目前能匯集哪些數據源?AWS表示,可支持多種AWS環境的資料庫雲計算服務,像是NoSQL資料庫DynamoDB、Elasticsearch Service,關係型資料庫RDS、數據倉庫Redshift,以及資料存儲服務,像是S3。

在資料分析之前的準備與匯集作業上,AWS Glue添加了Elastic Views的功能,可讓企業運用SQL語法來創建虛擬資料表,以此來結合與複製多個來源的資料,而在這其中,使用了AWS在2019年推出的SQL兼容查詢語言PartiQL,可支持DynamoDB、S3、Redshift等資料庫與存儲服務。(圖片來源/AWS)

QuickSight Q

關於企業環境大數據處理需求,除了數據倉庫、資料準備(ETL),另一個關鍵則是資料分析,對此AWS在2015年推出主打商業智能用途的QuickSight,2019年增設了機器學習與自然語言功能,名為ML Insights,用戶可執行異常偵測、趨勢預測,以及自動化內容分析陳述(Auto-narrative)。

在今年全球用戶大會上,AWS發布另一項結合自然語言應用的資料查詢功能,稱為QuickSight Q,用戶可針對所有現存的資料,在QuickSight Q的搜索框其中,以自然語言的問句形式鍵入內容,幾秒鐘之內就會得到答案(目前以英文為主,但AWS並未提及是否能以其他語言提問)。

值得注意的是,QuickSight Q支持自動完成的關鍵字詞與商業用語建議功能,以及自動執行的拼字檢查、縮寫、同義詞的比對,用戶無需擔心拼錯字,或是資料確切的商業用語。這套雲計算服務使用了深度學習與機器學習技術,像是自然語言處理、資料綱要理解、語義分析,支持SQL語法程序代碼的產生,再以此產生能理解問句意義與商業資料關係的資料模型,用戶就能很快地接收到高精準的回答,不必耗費幾天或幾周的時間等待資料模型構建完成之後,才能得到答案。

相較於BI團隊構建資料模型、分析預先被決定好模型的資料集的做法,AWS認為,QuickSight Q並不會局限用戶提問範圍,而且查詢分析的範圍是全部的資料,可提供更完整、精確的解答。不過,在深度學習與機器學習的技術應用上,QuickSight Q使用的是預先訓練的資料,而這些資料源自不同領域與產業,因此,QuickSight Q的自然語言處理,可被調校成理解複雜的商業語言。

關於提問與回答精準度的部分,QuickSight Q會從用戶交互過程其中來學習,而能隨著時間持續提升。此外,如果QuickSight Q無法理解用戶輸入的問題,他們也可以在搜索框,藉由建議選項的下拉式菜單來得到提示、引導問題的描述,而在下一次查詢交互時,QuickSight Q會記住這詞彙,提示給用戶選擇。

為了簡化企業將SQL Server搬遷至資料庫雲計算服務Aurora的工程,AWS發布了Babelfish for Aurora PostgreSQL的功能,可讓SQL Server專屬的相關應用程式,在少量或不需修改程序代碼的狀況下,移植到Aurora執行。同時,他們也宣布將在2021年發布Babelfish for PostgreSQL開放源碼項目,讓更多PostgreSQL系統也能具備這項功能。(圖片來源/AWS)

相關焦點

  • 無伺服器資料庫競技,哪家雲服務落伍了?|雲計算|資料庫|無服務|...
    讓Serverless技術落地,還有重要的一環,那就是無伺服器資料庫。在無伺服器資料庫上,AWS、騰訊雲新服務讓企業用戶眼前一亮。在12月2日揭幕的亞馬遜 re:Invent上,AWS發布Aurora Serverless v2,可在不到一秒內擴展至支持數十萬個事務,把無伺服器資料庫應用性能提高到一個新高度。
  • AWS新品直指微軟,它會是改變資料庫的「Game Changer」嗎?
    AWS以巴別魚命名這款資料庫遷移工具似乎頗有深意。Babelfish for Aurora PostgreSQL是一個資料庫轉換工具,能夠讓客戶能更輕鬆地從SQL Server遷移到Amazon Aurora PostgreSQL。
  • AWS發布新一代Amazon Aurora Serverless 更方便SQL Server遷移 |...
    Amazon Aurora Serverless v1可在5到50秒內擴展資料庫容量,在需要時每次將容量翻倍,且由於它是無伺服器的,客戶也無需操心資料庫容量管理。Amazon Aurora Serverless v2能夠在不到一秒鐘的時間內將資料庫工作負載擴展到數十萬個事務。Amazon Aurora Serverless v2能精細化調整容量,而不是每次需要擴展工作負荷時都將容量翻倍,從而為滿足應用程式需求提供合適的資料庫資源。
  • 瞄準微軟客戶,AWS將開源資料庫翻譯工具
    圖片來源: AWS在re: Invent大會上,Amazon Web Services(AWS)宣布將開源Aurora PostgreSQL資料庫的結構化資料庫翻譯工具Babelfish for Aurora PostgreSQL,以吸引微軟用戶將應用程式及數據從
  • AWS發布三項全新的數據分析功能
    AWS客戶針對不同的應用場景,推出了多種分析工具,包括用於無伺服器式查詢的Amazon Athena,用於搜索和可視化日誌數據的Amazon Elasticsearch Service,用於處理實時數據流的Amazon Kinesis,用作數據倉庫的Amazon Redshift,以及用於運行Apache Spark、Hive、Presto和其它大數據框架的Amazon EMR。
  • 由裡至外 撥開System Center神秘外衣_微軟作業系統_伺服器評測與...
    應用程式交付  最新版SCCM採用了一種新的「以用戶為中心」的應用程式交付方式。用戶可以創建策略和關係規則,以使得Configuration Manager能夠評估用戶的身份、應用程式關聯性、設備類型、以及網絡連接等,以支持實現從任意設備、或任意用戶使用的設備上來提供優化的應用程式體驗。
  • 大數據時代下的新寵:是時候熟悉NoSQL資料庫了!
    2.Hbase:它是一個面向列的資料庫,有助於提高查詢性能和集合。3.Cassandra:Cassandra提供的線性可伸縮性,允許通過簡單地添加/刪除伺服器來輕鬆地擴展/縮小集群。NoSQL資料庫是大型數據集的首選。· 可伸縮性:在大多數情況下,SQL資料庫是可垂直伸縮的。可以通過增加單個伺服器上的處理器、RAM、SSD等來管理增加的負載。另一方面,NoSQL資料庫是可水平伸縮的。可以簡單地將一些額外的伺服器添加到NoSQL資料庫基礎設施中來處理繁重的數據流。因此,可以根據設備選擇適合的資料庫類型。
  • 微軟Surface Pro X無法運行的應用程式列表公布
    Surface Pro X的主要限制之一是其應用程式支持。Surface Pro X不能安裝尚未移植到ARM64的64位Win32應用程式。微軟在Surface Pro X產品列表頁面的腳註部分中提到了以下內容:目前,Surface Pro X將不會安裝尚未移植到ARM64的64位應用程式,某些遊戲和CAD軟體以及某些第三方驅動程序或防病毒軟體。
  • 亞馬遜雲服務(AWS) 為機器學習擴圈 觸及每一位AI工作者 | 網際網路...
    打造包羅萬象的工具箱,賦能每一位AI工作者擴圈舉措之二,是打造全面豐富的工具集,用顧凡的話說, right tool for the right job(通過這樣一個全面的工具集,AWS可以覆蓋和賦能所有的人工智慧工作者。拓展到資料庫開發者和數據分析師擴圈舉措之三,是將機器學習拓展到數據開發者和數據分析師。資料庫開發者、數據分析師這個群體,人數比機器學習開發人員群體大得多,他們沒有機器學習的知識和技能,但是不缺少機器學習的想法。
  • 400億美元年營收、45%市場份額,AWS還能創新嗎?
    在計算領域,除了虛擬機和物理機等計算實例外,還有硬體之上的容器和無伺服器計算。所謂容器,即一種新型虛擬化技術,主要面向雲原生應用和微服務;而無伺服器計算則是一種與底層硬體資源無關的計算方式,由系統接管底層硬體資源的調度,而讓開發者只需關注軟體邏輯自身即可,特別適合物聯網等事件驅動型應用。
  • 星空聯盟宣布全面使用AWS,創造航空旅行新時代
    星空聯盟正在與AWS合作夥伴網絡核心級諮詢合作夥伴--塔塔諮詢服務公司(TCS)合作,將所有數據、平臺和關鍵業務應用遷移到AWS,並關閉數據中心,這將使基礎設施總擁有成本降低25%。同時,利用AWS在分析、安全、管理資料庫、存儲和機器學習等方面的領先優勢,星空聯盟為其26家成員航空公司提供實時洞察力,即使在新冠疫情導致的不確定性下,也能幫助改善乘客的全球旅行體驗。
  • 微軟全球分布式多模型資料庫服務便宜了
    【手機中國新聞】在近日舉行的微軟連接活動中,作為坐落於雷德蒙德市的軟體巨頭微軟發布了一系列技術公告,涵蓋其大部分的產品和服務組合。  宇宙射線和RU  談論到全球分布式多模型資料庫服務Cosmos DB,在技術上,微軟的地理位置分散的NoSQL服務已經吸引大家眼球有很長一段時間了,但其昂貴的售價讓人望而卻步。
  • 適用於Android的最佳辦公應用程式
    最佳的全功能Android辦公應用程式 Microsoft Word、Excel和PowerPoint 微軟公司在開發Android應用程式方面成為了後來者,這令人感到尷尬,但自從該公司開始認真對待這個全球最流行的行動裝置作業系統以來,其提供的Android
  • 微軟Microsoft SQL Sever 2012北京優惠
    Microsoft SQL Sever 2012中文標準版可以優化伺服器和雲間的IT和開發人員工作效率,從而在資料庫、BI和雲功能間實現統一的開發體驗。支持的作業系統:Windows 7、Windows Server 2008 R2、Windows Server 2008 SP2、Windows Vista SP232位系統:具有Intel 1GHz(或同等性能的兼容處理器)或速度更快的處理器(建議使用2GHz或速度更快的處理器)的計算機64位系統:1.4 GHz或速度更快的處理器最低1GB RAM(建議使用2GB或更大的
  • 亞馬遜 re:Invent 2020觀察一:雲資料庫挑戰傳統IT體系 AWS迎來更...
    199IT訊 2020年亞馬遜re:Invent打破了此前8年來的記錄,活動由以往的一周擴展至三周時間,全程線上直播,50萬人註冊,五大主題演講,18場高管演講,以及超過500場的分論壇演講,幫助業界去梳理雲技術發展的方向以及應用趨勢。
  • 微軟推出Lobe桌面應用程式 助你輕鬆創建機器學習模型
    微軟團隊正在研究一系列的應用程式和工具,以便用戶在幾乎不需要編程的情況下,即可運行相關模型。Lobe 項目經理 Bill Barnes 表示,其使用了複雜的技術,來讓事情變得更加有趣。但願 Lobe 能夠帶來大家一些啟發和實際運用機器學習技術的信心,進而發揮出更大的創造力。 2018 年的時候,微軟收購了一家名叫 Lobe 的人工智慧初創企業。
  • 全球最大航空聯盟星空聯盟全面使用AWS 將所有數據、平臺和關鍵...
    星空聯盟正在與AWS合作夥伴網絡核心級諮詢合作夥伴–塔塔諮詢服務公司(TCS)合作,將所有數據、平臺和關鍵業務應用遷移到AWS,並關閉數據中心,這將使基礎設施總擁有成本降低25%。同時,利用AWS在分析、安全、管理資料庫、存儲和機器學習等方面的領先優勢,星空聯盟為其26家成員航空公司提供實時洞察力,即使在新冠疫情導致的不確定性下,也能幫助改善乘客的全球旅行體驗。
  • 發布多款新品重新定義雲計算,亞馬遜AWS如何引領行業?
    在今年re:Invent大會的第一天,AWS就發布多達43個新產品和服務,覆蓋從計算到存儲、自研晶片到資料庫,從容器、Serverless(無伺服器)直至機器學習,再到邊緣計算和混合雲,堪稱無遠弗屆。資料庫服務Amazon Aurora Serverless v2,它是Amazon Aurora無伺服器資料庫的新版本,可以做到實時擴容,優化高負載下服務使用成本,在不到1秒的時間內擴展至支持幾十萬個數據讀寫次數。不妨回顧一下在上半年的新冠肺炎疫情初期的情景,當上千萬家企業、近億人在家辦公時,各種在線服務訪問量激增,猝不及防的服務提供商只好無奈限流拉閘,伺服器緊急擴容。
  • ARM版Win10能用上x64程序了,微軟發布x64模擬器
    魚羊 發自 凹非寺量子位 報導 | 公眾號 QbitAI現在,ARM64設備上的Windows系統,也可以運行64位的x86應用程式(x64)了。微軟最新宣布,已經在Windows Insider裡,面向測試人員發布了ARM版Win10的x64模擬器。