A-Tune:基於AI的自優化能力,讓應用發揮極致性能

2021-01-08 IT168

  作業系統配置參數難題

  作業系統作為銜接應用和硬體的基礎軟體,如何調整系統的參數配置,充分發揮軟硬體能力,從而使業務性能達到最優,對用戶至關重要。然而,運行在作業系統上的業務類型成百上千,應用形態千差萬別,對資源的要求各不相同。

  困境一:參數對象龐大,業務複雜度高。

  當前硬體和基礎軟體組成的應用環境涉及高達7000多個配置對象,隨著業務複雜度和調優對象的增加,調優所需的時間成本呈指數級增長,導致調優效率急劇下降,給用戶帶來巨大挑戰。

  

  困境二:並非所有的系統能力都能通用。

  作業系統作為基礎軟體,提供了大量的軟硬體管理的基礎能力,每種能力適用的場景不盡相同,並非對所有的應用場景都通用有益。

  困境三:實驗室無法完成所有應用負載的模擬測試。

  實際業務場景成千上萬,計算、網絡、存儲等硬體配置也各種各樣,實驗室無法遍歷所有的應用和場景,以及不同的硬體組合。

  l AI技術帶來的新思路

  為了應對上述挑戰,解決用戶的難題,作業系統急需一顆智能的「大腦」,一顆能夠感知上層業務類型,能夠「懂」業務的「大腦」,而A-Tune就是這樣一顆大腦,它通過使用AI技術,對業務場景建立精準的系統畫像,感知並推理出業務特徵,進而做出決策,匹配並推薦最佳的系統參數配置組合,使業務處於最佳運行狀態。openEuler適時推出了這顆智慧大腦A-Tune。

  c

  

  l AI技術與作業系統碰撞出「新火花」

  A-Tune利用AI技術,通過對業務系統的底層性能數據進行分析和建模,構建精準的場景系統畫像,針對負載模型匹得出合適的資源模型,並制定對應的調度優化策略,對業務進行更細粒度的調優,讓應用程式發揮出極致性能。

  A-Tune強大的調優能力讓系統運維更簡單,讓IT運維人員更輕鬆,它能夠滿足入門到專業級開發者的不同需求:

  1) 對於初級用戶,儘可能屏蔽硬體和作業系統的底層細節,降低調優門檻,實現用戶無感知的系統優化;

  2) 對於專業用戶,可以針對具體的業務場景進行定製,如豐富優化經驗庫,訓練自己的模型,實現更精細的調優。

  A-Tune核心技術框架如下圖,主要包括智能決策、系統畫像和交互系統三層。

  l 智能決策層:包含感知和決策兩個子系統,分別完成對應用的智能感知和對系統的調優決策。

  l 系統畫像層:主要包括標註和學習系統,標註系統用於業務模型的聚類,學習系統用於業務模型的學習和分類。

  l 交互系統層:用於各類系統資源的監控和配置,調優策略執行在本層進行。

  

  l A-Tune應用實踐

  以Web業務場景為例,SSL/TLS加解密的過程對於CPU計算能力的消耗相對較高,對於Web每次的數據交互都要進行建鏈,也就意味著每一次的數據傳輸都要進行RSA加解密,CPU的計算能力決定了Web伺服器的處理性能。基於SSL/TLS的加解密任務,消耗CPU計算能力在Web服務中佔比高達80%。

  A-Tune通過感知Web業務特徵,自動將加解密計算卸載到鯤鵬晶片的加速器中,從而降低CPU使用消耗,優化後Web服務端處理性能提升200%,對比其他處理器的吞吐量提升顯著。下圖是Nginx作為Web伺服器,通過A-Tune優化後的性能提升效果:

  

  *測試結果來源於A-tune團隊實驗室測試數據。

  更多關於A-Tune項目信息,可在openEuler開源社區獲取。

  openEuler開源社區:https://openeuler.org

  A-Tune項目源碼:https://gitee.com/openeuler/A-Tune

  A-Tune項目文檔:https://gitee.com/openeuler/A-Tune/tree/master/Documentation

相關焦點

  • 萬裡資料庫的極致性能是怎樣煉成的?
    「極致穩定、極致性能、極致易用」的產品理念,以及資料庫性能優化經驗和成功案例。同時基於資料庫集群優異的線性擴展能力,GreatDB Cluster 吞吐性能隨集群節點規模呈準線性提升。回歸資料庫的本質:穩定、高效我們發展信息技術應用創新的目的是解決「卡脖子問題」,CPU是其中的核心,資料庫、作業系統、編譯器、硬體等都是需要解決的問題。
  • 華為發布昇騰AI全棧軟體平臺 AI開發跨越算力應用鴻溝
    華為昇騰計算業務總裁許映童在大會上表達了本次發布產品的目標——「極簡易用,讓AI計算無處不在;極致性能,讓AI計算觸手可及」。使AI能夠跨越算力和應用的鴻溝,受益無數開發者、創業者,從而惠及千行百業。CANN 3.0: 計算架構升級,開發效率和性能業界領先基礎架構作為連接硬體與軟體的必由之路,是發揮AI算力至關重要的一點。本次大會上,2018年首次發布的CANN迎來全新的「3.0」版本,完成了統一異構計算架構的升級。
  • 英特爾與京東優化分布式特徵向量檢索系統Vearch,加速AI應用創新
    隨著 AI 的開發和應用不斷普及和深入,企業需要計算、存儲海量特徵向量數據,IT 基礎設施因此面臨沉重的性能壓力。英特爾和京東一起,在基於英特爾至強可擴展處理器的伺服器上,開發了服務於 AI 時代的分布式向量搜索系統Vearch,讓京東的業務綜合性能獲得顯著提升,從而顯著加速重複圖片去重、相似性商品圖片搜索、人臉識別等 AI 應用的響應速度。
  • 一起教育科技基於英特爾 技術優化AI口語測評平臺 | 賦能英語教學
    雖然基於GPU的AI伺服器能夠在性能上滿足聲學訓練與推理的需求,但是採購、部署與運維成本較高,而且其較為複雜的採購流程意味著較高的時間成本,難以實現快速的敏捷擴展。相較之下,基於CPU的Al伺服器能夠高效利用已有硬體的基礎設施,在大量應用場景下有著更高的TCO優勢。
  • 基於監控寶的跨境電商網站性能優化實戰
    為了搶佔中國市場,追逐利潤,跨境電商紛紛展開各種對策,其中對電商網站進行性能優化是其重要一環。什麼是網站性能?2.通過監控寶的API監控,對其微信公眾號的API進行業務流程監控,客戶自定義告警閾值,網站運行時若觸發閾值,要求能夠及時告警;3.通過監控寶網頁性能監控,準確採集來自全球不同地區用戶的網站打開速度、首屏時間等一系列用戶體驗數據;4.通過監控寶對同行業4家電商網站進行對比監控;5.通過網站監控
  • MindSpore應用案例——AI詩人
    MindSpore的應用場景,也能幫助用戶端到端地上手。MindSpore將BERT模型作為benchmark網絡之一進行調優,通過例如算子融合、集合通信優化等手動,從提高計算效率,降低通信開銷等多個方面提高性能,同時配合硬體親和的算子優化等方法,在單機8卡的標準昇騰伺服器,實現了每秒處理超過2700條樣本。實際使用過程中根據不同場景還可以利用梯度累加等手段進一步提升吞吐量。
  • 一起教育科技基於英特爾 技術優化 AI 口語測評平臺 賦能英語教學
    雖然基於 GPU 的 AI 伺服器能夠在性能上滿足聲學訓練與推理的需求,但是採購、部署與運維成本較高,而且其較為複雜的採購流程意味著較高的時間成本,難以實現快速的敏捷擴展。相較之下,基於 CPU 的 AI 伺服器能夠高效利用已有硬體的基礎設施,在大量應用場景下有著更高的 TCO 優勢。
  • 英偉達官方解讀:Volta Tensor Core GPU實現AI性能新裡程碑
    規模深度學習應用的開發對性能有很高的需求,作為深度學習加速器 GPU 硬體的核心供應商,英偉達一直在不斷創新以滿足 AI 社區對計算性能的需求。近日,英偉達開發者博客發文介紹了 Volta Tensor Core GPU 在 AI 性能提升上的裡程碑進展。機器之心對該博客文章進行了編譯介紹。
  • 揭秘基於ERNIE的百度飛槳語義理解開發套件5大特色
    昨天,在「WAVE Summit+」2019深度學習開發者秋季峰會上,百度對外發布基於ERNIE的語義理解開發套件,旨在為企業級開發者提供更領先、高效、易用的ERNIE應用服務,全面釋放ERNIE的工業化價值,其中包含ERNIE 輕量級解決方案,提速1000倍!
  • 極致小巧 性能不俗 華碩M8I主板上市
    華碩M8I主板採用Mini-ITX板型設計,基於最新的英特爾Z170晶片組和LGA 1151插槽的最新第六代英特爾處理器,配以ROG玩家國度專業的遊戲電源、音頻、網絡、連接及多種華碩獨家遊戲功能提升技術,以極致的設計帶給遊戲發燒友們前所未有的新體驗。
  • 夏日專刊AI產品上新升級集錦,50餘項軟硬能力加速場景落地
    七八月50餘項能力的開源開放及升級,是夏日火熱的積澱,希望可以幫助您更高效實現產業智能化應用落地,快來一同閱讀您最關心的內容吧。醫美視覺方案 黑眼圈/眼袋檢測能力開放邀測提供精準的黑眼圈/眼袋檢測能力,毫秒級識別響應,並分類別返回對應位置信息,實現黑眼圈/眼袋的像素級語義分割,對醫美、互動娛樂及美顏等場景有較高的應用價值。
  • Spring/Hibernate 應用性能優化的7種方法
    此篇文章中將介紹如何確認應用是否受資料庫約束,同時介紹七種常用的提高應用性能的速成法:以下為譯文如何確認應用是否受限於資料庫確認應用是否受限於資料庫的第一步,是在開發環境中進行測試,並使用 VisualVM 進行監控。
  • TUNE在中國發布"應用內營銷」平臺
    全球領先的企業級SaaS(軟體即服務)移動數據公司TUNE(網站:www.tune.com)今天正式宣布針對中國區市場推出In-App Marketing(應用內營銷)平臺。該產品系TUNE Marketing Console,前身為MAT(Mobile App Tracking)旗下產品之一。
  • 系統架構性能優化思路
    對於伺服器的計算能力,一般來說廠家都會提供TPMC參數作為一個參考數據,但是我們實際看到相同TPMC能力下的X86伺服器能力仍然低於小型機的能力。除了伺服器的計算能力參數,另外一個重點就是我們說的存儲設備,影響到存儲的重點又是IO讀寫性能問題。
  • ...TurboTransformers,性能超越 PyTorch/TensorFlow 與主流優化引擎
    由於深度學習的訓練和推理任務存在差異,訓練框架直接應用於線上推理並不能得到極致的性能。眾多模型算法工程師都遇到了訓練的模型效果很好,但因為響應延遲不滿足要求,導致模型無法上線的問題。特性主要有三點: 優異的 CPU/GPU 性能表現。面向 Intel 多核 CPU 和 NVIDIA GPU 硬體平臺,通過核心融合和並行算法優化,TurboTransformers 充發揮硬體的各層級並行計算的能力。
  • 3小時極致學習AI開發,WAIC開發者日有一堂必上公開課
    在今年 WAIC 開發者日期間,機器之心將聯合百度組織「開發者日百度公開課」,為廣大開發者提供 3 小時極致學習機會,從 NLP、CV 到零門檻 AI 開發平臺 EasyDL,助你掌握人工智慧開發技能。2020 世界人工智慧大會雲端峰會是由上海市政府打造的國際頂級人工智慧會議,大會將於 7 月 9 日 - 11 日在線上舉辦。
  • AI強攻EDA,無人晶片設計還有多遠?
    Cadence發布了基於機器學習引擎的更新版數字全流程工具,同時基於其研發的iSpatial技術,支持全流程集成。這一新版數字全流程採用了支持ML功能的統一布局布線和物理優化引擎等多項技術,吞吐量最高提升3倍,PPA最高提升20%。
  • 華為發布基於自進化AI的HiSec Insight安全態勢感知系統
    這是一款基於自進化AI檢測引擎,對整個企業網絡安全態勢進行精準預測,以提升網絡的威脅處置能力和安全運維效率的網絡安全態勢感知系統,是華為面向企業全場景智能威脅檢測推出的安全大腦。在雲計算、大數據、人工智慧技術的廣泛應用下,企業數位化轉型在迅速發展的同時,也面臨著愈演愈烈的網絡安全威脅。
  • 基於DSP的Max-Log-MAP算法實現與優化
    1引 言 Turbo碼接近Shannon理論極限的優越性能使其在衛星通信、深空通信、多媒體通信等領域具有非常大的誘惑力,因此自提出以來一直受到廣泛而持續的關注。Turbo碼的工程應用與實現是近年來研究工作的熱點。
  • 聽雲應用性能管理大講堂 APP性能優化專場乾貨大放送
    4月18日,聽雲舉辦的第二期《聽雲應用性能管理大講堂——APP性能優化專場》在IC咖啡如約登場,有接近200名的現場觀眾以及超過300人同時觀看線上直播,分享來自聽雲、騰訊雲、藝龍、唱吧幾位高級工程師、研發總監與架構師的技術乾貨。