餓了麼程炎嶺:分享全站多活運維時代的正確打開方式

2020-12-22 51CTO

【51CTO.com原創稿件】2017年12月01日-02日,由51CTO主辦的WOTD全球軟體開發技術峰會將在深圳中州萬豪酒店隆重舉行。本次峰會以軟體開發為主題,數十位專家級嘉賓將帶來多場精彩的技術內容分享。屆時,餓了麼OPS負責人程炎嶺先生將在創新運維探索專場與來賓分享"跨越籬笆——餓了麼多活運維上下求索"主題演講,為大家詳細闡述分享餓了麼公司在運維方面的探索以及實踐經驗。51CTO誠邀您蒞臨大會,與我們共享技術帶來的喜悅。

以下是採訪實錄:

51CTO記者:能夠請您先概括一下本次演講的主要內容?

程炎嶺:本次演講主要分享從傳統運維跨越那道看不見的「籬笆」,最終實現多活運維,整個過程中帶來哪些運維形態上的改變。

演講主要包含五方面內容,分別為一業務特性,為什麼在餓了麼可以支持特有的多活;二運維規劃,多活前設計上需要考慮哪些運維上面的規劃;三對運維體系上會帶來哪些複雜性;四運營體系(主要是質量監控和效率)會帶來哪些改變;五自動化、智能化任重道遠。

51CTO記者:能否先介紹一下餓了麼運維工作的主要特點?餓了麼的業務發展非常迅速,對運維工作帶來的主要壓力是什麼?

程炎嶺:有一組數字可以讓大家快速了解餓了麼的運維工作量:餓了麼目前有4個物理IDC,2朵雲,約15000臺物理伺服器,1600個應用appid,1000名技術開發人員,支撐日均***訂單,過去一年內平均日交付伺服器60臺,日均發布146次,回滾11次,歷史上最長全網穩定計數器為135天。

餓了麼的運維實際上是運維+運營,其中運維的工作大同小異,主要集中在底層基礎設施環境規劃、建設、交付以及上層業務的支持工作,目前正在為產研自助方向努力。而運營的思路會很特別,需要運維團隊更多對數據敏感如服務質量、CPU利用率、成本分攤、穩定性SLA等。

我認為運維工作感受到的***壓力來自於如何跟上業務/技術發展的節奏,用最短的時間提高產研的效率。舉個例子:如何一鍵構造/銷毀某一個服務的測試環境,如何一鍵拉取某一個服務依賴的所有資源,發生故障後各依賴服務如何快速的自證清白等等。我們需要花更多的精力去思考,改進我們的工具產品,而不能僅僅滿足於當下的運維狀態。

51CTO記者:據了解,餓了麼主站多活切換目前運行半年了,現狀如何?為什麼要做主站多活切換呢?它的好處是什麼?主要解決了哪些問題?

程炎嶺:今年5月,餓了麼主站***次多活切換成功。緊接著在6月底,餓了麼啟動物流多活項目,9月21日,物流多活改造成功完成,餓了麼進入了全站多活時代。

為什麼要做多活?因為多活是技術上的一大革命性創新,除了解決達到單機房容量上限外,更多還承擔了容災【兜底】的工作,尤其是關鍵路徑、核心基礎設施、核心組件發生各種災難性、短期不可恢復故障以及外力不可抗拒因素的一種【續命】手段。概括的說,支撐業務擴展,容災保障是做多活的兩大好處,它解決了單機房不可擴容,業務複雜/技術複雜之後怎麼快速止損、恢復業務兩大難題,效果遠比災備要好。

在全站多活演練成功之前,運維團隊包括全公司已經閉關了很久。正所謂「兵馬未動,糧草先行」,基礎運維團隊用了不到一個月的時間完成了上架、調試、部署以及交付。與此同時,DBA團隊、中間件團隊規劃了資料庫的改造、接入、運維方案,完成了數百次支持、答疑工作。

在整個過程中,運維團隊非常辛苦。很多情況下,工具是滯後的,也沒有很好的參考案例可供研究。但即便如此,業務運維團隊依然協助產研完成了整個多活測試環境(模擬雙zone)的規劃,部署,調試,以及參與討論、實施多次技術改造、部署方案。

51CTO記者:對於運維工作,您還有哪些經驗願意分享?

程炎嶺:運維工作有一個話題很火:是要做「救火」式的運維,還是「運營」式的運維?前者可能是大部分公司的做法,後者是大部分公司的願景。我認為,要達到「運營」式運維需要從五個方面加以考慮。

一是標準化。標準化是自動化的基礎,運維的工作(大部分)都很瑣碎,也許這會我要去裝個機器,那會要去配置個nginx,一會又需要去排查一下為什麼日誌會丟失,等等,長期下去,效率得不到提高,工作認可度也不高。而對應工具產品也會因為非標準的需求需要去做各種適應,而且做出來的工具還不被認可(為什麼這個功能沒有!!),服務核心流程標準化是自動化工具的基礎。

二是規劃。提前做好規劃,比如你要用哪一種機型,統一作業系統,統一部署方式,高可用是雙A還是AB,各種接入規範,使用姿勢,技術方案,需要提前做好調研、規劃。基礎設施的改造牽一髮而動全身。並且改造大部分忽略小部分說不定哪天就會有坑。

三是效率。運維要去了解業務,了解對方的痛點,儘可能做到一站式去解決一個需求,同時把一些業務不需要關心的內容包裝掉。以一個商業化的角度,設定服務的SLA,去把自己的服務做成一個「對方願意購買」的服務。

四是數據。一個應用創建(上線)或運行過程中產生的任何數據都很寶貴,運維以及運維工作中變更這個數據應該很謹慎,如果一定要去變更,應該問是否是流程沒有覆蓋,變更是否可以優化。應用資產數據能幫助我們統計依賴關係,一個連接有沒有流量來判斷業務是否在使用,等等,智能化運維更是依賴這個基礎數據,自動化,智能化做不好,往往是數據不準確。

五是平衡。平衡這個詞很虛,而且似乎跟技術沒多大關係。確實它也不是個技術問題。舉個例子,業務發展/技術發展中,尤其是一個不賺錢的業務/一個不確定能否推廣的技術,如何去平衡調度資源。你可以吧問題拋給老闆,但這也是運維團隊需要思考的問題。所以,技術問題相對反而好解決,而往往是一些非技術問題,我們很難決策。

51CTO記者:最近業界很多聲音在談自動化運維,智能運維,可是目前並沒有統一的運維標準,您如何看待自動化運維,智能運維的前途?您認為真正的智能化運維內涵是什麼?其真正落地還需要哪些條件?

程炎嶺:自動化運維,智能化運維必然是潮流,只是運維在不同階段面臨不同的問題。不同的公司重視的角度也不一樣,有的公司可能注重成本,有的公司可能注重效率,有的公司可能注重業務,更多的公司是在不同階段分別重視不同的問題。而這個階段也沒有明確的「臨界點」,就很難形成一種業內統一的運維標準。但一定要有一個適合自己公司項目環境、技術文化、自上而下價值觀的標準,不能千人千面。

我認為真正的智能化運維內涵是數據,統一的運維價值觀,不要迷信方法論,它只是一個行為的準則,是理論。真正的落地還是需要從解決實際問題的角度出發,從而更好的服務用戶,服務於業務。

使用雙十一特別優惠碼[2017WOTD1111],和我一起去WOTD全球軟體開發技術峰會。8折優惠基礎上,再減512!詳情點擊wot.51cto.com

【51CTO原創稿件,合作站點轉載請註明原文作者和出處為51CTO.com】

【責任編輯:

周雪

TEL:(010)68476606】

點讚 0

相關焦點

  • 月活被餓了麼反超,美團外賣怎麼了?
    外賣下半場,餓了麼和美團的戰爭有了新變化。據QuestMobile發布的最新數據顯示,餓了麼在10月的MAU(月活躍用戶)超越了美團外賣。媒體報導稱,這是餓了麼近兩年來月活用戶首次在APP端高於美團外賣。
  • 餓了麼企業版的餐飲消費數智化管理
    本次論壇以「疫情之下,合規之變」為主題,餓了麼企業版醫藥客戶總監李瓅在論壇現場做了主題為《企業餐飲消費數智化管理》的精彩分享。李瓅在會上表示,「依託阿里生態體系,餓了麼企業版連結餓了麼、口碑、支付寶、高德地圖等資源,可以通過多方數據進行交叉驗證,核驗用餐行為的真實性。
  • 餓了麼10元無門檻優惠券 餓了麼免費兌換碼分享
    餓了麼10元無門檻優惠券 餓了麼免費兌換碼分享 來源:www.18183.com作者:CC時間:20-12-23 分享到:
  • 餓了麼怎麼領取免費VIP 餓了麼會員紅包分享_18183餓了麼專區
    18183首頁 餓了麼 餓了麼怎麼領取免費VIP 餓了麼會員紅包分享 餓了麼怎麼領取免費VIP 餓了麼會員紅包分享
  • 餓了麼用了這個神器,美團坐不住了!
    前陣子,接觸到一個黑科技,Zing,讓我突然對JVM有了興趣,為了弄明白,我逼著自己啃了一本厚厚專業書,有些心得體會,跟大家分享一下,什麼都要快,打開APP要快,下單要快,送餐要快,掙錢更要快。 從某種意義上說,「餓了麼
  • 66元餓了麼外賣紅包天天領取方式,淘寶 京東 拼多多領券教程,券值...
    餓了麼紅包最新的獲取方式:喜歡點外賣的小夥伴快來看看餓了麼紅包碼領取方法吧!  小編就給大家帶來了相關的福利禮包,所有的免費優惠券禮包,快來領取紅包吧!  餓了麼紅包領取方式如下  1、關注券值播公眾號:quanzbv
  • 餓了麼產品分析報告
    餓了麼領跑在線餐飲外賣市場2014年資本市場活動頻繁,網際網路巨頭紛紛湧入餐飲外賣市場,外賣平臺競爭升級,但2015年的行業的格局基本維持穩定,據易觀智庫報告顯示,2014年中國網際網路餐飲外賣市場訂單份額方面,餓了麼以30.58%位居外賣行業第一,在餐飲外賣細分市場方面,餓了麼分別以35.6%、28.8%、18.5%的市場份額全面領跑校園、
  • 餓了麼月活反超美團外賣有玄機
    但餓了麼的數據也表現搶眼,據QuestMobile的數據顯示,餓了麼在10月份的MAU(月活躍用戶)已經超越美團外賣,這是餓了麼近兩年以來月活用戶首次在App端高於美團外賣。怎麼看美團外賣的競爭能力?程俊:第一,美團在市場份額是餓了麼兩倍多的情況下,在餓了麼接入支付寶,且提供「百億補貼」虧損競爭的情況下,仍然保持了比餓了麼更快的增長速度,這本身就是市場統治地位的表現,也是規模效應的必然結果。
  • QuestMobile:餓了麼月活(MAU)首次超過美團外賣
    (原標題:QuestMobile:餓了麼月活(MAU)首次超過美團外賣)
  • 餓了麼紅包兌換碼 餓了麼紅包怎麼領
    餓了麼紅包兌換碼 餓了麼紅包怎麼領 來源:www.18183.com作者:CC時間:20-12-23 分享到:
  • 蘑菇街運維體系及雙十一關鍵技術分享
    蘑菇街運維體系及雙十一關鍵技術分享 蘑菇街是中國的女性時尚社交電商平臺,成立於2011年,總部位於浙江杭州。本文介紹它的運維發展歷程和雙十一期間使用的關鍵技術,供大家參考!
  • 餓了麼怎麼開店鋪營業 餓了麼開店申請步驟流程
    餓了麼怎麼開店?是最近問的較多的一個問題了,還有不少商家想加入餓了麼,該怎麼操作呢,請詳細閱讀以下內容。  餓了麼申請開店步驟流程  1、首先打開餓了麼登錄帳號。  2、在我的界面中往下拉到最底部會看到加盟合作,如圖所示。
  • 餓了麼將發布用戶多等5-10分鐘功能
    餓了麼將發布用戶多等5-10分鐘功能 澎湃新聞記者 吳雨欣 2020-09-09 09:06 來源:澎湃新聞
  • 美團外賣 真的被餓了麼反超了?
    原標題:美團外賣,真的被餓了麼反超了?來源:深燃作者:深燃團隊近日,#餓了麼月活反超美團外賣#的話題引發關注,一時間激發起了吃瓜群眾關於美團是否丟掉主戰場的討論熱情。事情的起因是移動網際網路大數據公司QuestMobile公布的一組數據:餓了麼APP在10月份的MAU(月活躍用戶)已經超越美團外賣APP,這是餓了麼近兩年來月活用戶首次在APP端高於美團外賣。外界將這一信息看作餓了麼反撲美團外賣初顯成效、甚至彎道超車的跡象。
  • 美團外賣,真的被餓了麼反超了?
    事情的起因是移動網際網路大數據公司QuestMobile公布的一組數據:餓了麼APP在10月份的MAU(月活躍用戶)已經超越美團外賣APP,這是餓了麼近兩年來月活用戶首次在APP端高於美團外賣。外界將這一信息看作餓了麼反撲美團外賣初顯成效、甚至彎道超車的跡象。
  • 餓了麼兩個人怎麼點餐一起送 好友拼單訂餐方法
    餓了麼兩個人怎麼點一份單呢?怎麼和好友拼單呢?有很多朋友還是不太了解,下面就跟著小編來一起看看關於餓了麼拼單方法介紹吧,希望大家會喜歡。  餓了麼怎麼看拼單帳單?  1.在手機上打開餓了麼APP,選擇一家確定要點的店,然後點擊右上角的「拼」或者右側的三點。
  • 美團外賣紅包/餓了麼紅包優惠券 餓了嗎每日領取66元攻略
    現在的外賣越來越方便了,不知道大家點餓了麼外賣或著美團外賣有沒有領一下紅包呢!據說還有霸王餐的機會哦!大家趕緊來試試看。美團外賣紅包/餓了麼紅包優惠券,每天都可以領紅包哦!
  • 馬雲以665億收購餓了麼,那當年失去餓了麼的大學生,現狀如何了
    時代與科技共同發展,人們的生活方式得到了極大的改變,新一代的年輕人與老一輩的人的生活方式可以說是千差地別的,而之所以會有這麼大的改變,是因為,電商物流的出現,極大的便利促使我們改變了傳統的生活方式,就連現在吃飯也同樣與以往不同,很多年輕人為了縮短時間,為自己提供便利,就會選擇點一份外賣
  • 全球敏捷運維峰會(Gdevops)即將於上海盛大收官
    本次演講就是分享親歷的一個過程,包括DevOps中運維的敏捷化和智能化。 虢國飛(餓了麼DBA經理,資深資料庫專家)《全方位解析:餓了麼MySQL水平擴容架構》網際網路開源實踐:結合餓了麼在MySQL資料庫水平分片方面的一些實踐,細聊關於資料庫水平分片架構方案的方方面面,從是否有必要使用水平拆分的架構,到前期準備工作、方案的評估、方案的制定、方案推進的步驟
  • 原生家庭的正確打開方式
    擺脫靈性商品,分享生命心法,心累的時候來『生命花園』歇一歇吧!一個人畢其一生的努力就是在整合他自童年時代起就已形成的性格。在這樣的過程裡面,有些人知道自己是承認,需要自己負起責任,會不斷去學習而選擇更好的方式去面對。有些人卻一直活在童年的陰影下,放棄了自己的選擇和責任。在昨天原生家庭的沙龍中,回顧我的成長,我覺察到還是有好多觸痛著我的點。