蘑菇街運維體系及雙十一關鍵技術分享

2020-12-12 51cto

蘑菇街運維體系及雙十一關鍵技術分享

蘑菇街是中國的女性時尚社交電商平臺,成立於2011年,總部位於浙江杭州。本文介紹它的運維發展歷程和雙十一期間使用的關鍵技術,供大家參考!

作者:佚名來源:OpenSkill|2016-05-23 17:58

關於蘑菇街

中國***的女性時尚社交電商平臺,成立於2011年,總部位於浙江杭州,目前(2015.Q3)擁有1.3億註冊用戶,雙十一日UV超2000萬。2015.11.21日宣布完成D輪融資,並實施"一街雙城"戰略,杭州+北京,杭州偏電商方向,北京偏社交媒體方向。

蘑菇街業務架構-導購期(2011-2012)

運維早期情況

早期階段(2011-2012年)

– 兩位數機器、個位數網絡設備。

– 沒有運維,開發即運維,靠牛逼的腳本和一些開源工具搞定。

蘑菇街業務架構-轉型期(2013)

運維的發展

中間階段(2013年-2014年)

– 三位數伺服器、兩位數網絡設備

– 2-3名專職運維同學(主機&網絡&DB&緩存&......) – 問題響應式的工作方式

– 工具化的運維平臺

  • 機器資源管理(CMDB的雛形)
  • PHP發布系統
  • 從指標維度監控系統(主機、QPS、RT、調用次數.... )

蘑菇街業務架構-社會化電商

我們應該怎麼辦

思路:

  • 建立以應用服務為核心的管理標準體系。
  • 打造CMDB、流程申請、持續集成和監控為一體的自動化運維系統, 而不是孤立的單點系統。
  • 把運維能力服務化(API),使運維的能力無處不在。 

關於應用服務管理

案例介紹

讓我們看一個從伺服器管理—申請—代碼發布—線上監控的案例。

關於應用伺服器-Hestia服務和資源管理

  • 從業務的維度來管理主機-CMDB的核心概念。
  • 支持擴容、上下線、設備保障、權限等常規流程申請。
  • 自動化任務的配置和下發。

關於應用服務管理-Mops流程申請系統

關於應用服務管理-發布系統

以trade_ordership_service為標示,進行代碼發布。

關於應用服務管理-監控系統Sentry

通用+自定義監控,運維+開發可以時刻關注自己的服務狀態和質量。

運維的現狀

專業的運維團隊 – 系統運維

– 應用運維 – DBA

– 運維開發

  • 運維的能力向平臺化和服務化發展(DevOps,依賴於能力而不是人) – CMDB服務化平臺

– PHP+Java持續集成發布平臺

– 統一的監控平臺

– 全鏈路服務質量分析平臺 – 穩定性平臺

– 容量評估平臺(待做)

– 從問題響應式,向整體解決方案提供方向發展

雙11技術保障,運維做了什麼?

雙11關鍵技術分享—全鏈路系統

全鏈路背景

  • 複雜的分布式系統,頁面上的一次連結點擊,在後端可能會產生幾十次的RPC調用,Web、服務化、緩存、 消息、DB.......都有可能涉及,如果出了問題,如何快速定位到故障點要擴容,如何合理評估。
  • 關鍵概念,全局唯一的TraceId。

全鏈路技術架構

 

全鏈路應用-快速發現問題點和瓶頸點

 

全鏈路應用-調用合理性分析

沒有明顯的瓶頸點,每一次調用RT也很正常,但是全鏈整體的RT卻很高,問題又出在哪裡了呢?

全鏈路使用後的收益和後續

使用全鏈路後的收益

– 提升問題的定位效率 – 準確的評估容量

後續

– Mogu-Watch,與前端打通,實現用戶全鏈路的分析 – 壓測做到平時,與容量評估平臺和資源分配打通。

– 引入雲資源彈性擴容,避免應對峰值的批量機器採購。

壓測之後,關鍵技術改造-ATS靜態化方案

靜態化方案背景和簡介

– 主鏈路(首頁-詳情&活動-交易-支付),降低RT,提升容量。

– 資源類的如圖片、CSS、JS等的靜態化方案都會採用CDN技術。

– 對於頁面內容類的數據,如商品名稱、商品詳情等都屬於靜態數據,而 商品的庫存、優惠等則需要獲取動態結果。

– 對於活動頁面、H5活動推廣頁面等,則可以完全靜態化。

ATS(Apache Traffic Server)靜態化技術方案-Cheetah

 

ATS靜態化案例-商品詳情頁

ATS靜態化使用後的收益和後續

– 詳情頁(全站流量的30%+)靜態化在雙11期間的***率達到95%,換言之,減少了後端服務接近30%的流量壓力。

– RT從原來200ms降低到50ms,用戶體驗大大提升。

– 容量提升,減少了後端伺服器的數量。

– 藉助雲資源搭建雲上的ATS,更貼近用戶 – ATS Cluster方案。

– 支持HTTPS。

– 回源流控和容災控制。

限流&降級開關推送和WEB應急擴容方案

– 限流,Web層,防止被流量打垮。

– 降級,App層(服務化),保障核心應用。

– 選擇Docker 容器,批量生成效率高 – 啟動速度快。

– 資源利用率提升明顯。

【編輯推薦】

【責任編輯:

私語琴聲

TEL:(010)68476606】

點讚 0

相關焦點

  • 在多空爭論中低調重生的蘑菇街
    該研究報告,在預言了直播電商仍將維持高速增長的同時,作出了蘑菇街的直播轉化率領先於行業,以及平臺粉絲價值相對較高的結論。無獨有偶,極光大數據出品的《2020雙十一電商行業研究報告》,也給出了類似結論。其實,充滿黑天鵝的2020年,也是蘑菇街直播戰略轉型落地的關鍵一年。
  • 餓了麼程炎嶺:分享全站多活運維時代的正確打開方式
    屆時,餓了麼OPS負責人程炎嶺先生將在創新運維探索專場與來賓分享"跨越籬笆——餓了麼多活運維上下求索"主題演講,為大家詳細闡述分享餓了麼公司在運維方面的探索以及實踐經驗。51CTO誠邀您蒞臨大會,與我們共享技術帶來的喜悅。
  • 蘑菇街:三心二意的風口「預言家」
    經濟觀察報 記者 葉心冉 蘑菇街CEO陳琪在公司內部總是跟員工說,公司帳上的現金可以維持你們不斷進行新的嘗試。「新的嘗試」之於蘑菇街,太熟悉了。從蘑菇街既往業務梳理來看,海淘、品牌特賣、社區運營,蘑菇街總能踩在風口之前。然而,命運總是充滿戲劇性,每每當蘑菇街掉頭轉向,尋找下一個市場增長機會時,高樓卻在身後崛起。
  • 蘑菇街範懿銘:電商本質還是商,平臺競爭拼細活
    近日,蘑菇街資深副總裁範懿銘做客國內首家商業視頻財經媒體容眾財經,暢談疫情之下的雙十一各大電商平臺提前預售周期背後的隱藏原因,並針對直播電商三大陣營給出了自己的見解。疫情之下,電商平臺拉長「雙十一」競爭資源今年新冠肺炎疫情使得各行各業受到衝擊,直播電商在疫情初期也受到較大影響。
  • 蘑菇街域名改為mogu.com 官方:為達成英文品牌統一
    對此,蘑菇街副總裁範懿銘回應稱,「此次更換域名是為了達成英文品牌的統一,將有助於提升蘑菇街在海外的品牌影響力。同時,蘑菇街的中文品牌名依然為「蘑菇街」。」送完野馬送奔馳蘑菇街大手筆玩轉雙十一作為商家必爭之地,每年雙十一不少電商平臺都會在折扣、獎品等方面加碼,用來吸引用戶參與,提昇平臺銷量。
  • 蘑菇街濮院產業帶基地落成 開啟直播 4.0 模式
    細心觀察,雙十一當晚你的朋友中十之八九通過直播購置物品。蘑菇街用戶基礎紮實,且以女性消費群體為主,其產業帶服務商雲上文化傳媒入駐濮院,將全面賦能產業帶服務,勢必極具商業價值。蘑菇街資深副總裁洛伊表示:「蘑菇街從2016年開始進入直播電商領域,親身經歷了這個行業的飛速發展。
  • 「金猿技術展」亞信科技智能運維——關鍵指標異常檢測技術
    該技術由亞信科技申報並參與「數據猿年度金猿策劃活動——2020大數據產業創新技術突破榜榜單及獎項」評選。隨著5G、雲計算和微服務等技術的發展,IT系統結構愈發複雜、技術組件愈發多樣,傳統的運維手段在監控告警和根因定位等方面面臨諸多挑戰。
  • 中郵消費金融李遠鑫:借力深度服務治理,打造敏捷高效的運維體系
    來源:時刻頭條2020年12月11日,2020年Gdevops全球敏捷運維峰會在京舉辦,中郵消費金融有限公司部門負責人、資深架構師李遠鑫受邀出席,並發表「敏捷消費金融中臺架構下的深度服務治理」主題演講,系統分享了中郵消費金融現代化服務治理體系以及在敏捷開發過程中的實踐經驗
  • 案例分享:蘑菇街十一的走心互動營銷
    重新開通第一天,分享一個半個月前我們做的案例吧。綜述:十一假期前一天,蘑菇街上線一個微電影-異地戀篇,開始《嘿!十一》活動,假期裡每個用戶發微博只要「@蘑菇街」,就可以得到一個蘑菇體的個人專輯作為長假記錄。
  • 技術掌舵人齊聚Gdevops峰會,解讀資料庫、智慧運維、Fintech轉型精要
    依託迄今成功舉辦的17場大會在分享議題上的精心打磨、在技術圈子裡的口碑傳播,Gdevops在展開新一年技術巡演中邀請到更頂級的嘉賓陣容,將帶來更重磅的科技成果與獨家實踐。:李曉寧—中國銀行高級軟體工程師·主題:《銀行日誌監控系統優化手記》·嘉賓:李寧寧—民生銀行資深資料庫專家·主題:《民生銀行在SQL審核方面的探索和實踐》·嘉賓:張舒偉—民生銀行智能運維平臺負責人/應用運維專家·主題:民生銀行智能運維平臺實踐之路(擬)突破點4:全棧——從技術戰略到技術體系建設及協同落地
  • 蘑菇街:從賣產品到賣「時尚」,跑通了電商的第三條路徑
    蘑菇街更科技, AI技術根據圖片自動分解分析出各種時尚元素,大數據技術被用來預測潮流趨勢,再基於機器學習為用戶提供穿搭建議——比如,分析發現,今年8月之後,刺繡元素的流行指數開始大幅度提升。其數據的邊界也不止於自家平臺,這項技術已經在杭州的大學裡開始用於未來設計師們的教研。
  • 產品實踐案例:蘑菇街電商內容化嘗試
    從全過程的產品成長路徑來看(下圖),蘑菇街始終堅持做穿衣搭配、分享look,堅持初心做內容,我似乎看到了產品的匠心:用戶認知的變化,從早期對價格的敏感,消費習慣的轉變,人們逐漸轉向關注商品的品質和格調;外部環境的變化,2013年淘寶封殺第三方導購平臺,得益於蘑菇街自營電商的提早布局,成功應對危機的同時,也完成了一次產品商業模式的轉型;內部能力的儲備,依賴於自身對內容資源的嘗試、探索、實踐,肯定頂住了內部商品轉化率降低
  • 阿里雲道哥解密:保衛「雙十一」的技術牛在哪裡 | 硬創公開課
    嘉賓介紹吳翰清 阿里雲首席安全研究員;阿里云云盾負責人2000年開始研究安全技術,長期活躍在中國的安全社區,在安全行業中有很大的影響力。2005年加入阿里巴巴,是阿里安全的早期建設者。陸續設計了阿里巴巴、淘寶、支付寶、阿里雲的應用安全體系。
  • 「新心數科」新金融搭檔新運維技術,嘉為藍鯨支持普惠金融!
    隨著金融體系發展,社會的資源配置越來越迅速,效率背後是信用體系的搭建、服務的創新、更是技術的演進。網際網路時代,普惠金融走入了我們的生活,金融不再高門檻、高成本、難觸及,而是大眾皆可享受到的服務。這些要求是企業業務快速進步的泉源,也是對運維技術的考驗。運維團隊跟著業務走,業務面向的對象、服務屬性等決定了運維的目標、工作的方式以及所使用的工具。運維團隊響應應用系統更新、擴展與迭代的能力,決定了一家企業IT服務的格局和能力梯隊。
  • 美麗聯合集團範懿銘:蘑菇街是如何用品牌原創IP玩轉營銷的
    億,不少粉絲都以為《解憂買手店》是李易峰繼熱播劇《誅仙青雲志》與《麻雀》之後的又一年度力作……這些是美麗聯合集團營銷中心負責人範懿銘,在12月6日舉辦的全球移動營銷峰會上分享的數據其實,去年10月蘑菇街就已經和李易峰推出了《逛蘑菇街,每天至少愛一次》的主題廣告,在代言活動前後5天,蘑菇街app在蘋果
  • 青團社助力蘑菇街首開靈活用工,降低35%人力成本,提升76%管理效率
    是蘑菇街。你知道,除淘寶、快手、抖音,第一家孵化出億元主播的平臺是哪家嗎?還是蘑菇街。截至11月10日12時05分,蘑菇街宣布雙十一單場破億直播誕生,「小甜心_呢」帶貨總額超2.74億,單粉絲單場價值全網領先。如此亮眼的成績得益於蘑菇街今年的戰略、人力雙調整。
  • 轉型直播運營驅動,直播電商大戰中的蘑菇街如何突圍?
    日前,蘑菇街的一封內部信流出,在其信中蘑菇街表示將全方位聚焦電商直播業務,其業務開始由流量採購驅動轉向運營活動驅動轉型。同時,為了更加聚焦以直播購物和品牌特賣為主的核心業務,蘑菇街將優化人員約140人,佔比14%。加速轉型直播業務,早從2019年上半年,蘑菇街就開始在直播方面資源傾斜方面加碼。
  • 蘑菇街業績下滑 押寶直播但乏善可陳
    報告期內,蘑菇街營收1.125億元,同比下滑43.1%;歸屬於蘑菇街普通股股東的淨虧損9370萬元。一位不願具名的網際網路分析師接受《中國經營報》記者採訪時表示:「蘑菇街大勢已去,這表明創業公司一定要有自己的技術,否則為別人做嫁衣,很容易卸磨殺驢,巨頭都很精明。」
  • 尋零食:零食領域的蘑菇街
    蘑菇街的誕生形成了一個新的圈子,這個圈子裡大家可以分享自己喜歡的商品,評論自己買到的寶貝,建立自己的興趣小組。在這裡,你可以發現時尚。當你正為買衣服褲子裙子等發愁的時候,當你正漫無目的的逛著購物網站的時候,當你正對一樣寶貝不知所措的時候,只要登錄蘑菇街,就可以解除你的困惑。這就是蘑菇街,也是蘑菇街帶給我們全新的用戶體驗。
  • 直播電商下半場,蘑菇街精細化運作成破局關鍵
    然而在三大平臺之外,蘑菇街憑藉著精細化運作,也成為了眾多主播的新選項。 幾大直播電商平臺各有千秋 淘寶、京東、拼多多三大電商平臺本來是以商品銷售為目的的貨架式電商,在供應鏈、品牌商資源等後端佔據優勢,用戶也基本都是衝著購物來的,平臺的核心驅動力是貨品。