回顧2019 年5個重大宕機事件

2020-12-23 51CTO

任何時候發生網絡服務中斷,都會對全球業務造成極大的影響和破壞,而且還會導致收入和聲譽的重大損失。儘管應用程式交付依賴於許多網絡服務提供商(ISP),但它也越來越依賴於面向網絡的服務的大型且複雜的生態系統,例如CDN、DNS、DDoS緩解和公共雲。這些服務共同為用戶提供卓越的數字體驗,即使是短暫的中斷也會產生重大影響。

同時,企業越來越依賴Internet傳輸來連接其站點並訪問業務關鍵的應用程式和服務。現在應用程式完全託管在私有數據中心和辦公地點,那些主要通過MPLS進行連接的日子已經一去不復返了。隨著企業逐漸採用SD-WAN技術,網際網路正在取代/補充MPLS等服務。因此,Internet現在實際上是企業的骨幹網,作為一種「盡力而為」的傳輸方式,可能會對企業產生重大且無法預見的後果。

在過去的一年中,幾次大規模的宕機對全球網際網路產生了連鎖反應,對企業和消費者都產生了不同程度的影響。我們匯總了一些比較嚴重的宕機事件,以下是按時間順序排列的2019年最具破壞性的宕機事件:

2019年5月13日,中國電信宕機事件揭示了其全球影響力

雖然這不是2019年最具破壞性的宕機事件,但從這次事件也可以看出中國電信的業務範圍遠遠超出了中國大陸。2019年5月13日,中國電信經歷了一次重大故障,持續了將近5小時,後續又持續幾個小時。中國電信在其主幹網上遭受了嚴重的數據包丟失,主要是中國大陸的網絡基礎設施受到較大影響,但是也波及了中國電信的新加坡和美國包括洛杉磯等多個節點,全世界有一百多種服務受到幹擾。

此次整個長時間持續中斷過程中,路由轉發到受到影響故障節點的流量全都被丟棄了,也就是說部分在中國國內和國外的用戶,使用瀏覽器或者應用程式訪問的大量國外網站均出現了中斷。中國的用戶嘗試訪問架設在國外的網站會受到影響,與此同時,國外的用戶試圖訪問中國國內網站也受到影響。

同時這次宕機事件也讓美國的網站服務受到了影響,如蘋果,亞馬遜,微軟,Slack,Workday,SAP等等網站服務,下圖展示了受到網絡故障波以及影響的部分網站和服務。

此次事件說明了中國對全球網際網路的一些影響力,同時中國電信網絡提供商維護著全球網際網路的互聯,和全球很多地方的網絡提供商保持聯繫。

2019年6月2日-「宕機之夏」始於Google Cloud

在2019年6月2日,Google Cloud Platform發生了嚴重的網絡中斷,影響了美國西部、美國東部和美國中部地區的託管服務。此次宕機也影響了Google自己的應用程式,包括GSuite和YouTube。該宕機持續了四個多小時,幾天後,Google就此事件發布了官方報告。ThousandEyes 的優勢在於能夠實時查看宕機情況,並在更詳細的信息公開之前有效地揭示宕機的特點和規模。

大約從美國東部時間上午9點開始,相關工作人員觀察到試圖連接到GCP us-west2-a中託管服務的全局監視器的數據包丟失率達到100%。在GCP美國東部幾個地區(包括us-east4-c)託管的站點也看到了類似的損失。

事實證明,部分Google網絡完全不可用是由於Google的網絡控制平面意外脫機導致的。谷歌后來透露,在宕機期間,一套自動策略確定了哪些服務可以在未受影響的網絡中部分訪問或不能訪問。

從雲服務中斷中獲得的最重要的教訓是,確保任何雲架構都具有足夠的彈性措施(無論是在多區域基礎上還是在多雲基礎上),以防止將來再次發生中斷,這一點至關重要。可以說即使在雲中,IT基礎架構和服務有時也會出現中斷。

6月24日-Cloudflare用戶淪為路由災難的受害者

就在WhatsApp用戶遭遇大規模路由洩漏事件的幾周後,網際網路又發生了另一起與路由相關的事件,並且造成的破壞要大得多。

Cloudflare是一家CDN服務提供商,2019年6月24日,在將近兩個小時的時間裡,一個重大的BGP路由錯誤對試圖訪問Cloudflare服務的用戶造成了嚴重影響,包括遊戲平臺Discord和Nintendo Life。經分析發現,該BGP路由洩漏來自多方因素。DQE是一家傳輸提供商,是此次洩漏的源頭,該洩漏是通過DQE和Verizon的客戶Allegheny Technologies傳播的。不幸的是,Verizon進一步傳播了路由洩漏,從而擴大了影響。

此次重大宕機影響了Cloudflare約15%的全球流量,並影響了Discord、Facebook和Reddit等服務,持續時間約兩小時。路由洩漏也影響了對一些AWS服務的訪問。

該事件的根本原因可歸因於DQE使用的BGP優化軟體,該軟體創建了到Cloudflare服務的路由,而這些路由只能在DQE的內部網絡中使用。當這些路線意外地洩露給其中一位客戶時,混亂就隨之而來了。

這次事件再次提醒我們,在以云為中心的世界中,企業要想成功地向用戶提供服務,就必須對網絡具有可見性。

7月4日-Apple服務在7月4日受到影響

2019年7月4日,連接到Apple網站及其部分服務(例如Apple Pay)的用戶經歷了長達90多分鐘的嚴重丟包。這個問題導致許多用戶無法成功連接到Apple。該數據包丟失是由BGP路由震蕩引起的。當一個路由公告被快速連續地(通常是反覆)發出和撤回時,BGP路由就會出現問題。

此次事件蘋果在早期成功阻止了事情的發酵。從這次事件中得到的教訓是,宕機不會憑空發生,有時僅根據其時機和環境來判斷,即使是嚴重的中斷也可能會被忽視(或者反過來,明明不嚴重卻引起嚴重的騷動)。

9月6日-DDoS攻擊者瞄準維基百科

由於大規模持續的分布式拒絕服務(DDoS)攻擊,2019年9月6日,世界各地對維基百科網站的訪問中斷了將近9個小時。DDoS攻擊可以擊垮目標網絡的基礎設施,並在服務提供商網絡內部造成擁塞,從而導致數據包丟失。

在事件過程中,世界各地的HTTP伺服器可用性顯著下降,並且HTTP響應時間急劇增加。許多地區的用戶無法建立Internet連接,無法與維基百科伺服器進行持續通信,此次攻擊造成了高達60%的數據包丟失,這進一步阻止了對維基百科網站的訪問。

雖然DDoS事件在Internet上時有發生,但組織應該主動了解這些事件的範圍和影響,並驗證DDoS緩解措施是否有效。

【編輯推薦】

【責任編輯:

趙寧寧

TEL:(010)68476606】

點讚 0

相關焦點

  • 《唐探3》回歸21年春節檔,回顧電影重大事件,好事多磨
    終於在大家的一片期待聲中,《唐人街探案3》官宣了回歸2021年春節檔的消息,看來大家這個春節又可以回到電影院了。官方也發布了《開門見喜》的海報,現在離春節還有一段時期,雖然現在定檔,但是未知數也非常多,一起來回顧一下這部電影經歷的重大事件吧
  • 2019年陝西重大天氣氣候事件發布
    你知道剛剛過去的2019年,我們經歷了什麼天氣嗎?省氣象局日前發布2019年陝西省重大天氣氣候事件,這一年,陝西先後出現了暴雪、乾旱、大風沙塵、暴雨、高溫等災害性天氣,造成了一定程度的經濟損失。  大範圍大暴雨  致7.6萬人受災  2019年8月2日~4日,陝西出現一次暴雨大暴雨天氣過程。強降水造成安康、榆林、漢中等6市19個縣(區)7.6萬人受災,農作物受災面積4.6千公頃,直接經濟損失3.4億元。
  • 牛市未至 宕機先行?又見頭部券商APP宕機 廣發回應
    各大券商重金投入IT建設,APP宕機卻時有發生 值得注意的是,近年來,各大券商紛紛重金投入自家APP的研發和升級,在網際網路產品思維的推動下,用戶體驗也出現明顯提升,但是APP宕機的情況卻也不斷發生,尤其是行情火爆之時。
  • 2019年度重大信息安全事件,網絡信息安全不容樂觀(下)
    2019年度重大信息安全事件七月重大信息安全事件:影響1億美國公民和600萬加拿大人的數據洩露事件。Capital One表示,2005年至2019年,用於申請信用卡的個人信息被洩露,包括客戶姓名、地址、郵政編碼、電話號碼、電子郵件地址、出生日期和收入。但實際上,除信用卡申請信息外,部分信用卡客戶的數據也被洩露,包括客戶信用評分、信用額度、餘額、付款歷史、聯繫方式等。大約100萬個加拿大社會保險號碼、14萬個美國社會保險號碼和8萬個銀行帳號也可以被訪問。
  • 微博為何總宕機?
    「微博技術專家胡忠想2017年在微博上調侃道。李晨髮長文表示「珍惜範冰冰」、王寶強發布離婚聲明,鹿晗公布戀情,都一度讓微博宕機,短則十分鐘,長則持續了1個多小時。對此微博回應稱流量瞬間暴增,超出伺服器最大訪問閥值,將加強技術儲備,完善應對方案。
  • 又見APP宕機?廣發證券第一時間回應!應急處置已解決交易問題,今年...
    是廣發證券APP軟體版本更新造成宕機?一位券商IT人士向財聯社記者表示,這應不是軟體版本的問題,或有可能是網絡硬體問題造成的。券商應確保相關信息系統及時恢復運行2019年6月1日,《證券基金經營機構信息技術管理辦法》正式實施。
  • 2019年茂名十大事件
    剛剛過去的2019年,在市委市政府的領導下,全市上下一心,廣大幹群努力奮進,經濟實現平穩健康發展,社會大局持續和諧穩定。回顧這一年,有許許多多值得驕傲和回顧的事情。茂名晚報記者特地梳理出對全市經濟社會發展具有典型意義,具有較大社會影響的十大事件,這些事件涵蓋了重大時政、經濟發展、百姓民生等方面。
  • 谷歌大批服務又宕機 5個月內第3次了
    [PConline資訊]12月14日消息穀歌旗下的Gmail、GoogleDrive、GoogleSearch等服務出現宕機,用戶無法正常使用相關服務,此事已經得到谷歌證實。據報導,歐洲、美國和印度大部分地區的服務訪問都出現了問題。
  • 2019年世紀飛歌事件回顧
    Welcome to our world of Freegos世紀飛歌2019大事件盤點第一件大事情最值得讓人興奮的是與中國音樂劇教父李盾老師聯合成立音樂劇製作公司「何李活」。李盾,中國著名音樂劇製作人。中國文化創意產業領軍人物。
  • 谷歌全球宕機達45分鐘,吃飯點支付寶,微信宕機,開車時地圖宕機?
    #谷歌回應服務中斷#簡述美西時間的凌晨3:47分左右,Google全球宕機了,本次宕機時間長達45分鐘。有些網友通過谷歌搜索谷歌宕機原因。谷歌還有智能家居控制設備,家裡的電燈,門鎖都受到影響,有的進入了"黑暗時刻",有的則無法進入家門。谷歌作為科技巨頭,今年已經第4次出現大範圍宕機事件。不過最重要的是谷歌搜索並沒有受到影響,廣告投放不受影響,保留著最核心賺錢的業務。
  • 大規模斷網頻發,政治解決不了宕機問題!
    2020年5月28日下午2點開始,捷克全國範圍內的幾乎所有Vodafone網絡服務都發生中斷,行動電話反覆顯示數據服務關閉,無法撥打電話,持續時間達4個小時,影響用戶規模達100萬人。當地時間2020年8月28日上午9點20分開始,「由於核心網的某些設備故障」,英國Vodafone發生重大網絡故障,導致超過10萬用戶在3個小時內無法上網和通話。
  • 微博宕機復盤:什麼樣的技術架構,可支持80個明星並發出軌?
    微博曾經誇下海口,支持8個明星並發出軌,再一次打臉了,微博技術同學要好好反省、認真反省。話又說回來,為什麼微博總是宕機?從技術上來說,什麼樣的架構能夠應對瞬間億級訪問量?真的能支持8個明星、80個明星的瞬間億級流量?
  • 遭遇史上最長宕機!Facebook全球範圍大規模癱瘓
    數據風波還不夠,Facebook又捲入其史上持續時間最長、涉及範圍最廣的宕機事件之一!3月13日周三,Facebook網站及其旗下Instagram、WhatsApp、Messenger等APP在全球範圍內出現大規模宕機,用戶遇到的問題包括無法登錄帳戶、無法發表評論或照片等等。
  • 谷歌近五個月來第三次宕機,範圍波及全球,業內人士表示太失敗
    據外媒報導,在本周一,北京時間19時50分,包括YouTube和Gmail在內的谷歌旗下的眾多平臺遭遇了全球性大規模宕機,幾乎所有的谷歌伺服器都癱瘓了。這次宕機事件波及全球,影響了谷歌在美國、歐洲、加拿大、南非、印度等多國的服務,對歐洲的影響尤甚。
  • 透過谷歌宕機事故看存儲運維三大重要趨勢
    近日,谷歌又出現大面積癱瘓事件,導致全球範圍內多款Google服務崩潰,這已經是谷歌近半年第三次出現大規模宕機事件,堪稱上演宕機「帽子戲法」。回顧此次宕機事件,谷歌在出現宕機之後的反應倒是挺快。根據谷歌雲官方推特表述,經過谷歌運維工程師近50分鐘的緊急處理,相關服務在當地時間凌晨4點32分恢復正常,真是「同是天涯運維人,凌晨加班曾相識」。
  • 揭秘本月幾樁離奇宕機事故
    這兩起宕機事故,目前宕機故障報告還未出現,具體宕機原因還未可知。不過除了今天的宕機事件,本月已經有不少網際網路巨頭因各種奇葩的理由而宕機,比如騰訊雲、谷歌、百度等。北京時間11月11日,谷歌旗下的雲服務、YouTube等網絡服務在全球範圍內均發生了數小時的宕機,外媒稱因遭到來自中國電信IP的BGP劫持導致故障發生。
  • 谷歌伺服器再次全球宕機 涉及YouTube、Gmail等服務
    12月14日晚,谷歌伺服器又一次全球宕機!這已是近5個月來第3次全球宕機。據了解,這已經是谷歌5個月內第3次宕機,公司上一次全球宕機是9月25日,當時Google系統癱瘓多半集中在美國東岸,Gmail、YouTube、Google雲端在系統死機時,不斷有用戶持續嘗試進入,但都無法順利使用。
  • 2020年,西安樓市十大熱點事件回顧!
    02房價—連漲56個月,漲幅全國第一事件回顧:沒想到,2020年疫情之下,依舊沒有阻擋西安房價連漲之路。12月14日,國家統計局發布11月份70城數據,西安房價環比上漲0.2%,連漲56個月,根據統計局數據,西安房價較2015年上漲超過80.1%!漲幅位於70城第一。
  • OKEx再次上演「宕機、拔網線」,流失大批用戶,退居二線交易所
    風波事件過後,OKEx損失大批用戶,據統計,OKEx恢復提幣的一個小時,有5258.4923枚BTC被提走。風波之後OKEx也淪為了二線交易所,畢竟「安全」是交易所之根本。OKEx從頭部平臺淪為二流交易所,不只是因為此次導火索,OK在過去被認為是:拔網線、宕機最頻繁的交易所。
  • 熱點一波接一波,吃瓜群眾幾度崩潰,微博為何總宕機?
    作者:張藍予編輯:蘇琦(原標題:微博為何總宕機?)「微博史上三大戰役:範冰冰李晨,王寶強,鹿晗。「微博技術專家胡忠想2017年在微博上調侃道。李晨髮長文表示「珍惜範冰冰」、王寶強發布離婚聲明,鹿晗公布戀情,都一度讓微博宕機,短則十分鐘,長則持續了1個多小時。