一周熱點:領先Google 150年的數據可視化及WhatsApp架構解析

2021-01-09 CSDN技術社區

大數據這一近年來才流行起來的技術,看似十分深奧,但是早在150年前人們就開始使用大數據分析趕走霍亂,利用「小獵犬號」超級計算機來基因測序解決了很多醫學上的難題;不顧谷歌CEO阻攔,Facebook最終以190億美元的天價收購了WhatsApp,Facebook真正看重還是WhatsApp會成為下一個10億用戶應用,IBM出手收購NoSQL資料庫公司Cloudant……

谷歌應用數據分析流感疫情堪稱經典,然而早在150年前,既有數據分析趕走霍亂的先例。Farr和Snow對霍亂有著完全不同的兩套理論,而且證明的方法也完全不一樣。Farr是一個沉迷於數據的統計學家,其大量的圖表文檔表明了霍亂和海拔有聯繫(他認為是瘴氣的原因)。Snow是一名醫生,他把注意力放在病人身上,其觀察顯示霍亂從胃部進入人體,這讓他相信是攝取食物或水的問題,最後他把問題指向了公共水源。

基因科學其實也不僅是醫學問題,超級計算機「小獵犬號」的加入讓基因問題變成一個個「大數據」。這臺超級計算機被命名為「小獵犬號」(很容易讓人聯想到達爾文在1831年那次著名的科學之旅),安置在伊利諾州Argonne國家實驗室的理論與計算科學大廈,「小獵犬號」可應用於生物醫學研究領域的計算、仿真和數據分析。


「小獵犬號」是Cray XE6超級計算機——它能夠在短短2天內分析240個完整基因組

該團隊指出,生產DNA序列成本的降低使整個基因組測序進度加快。但由於一次分析好幾個基因組需要很大的計算量,這又帶來了「計算瓶頸」的問題。而有了超級計算機以後不用再局限於一次只能觀察一個基因組,它可以同時處理多個基因組。

不顧谷歌CEO阻攔,WhatsApp最終以190億美元的價格花落Facebook。能獲如此天價與其月4.5億的活躍用戶是分不開的,同樣不可或缺的還有支撐每日數百億消息的高可靠架構。 

硬體:標準的面向用戶伺服器:

Dual Westmere Hex-core(24個邏輯CPU) 100 GB RAM、SSD Dual NIC(公共面向用戶的網絡、私有的後端 /分布)

產品

聚焦消息傳遞。連接來自世界各地的用戶,忽視他們的地理位置,無需支付高額費用,創始人Jan Koum還經常提起1992年在世界各地與家裡人聯繫是多麼的難。 隱私。由Jan Koum制定,消息不會在伺服器上儲存,聊天記錄也不會儲存,目的就是不去了解用戶隱私。不會保存用戶姓名及性別,聊天記錄只存儲在電話上。

架構的其它詳細信息請關注原文。

 

準確的說,190億美元收購WhatsApp是為了它的4.5億用戶,為了它的日百萬用戶增加,為了它可能會有10億用戶的潛能——Facebook需要WhatsApp成為下一個10億用戶應用,當然只能成為它的一部分。同時,40美元一個用戶的價格也並不離譜,特別是以股票充當大部分金額。Facebook曾今使用  30美元每用戶的價格收購了Instagram,而  Twitter的每個用戶更值110美元。  

從2013年3月的300Gbps到2014年2月的400Gbps,DDoS攻擊以驚人的速度進入200-400Gbps時代;然而通過KrebsOnSecurity了解到,在DDoS服務租賃者中存在大量的年輕人,他們期望通過破壞別人的網站或服務以炫耀自己,而KrebsOnSecurity在這周也受到一位15歲男孩的攻擊,他稱自己為「Mr. Booter Master」。而通過KrebsOnSecurity網站選擇的安全公司Prolexic Technologies得知,就是這個15歲的孩子發起了一個接近200Gbps的攻擊。

通過該安全公司還得知,這次攻擊僅僅持續了10分鐘左右,與其說是破壞不如說是演習和驗證。通過知情人士還得知,攻擊者的目的在於通過這種方式向Darkode論壇管理員證明他可以為社區貢獻更多:類似「Mr. Booter Master」這個年齡段的攻擊者還有很多,他們通過各種各樣的方式證明自己的實力,但是無可否認的是他們的目的只有一個——為了娛樂!

 

從Arbor Networks得知,2013年NTP攻擊得到了長足的發展,DDoS攻擊已經步入200-400Gbps時代。需要注意的是,這點並不僅限於歐美等國家—— 2014春節期間,阿里雲曾遭遇一場160Gbit/s DDoS攻擊,雖然官方公布了這場博弈的結果,但是如果下方回帖網友使用的也是阿里雲服務的話,情況似乎並不樂觀。同時,不可否認的是,在200-400Gbps DDoS攻擊數量級下,國內的防範之路還有很長一段要走。 

北京時間2月25消息:IBM宣布收購資料庫即服務(DBaaS)供應商Cloudant,預計Cloudant的收購將在2014年第一季度完成。Cloudant一共只有大約60名員工,但卻擁有2500多家客戶,其中包括一些非常著名的公司比如三星、Adobe和諾基亞等。

此次收購案有助於夯實IBM在雲計算領域的基礎,但是Cloudant沒有被直接投資者Rackspace收購的確讓很多人大為不解,IBM的此番收購正好趕上Rackspace前CEO辭職不久,時間非常敏感。


 IBM CEO Ginny Rometty

這筆收購標誌著IBM繼續投資雲計算和大數據。除了研究和開發的投資,公司在這個領域投資已經超過170億美元,完成30個以上的收購。最初160億美元是2015年的目標,公司已將預算提高到200億美元。

IBM試圖通過收購Cloudant利用全球行動裝置用戶。世界各地的行動電話用戶每天產生5PB的數據,用戶可以輕鬆地利用網絡和設備訪問這些數據,Cloudant幫助創建這些可擴展的應用程式

重塑數據中心一直是英特爾在伺服器領域的遠大目標,2014 年2月25日,為了進一步推動關鍵業務、數據分析等技術應用創新,英特爾在北京舉辦了主題為「洞察先機極智領航」 英特爾至強處理器 E7 v2產品發布會。

英特爾數據中心事業部副總裁兼數據中心市場部總經理 Shannon Poulin

本次發布會上,英特爾針對該創新產品在數據分析領域中的應用價值進行了詳細解析。與RISC架構相比,英特爾至強E7 v2處理器能夠將性能提升多至80%,並可將4年總體擁有成本降低80% 。此外,與前一代產品相比,E7 v2的性能、內存容量支持、 I/O 帶寬及關鍵業務可靠性等方面都取得了重大突破:平均性能提升至2倍、3倍於上一代產品的內存容量支持、 高級RAS特性大幅度提升系統連續運行時間和可靠性。未來,全球各地的 21 家系統製造商,預計將會推出超過 40 個基於英特爾強至處理器 E7 v2 產品家族的平臺。

電信巨頭AT&T和IBM正在共同努力,利用物聯網大潮,計劃從城市和公用事業開始發力。AT&T擁有全球通信網,藍色巨人擁有強大的軟體技術來分析和可視化大量來自不同地方的傳感器數據,當然它無與倫比的硬體技術也可以用來處理這些信息。


如果現在哪天上班不堵車,可能還真覺得不正常,你能想像在北京這樣的大城市不堵車是什麼情形嗎?沒有什麼是做不到的,AT&T和IBM在物聯網領域展開合作,並直接以城市的公用事業為發力點,打造智慧城市。此前IBM已經在都柏林和愛爾蘭測試了公交車的準點到達技術,並取得不錯的效果。

                

                                                  洛杉磯市中心的AT&T交換中心                    

AllSeen Alliance項目以開源項目 AllJoyn 為基礎,後者首先由高通發起,其目標是讓各種各樣的設備、應用及服務都能通過各種在線或離線渠道(如WiFi、電線或乙太網)進行連接。AllJoyn 不需要網際網路連接,且設計為跨作業系統及平臺連接。基於AllJoyn 框架的直接對等交互可極大豐富用戶體驗,用戶將可以在目前享受到的基於雲服務基礎上進一步享受到附近物聯網的好處。

近日一家新公司的成立大大推動了開源項目GraphLab的發展,該公司由GraphLab的開發者組成,籌集資金為圖數據集開發分析工具。GraphLab公司也將繼續使用開源GraphLab「突破圖計算的極限,努力創新」。 由於SFrames類似於Pandas(PyData)和R數據架構,數據科學家可以非常方便快速地使用它們,提高工作效率。

GraphLab的SFrame是一種趣味十足而低調神秘的工具,首次在Strata Santa Clara被揭開面紗。它基於磁碟,並通過二維表形式將GraphLab擴展到了表格數據。通過添加SFrame,用戶可以利用GraphLab中許多處理圖或表中數據的算法。更重要的是SFrame增加了GraphLab數據科學工作流的覆蓋範圍:它允許用戶直接使用GraphLab對TB大小的數據集進行數據清潔或者創建新的功能,SFrame性能可以通過增加內核實現線性擴展。

相關焦點

  • 火爆抖音、B站的數據可視化動態視頻都是如何製作的?
    最近世界疫情越來越嚴重,小編在關注疫情的發展情況過程中,再一次拜倒在數據可視化的石榴裙下,話不多說,請看以下動畫。 類似的視頻最近在抖音、B站上非常火爆!短短兩分鐘數據可視化的動態視頻可以讓我們非常清楚的了解疫情隨時間的變化趨勢,比如各個國家感染人數情況,還可以對比每個國家疫情的嚴重程度等等.......你是不是也在感嘆數據可視化的神奇力量。 So,這種數據可視化動態視頻怎麼製作的呢?在好奇心的驅使下,小編調研了下市面上的各類工具,為大家選取了兩款好上手的動態視頻製作工具:datavrap、flourish。
  • B端互動設計——數據可視化圖表
    編輯導語:設計師如今在日常工作中也會遇到很多數據,對於設計師來說,好看並不是判斷的標準,實際價值和作用才是真正需要的;本文作者分享了關於數據可視化的框架,以及關於可視化設計的基本準則和規範,我們一起來學習一下。
  • 重磅乾貨 | 數字冰雹三維地理信息可視化·城市篇 技術解析
    基於三維GIS將現實世界中三維對象的相關屬性與空間位置進行有機結合,通過經緯度與高程數據對空間對象進行數據化描述,可對空間實體的位置、分布、距離等空間信息進行科學分析;與可視化技術的結合,可直觀化、形象化呈現實體對象在空間中的真實狀態。
  • 【Viz of the Day】年度最佳可視化作品新鮮出爐,快來一飽眼福!
    即刻 get 視頻回放↓↓↓2020 年跌宕起伏,但全球數據愛好者社區 Tableau Public 始終致力於將有影響力(且令人鼓舞)的數據見解帶入生活,幫助人們發現數據的價值。在年底之際,我們精心整理了 12 個月份的最佳 Viz 作品,與大家一起回顧那些最令人驚嘆的可視化!
  • 後臺數據可視化界面設計的10條經驗法則
    本文的英文原標題是「10 Rules of Dashboard Design」,其中Dashboard如果翻譯成儀錶盤的話,總覺得不大容易理解,所以我在這裡把它翻譯為數據可視化。數據展示方面的設計,相信大家會經常用到,這篇文章有很多簡單直接,立馬就能用上的乾貨,一起來學習吧!為什麼數據可視化設計非常重要?
  • 嵌入式 BI 行業解決方案:智慧環保大數據可視化系統
    二、環保行業商業智能 BI 核心訴求環保行業從業者期望能夠實現多源環保監測數據匯集融合,優化數據算法,打造生態環境動態資料庫和運營體系,提供智慧環保大數據BI分析服務。智慧環保大數據 BI 主要服務於分析和決策,包括可視化大屏一張圖、環境分析、汙染監管、預測預報、公眾服務等,並重點加強大氣環境、水環境、排汙企業的精準監管和分析評價,為汙染防治和環境決策提供支撐。
  • AWS發布AWS Glue DataBrew,讓數據可視化準備工作提速達80%
    AWS Glue全新的可視化數據準備工具,讓數據科學家和數據分析師能夠更快地清洗和處理數據。與傳統數據準備方法相比,速度可提高80%。 北京2020年11月19日 /美通社/ -- 日前,亞馬遜雲服務(AWS)宣布AWS Glue DataBrew正式可用。AWS Glue DataBrew是一款全新的可視化數據準備工具,客戶無需編寫代碼就可以清洗和處理數據。
  • 一個成功而有價值的數據可視化應該注意這25點技巧
    編輯導語:我們在工作中經常會分析數據,通過圖表等方式可以幫助我們更加清晰明了地看到分析結果,所以一個成功有價值的數據可視化能發揮到很大的作用;本文作者分享了關於數據可視化注意的25點技巧,我們一起來看一下。
  • 外貿人如何藉助WhatsApp開發客戶?WhatsApp開發客戶大全
    自2014年,Facebook收購Whatsap以來,這款即時聊天軟體,迅速佔據各國手機下載排行榜的前幾位,據知名數據統計網站similarweb統計,目前Whatsapp的總用戶數已經達到了16億,在谷歌應用商店即時聊天軟體類別中
  • 產品經理的高階能力:架構圖的設計與畫法
    今天作者和大家分享的是產品架構圖的設計與畫法,架構圖將可視化的具象產品和服務,抽象成信息化、模塊化、層次結構以及關聯關係清晰的架構,並通過不同分層的交互關係、功能模塊的組合、數據和信息的流轉,來傳遞產品的業務流程、商業模式和設計思路。
  • excel地圖數據可視化,看起來很厲害,其實很簡單,僅需2步搞定
    Hello,大家好,今天跟大家分享下我們如何在地圖上實現數據的可視化,今天我們要用到的功能是三維地圖,三維地圖其實就是powermap,只不過在2016版之後的版本中被稱為三維地圖,powermap是powerbi的組件之一,它主要是對帶有地理位置的數據進行可視化的操作,使用powermap進行地圖數據可視化的操作也非常的簡單
  • 如何評價Google神經機器翻譯(GNMT)系統?
    | Google Translate發展歷程:在2006 年Google團隊改進了——統計機器翻譯(statistical machine translation),並宣布上線Google Translate翻譯功能。
  • 2021全年熱點營銷日曆!含熱點解析
    不管是做新媒體運營,營銷策劃,還是廣告公關,文案寫作,都少不了一份年度熱點營銷日曆。這次老賊依舊為大家整理了「2021全年熱點營銷日曆表」,包括了通用節日節氣 、各種紀念日 、頒獎典禮 、大事件、網際網路熱點等幾百個營銷節點。裡面還為大家提供了重要節點的玩法解析,掃描日曆裡的二維碼即可查看,貼心如我。希望這篇文章給你帶來一點力量和一些機會。
  • 如何畫出一份優秀的產品架構圖?
    一、什麼是產品架構圖產品架構圖是產品經理用來表達自己產品設計機制的一張概念圖:它將可視化的具象產品功能,抽象成信息化、模塊化、層次清晰的架構,並通過不同分層的交互關係、功能模塊的組合、數據和信息的流轉,來傳遞產品的業務流程、商業模式和設計思路。
  • 2019年中國大數據產業市場分析
    2、在技術方面,我國大數據技術發展屬於「全球第一梯隊」,但國產核心技術能力嚴重不足。我國獨有的大體量應用場景和多類型實踐模式,促進了大數據領域技術創新速度和能力水平,處於國際領先地位。據前瞻產業研究院發布的《中國大數據產業發展前景與投資戰略規劃分析報告》統計數據顯示,2015年我國大數據產業規模已達2800億元。截止至2017年我國大數據產業規模增長至4700億,同比增長是30.6%。初步測算2018年我國大數據產業規模達到5400億元左右,同比增長15%。預測在2020年我國大數據產業規模將突破萬億元。
  • 大數據應用案例TOP100
    百度大腦PK人腦 大數據押高考作文題  為了幫助考生更好地備考,百度高考作文預測通過對過去八年高考作文題及作文範文、海量年度搜索風雲熱詞、歷年新聞熱點等原始數據與實時更新的「活數據」進行深度挖掘分析,以「概率主題模型」模擬人腦思考,反向推導出作文主題及關聯詞彙,為考生預測出2014年高考作文的六大命題方向。  20.
  • 極光:Q3百度APP數據表現亮眼,以42.7%的用戶覆蓋率保持領先
    極光觀點:1、新資訊行業在疫情期高峰過後用戶需求有所減退,但到了6月至7月,也許是受到「畢業季」的影響,行業活躍用戶出現了小波幅的增長,7月份的MAU接近7億;2、2020Q3,主流新資訊平臺中,百度APP數據表現亮眼,以42.7%的用戶覆蓋率保持領先;此外,百度APP每日新增用戶量維持在150萬左右,屬主要新資訊平臺中新增用戶量級最大的平臺;
  • 兩代並存 2015年Intel桌面PC架構解析
    商用級桌面晶片組Roadmap   在商用級晶片組方面,Q170、Q150及B150會在2015年Q2與大家見面。來看看架構圖吧:Iris Pro核心顯卡的LGA桌面級處理器(當然內置了eDRAM)2,全部LGA Broadwell處理器均為倍頻解鎖版本(可超頻)3,僅為65W的熱設計功耗(四核心)    下面我們來逐條解析:眾所周知Intel的核心顯卡分為HD Graphics、銳炬(Iris Graphics)以及銳炬Pro(Iris Pro Graphics)三個系列,其中銳炬及銳炬Pro顯卡的性能要強於
  • 大數據DaaS創業公司「星圖數據」上線「D-Matrix」產品,為傳統製造...
    然而,獲得精確並且實時的產品銷售數據卻又比以往任何時候都來的重要,這種難題的存在,給了創業公司進入的可能。 「星圖數據」是一家成立於2013年的大數據「DaaS」創業公司,他們致力於為傳統製造業公司提供完整的在線產品銷售數據信息,並生成直觀的可視化報告。
  • 大國重器 | 以北鬥衛星可視化,致敬偉大祖國
    為此,數字冰雹製作了全球衛星導航系統可視化演示程序,將全球四大衛星導航系統的發射數據、空間在軌態勢、以及北鬥系統的工作原理進行了可視化分析和直觀展示,希望通過本文,讓大家對北鬥導航系統有更深入的了解。   (全球衛星導航系統可視化)   我們整理四大導航系統的衛星雙行根數,基於數字冰雹的可視化產品平臺,復現了各個系統的空間運行態勢。