199元,你可以再添一件Uniqlo格子衫,或者5杯提神醒腦星巴克。
或者,199159元,你可以買一張2020易觀A10開發者日門票,聽優路科技、滴滴、騰訊等名企大廠技術開源,布道數據的實時處理與多維分析;更有2020易觀數科算法大賽冠亞軍現場分享。
10月24日,易觀數科開發者日,8折門票,限時搶購中。
近日,IDC 正式對外發布了《全球雲 IT 基礎設施季度跟蹤報告》,其中數據顯示 2020 年第二季度,供應商銷售面向雲環境(包括公共雲和私有雲)的 IT 基礎設施產品(伺服器、企業存儲系統和乙太網交換機)所得的收入同比猛增 34.4%;與此同時,2020 年第二季度,傳統的非雲 IT 基礎設施方面的投入卻同比下降了 8.7%。
面對從本地到上雲的變革,企業需要考慮上雲後對企業分析數據生命周期各個環節的架構設計上有何根本性影響。
通過雲計算在各領域下的不斷融合,逐漸催生了越來越豐富的線上應用場景,紛紛轉向在線協作、線上娛樂、購物、教育乃至醫療。這些場景為各領域間帶來了更多聯繫的同時,也為數據本身賦予了更多潛在的價值,但數據積累和聯繫本身並不產生價值,產生價值的是新的數據組織形式以及新型商業邏輯和業務邏輯的興起。
而這些邏輯的背後,更是需要企業決策層、開發者、運營人員都要具備卓越的數據分析思維和能力,才能更好地發現書架子。因為任何人既是數據的生產者、使用者,也是數據價值的受益者。尤其在當前業務快速變化的背景下,對數據處理的實時性、多維性、準確性要求越來越高,只有培養形成多維度數據分析思維方法,掌握一套成體系化的方法論以及便捷的工具,才能更加從容面對當前愈發複雜的數據局面、體系以及結構。
而在 2020 年 10 月 24 日,開發者節日的當天,易觀 A10 數據智能峰會——易觀數科開發者日將正式拉開帷幕,這無疑是一個絕佳的選擇。
01數據的實時處理及多維分析能力
從 Hive Sql 到 Spark Sql,滴滴是如何實踐的?
在網際網路越來越快的今天,企業對數據服務實時化的需求也日益增多,打車、外賣、網購、在線視頻等場景下,用戶已經不能忍受較長時間的等待,企業對於大數據實時決策的要求也越來越嚴苛。
而大數據工程師可能常面臨這樣的痛點——
每日工作都在寫 ETL 腳本,而很多報表卻只用一次;臨時需求眾多,研發怎麼加速研發、業務部門還是覺得慢;業務變化快、數據來源多、數據治理難;數據處理能力不足、時間滯後,想用 Ad-hoc 查詢但數據量過大。使用最新的大數據技術,技術人員只做最底層的數據整理、把業務口徑還給業務人員、直接讓業務人員從最明細的數據中進行統計分析、秒級返回結果,成為破局關鍵。
那麼企業該如何構建自己的實時多維系統?如何選擇業務場景並建模?如何選擇數據查詢底層引擎與技術生態?此次易觀數科開發者日上,邀請到了滴滴 HDFS&Spark 技術專家楊建丹到場進行【Hive sql 遷移到 Spark sql 在滴滴的實踐】的主題分享。楊建丹主要負責滴滴 Hive 服務、離線 Yarn 調度以及 Spark 服務,基於其在 Yarn、HDFS 和 Hive 上多年的實踐經驗,現場為各位開發者深入解讀從 Hive 到 Spark 的遷移心得。
多維實時分析系統在騰訊看點的演進與實踐
數據體量的爆發一方面體現了業務、用戶的規模在快速增長,但另一方面也為企業後臺技術架構提出了更高的需求。
尤其在這樣一個用數據說話的時代,數據在一定程度上決定了企業決策的準確與否。一般來說,分析速度是隨著數據體量的增長而放緩,快速增長的數據也導致了企業的決策速度越來越慢。原始數據體量越來越大、來源渠道廣泛等問題,導致原始上報數據體量上萬、數據上報的格式混亂、缺乏內容維度信息、缺少用戶畫像信息等問題每天都在出現,不僅分析耗時長,並且也無法直接賦能下遊的運營人員。
並且對於業務較大的企業而言,實時在線分析上百億數據更是決定了業務能否在極短時間下做出調整並反饋用戶,這在一切求快的網際網路環境中顯得尤為重要。但問題在於當前大多數企業的技術平臺難以及時響應業務決策的需求。試想僅一次查詢就需要耗時幾分鐘,全面的分析決策則很有可能會花去幾個整天。在商機稍縱即逝的今天,這對一個企業而言可能是致命的。
在這樣的大背景下,多維實時數據分析系統的重要性不言而喻,此次易觀數科開發者日的活動現場,大會邀請到了騰訊高級工程師王展雄,基於他所負責的騰訊看點實際業務場景,全面解讀在上報數據量達萬億規模的騰訊看點,如何構建極低延遲的實時計算和亞秒級的多維實時查詢系統。
02技術開源,使數據能力平民化
Hadoop 到雲原生,如何使企業級數據能力平民化
企業數據上雲已經成為潮流,面對從本地到上雲的變革,企業需要考慮上雲後對企業分析數據生命周期各個環節的架構設計上有何根本影響,例如雲上存儲選型就會深遠地改變計算框架的架構,了解分析上雲的趨勢和實踐中的問題有助於做更好的平臺架構選型、更好地發揮數據的價值,易觀數科開發者日當天,Kyligence 技術合伙人兼產品負責人李棟,將帶來《企業大數據分析平臺:從 hadoop 到雲原生》的主題演講。
普及數據分析能力
近年來隨著 BI 的興起,數據開始在企業應用中發揮越來越重要的作用,在各行各業及各部門都在擁抱數位化的大背景下,數據的角色不再僅僅是業務發展的衍生物,而是加速業務轉型、推動業務科學決策的重要資產。大到企業的決策、發展方向,小到一個營銷活動的效果好壞,數據的價值正在無限放大,企業對於數據價值的期望也越來越高,這些都催生了數據更加廣泛的應用場景和價值。
場景的豐富,也使得越來越多的群體開始對數據產生依賴性。因此,需要將數據能力賦能到行業中的每一處角落。Argo 作為易觀方舟智能分析組件的免費版本,在不破壞商業生態的前提下,其最大限度的繼承了易觀方舟 UBA 的數據能力。基於秒算引擎的支撐,Argo 可以實現從全端用戶行為數據採集到自定義多維度實時用戶行為分析、智能埋點等數據能力。作為一款免費產品,Argo 的開放性更是體現的淋漓盡致,通過採取開放性的 IOTA 架構設計,將不同模塊間相互分離,支持核心存儲、計算引擎模塊熱插拔升級。提供多種連接方式,賦予企業靈活高效的數據採集、分析能力以及快速二次開發能力,降低用戶數據獲取、存儲、分析的研發資源與時間成本。
此次易觀數科開發者日的活動現場,易觀方舟首席架構師江振興將對 Argo 新版本的能力做全面解讀,幫助開發者在了解易觀 Argo 新版更新的同時,能夠快速上手這樣一款免費的用戶行為分析工具。
開源分布式任務調度引擎
另一方面,在實現數據分析、智能運維的過程中,集群間的數據調度是每一個大數據平臺的必備工具。當下容器技術的流行,進一步擴大了數據間的分離程度。因此這也需要技術人員能夠靈活、快速的實現在各個容器資源中的數據調度。
易觀發起的開源項目 Apache DolphinScheduler 作為一款分布式任務調度引擎,其所支持的多活性可以有效保證 ETL 的調度效率,另一方面是調度界面的可視化,開發者在實現調度時只需要在界面上進行拖拉拽形式的操作即可,極大降低了數據調度的技術門檻。
此次易觀數科開發者日的活動現場,也邀請到了Apache DolphinScheduler 的 K8S 實現主要作者、Apache DolphinScheduler Committer、優路科技的李文禾老師到場,全方位解讀 Apache DolphinScheduler 在 K8s 生態下的實踐痛點與解決方案。
03更多精彩盡在 10.24 易觀數科開發者日
2020 年 10 月 24 日,易觀 A10 數據智能峰會——易觀數科開發者日,全天攜多維數據分析實踐以及更多精彩分享,期待各位開發者的深度參與。現在搶購8折門票優惠,快速鎖定有限名額。