-
為什麼說,大數據是從流式計算開始切入的?
大數據說了很多年，我說雷聲大，雨點小，這您同意嗎？為什麼？關鍵在創造的價值，如果僅僅是輔助決策，效果難以顯現，如何才能夠立竿見影？從技術上，對應的就是流式計算，因為它對應的是業務，能夠帶來收入的應用。什麼是流式大數據？有哪些應用？現在就讓我們一起回顧下流計算平臺的發展歷史，以及如何在企業中運用。
-
Spark Streaming:大規模流式數據處理的新貴
目前已有很多相對成熟的開源軟體來處理以上三種情景，我們可以利用MapReduce來進行批量數據處理，可以用Impala來進行交互式查詢，對於流式數據處理，我們可以採用Storm。對於大多數網際網路公司來說，一般都會同時遇到以上三種情景，那麼在使用的過程中這些公司可能會遇到如下的不便。 三種情景的輸入輸出數據無法無縫共享，需要進行格式相互轉換。
-
Talking Data 閻志濤:流式大數據和即時交互分析技術
大數據技術逐漸變成企業的標配，漫長的等待數據分析結果已經不合時宜，延遲更低的流式大數據處理技術，即時分析變得越來越重要。在本論壇將給大家帶來行業中領先的流式大數據，即時交互式分析技術的相關分享。前面講了兩個概念，為什麼選擇流式計算和交互式分析，後面我會帶一些技術進來，再就是技術選型的推薦。應該說，從2013年2014年開始，關於流式處理，或者說這種流式計算的框架越來越多，是這幾年在大數據裡特別熱點的方向，是價值驅動，有價值驅動就有技術的發展。
-
【大數據】最新大數據學習路線(完整詳細版】
四、stormStorm：分布式，容錯的實時流式計算系統，可以用作實時分析，在線機器學習，信息流處理，連續性計算，分布式RPC，實時處理消息並更新資料庫。Kafka：高吞吐量的分布式發布訂閱消息系統，可以處理消費者規模的網站中的所有動作流數據（瀏覽，搜索等）。相對Hadoop的日誌數據和離線分析，可以實現實時處理。
-
淺談大數據處理中的實時流式處理
大數據的實時流式處理問題的特點數據源源不斷的到來；數據需要儘快的得到處理，不能產生積壓；處理之後的數據量依然巨大，仍然後TB級甚至PB級的數據量；處理的結果能夠儘快的展現；以上四個特點可以總結為數據的收集->數據的傳輸->數據的處理->數據的展現
-
流式處理框架及應用場景
寫在前面的話：不要被技術嚇到哦 ，本文儘量寫的白話，致力為從事大數據的運營、諮詢規劃、需求以及想學習大數據的入門者提供知識分享@……@導讀：本文闡述實時處理誕生的背景，實時處理意義、應用場景和技術架構實現。
-
流式數據處理介紹
什麼是流處理？流處理是一種大數據處理技術，用於處理連續數據流，並能在收到數據短時間內快速檢測出異常條件，檢測時間從幾毫秒到幾分鐘不等。例如，通過流處理查詢來自溫度傳感器的數據流，您可以在溫度達到凝固點時收到報警。流處理還有許多其他叫法：實時分析、流分析、複雜事件處理、實時流分析和事件處理。
-
數據分析工程師面試集錦5——Spark面試指南
1.高效性。內存計算下，Spark 比 MapReduce 快100倍。Spark使用最先進的DAG調度程序、查詢優化程序和物理執行引擎，實現批量和流式數據的高性能。2.易用性。Spark支持Java、Python和Scala的API，還支持超過80種高級算法，使用戶可以快速構建多樣的應用。
-
烏海spark培訓_博雅環球教育放心之選
教學嚴謹規範，榮獲微軟中國2004年度大銀牌講師稱號。精通JavaEE、Scala、JavaScript、Python等開發語言。精通Hadoop、Spark、Storm、Hive、Hbase等大數據平臺。掌握Python Web主流框架-Flask的使用；掌握常見的性能優化技術；緩存伺服器的操作和設計；異步任務的實現。
-
Spark在360商業數據部的應用實踐
主要體現在2點：1) 任務執行時間比較長。特別是某些複雜的SQL任務，或者一些複雜的機器學習迭代。2) 不能很好的支持像機器學習、實時處理這種新的大數據處理需求。Spark作為新一代大數據處理的計算平臺，使得我們可以用Spark這一種平臺統一處理數據處理的各種複雜需求，非常好的支持了我們目前現有的業務。
-
大數據分析平臺解析:什麼是Apache Spark?
【IT168資訊】Apache Spark是一款快速、靈活且對開發者友好的工具，也是大型SQL、批處理、流處理和機器學習的領先平臺。2009年，Apache Spark從美國U.C. Berkeley的 AMPLab為起步，現在已經成為世界上主要的大數據分布式處理框架之一。
-
深入對比數據科學工具箱: SparkR vs Sparklyr
Sparklyr:sparklyr::spark_install(version = "2.3.0", hadoop_version = "2.7")不依賴於Spark版本，spark 2.X 完美兼容1.X。
-
UCloud優刻得上線高性能流式數據處理引擎UFlink
行駛中的汽車發出GPS定位信息，電商買賣、金融交易、傳感器測量、可穿戴設備等，這些網際網路的應用，產生了大量數據，這些數據以「流式」狀態產生，如果可以實時分析這些數據，就能更好的指導業務決策。 為了滿足用戶對流式數據的處理需求，UCloud（優刻得）近日推出了高性能流式數據處理引擎——UFlink。
-
大數據掃盲——什麼是spark
關於大數據技術之前的文章裡已經提到了HDFS和MapReduce。HDFS解決了大數據的存儲問題，MapReduce解決了大數據的運算問題。既能存儲又能運算，貌似這樣已經很完美了。spark的出現就彌補了MapReduce的不足。 spark是一種基於內存的快速、通用、可擴展的大數據計算引擎。它集批處理、實時流處理、交互式查詢、圖計算與機器學習於一體Spark應用場景批處理可用於ETL（抽取、轉換、加載）。 機器學習可用於自動判斷淘寶的買家評論是好評還是差評。 交互式分析可用於查詢Hive數據倉庫。
-
大數據分析工程師入門9-Spark SQL
本文為《大數據分析師入門課程》系列的第9篇，在本系列的第8篇-Spark基礎中，已經對Spark做了一個入門介紹，在此基礎上本篇拎出Spark SQL，主要站在使用者的角度來進行講解，需要注意的是本文中的例子的代碼均使用Scala語言。
-
大數據賦能金融:文思海輝金融流式大數據處理平臺解決方案
流式大數據：實時的大數據處理技術然而，現有的傳統批量數據處理方式在數據時效性等方面相對滯後，已無法滿足金融機構大量的數據處理需求，流式大數據處理技術隨之興起。流式大數據又被稱為實時大數據，能夠極大限度地挖掘數據潛在價值，在複雜情況下可以滿足金融機構對數據處理分析的及時性、準確性需求。
-
張建偉:百度大數據平臺流式shuffle服務
大會雲集了國內外頂尖專家，共同探討雲計算和大數據等技術背景下，如何通過架構創新及各種IT新技術來帶動企業轉型增效。本屆大會共設置兩個主場分享時段，24個技術交流專場時段；邀請來自網際網路、電子商務、金融、電信、政府、行業協會等20多個領域，150多位技術專家及行業領袖來分享他們的經驗；並將吸引4000多名系統運維、架構師、及各種企業的IT決策人士參會，為他們提供最具價值的交流平臺。
-
量化派基於Hadoop、Spark、Storm的大數據風控架構
量化派公司基於大數據的用戶徵信和傳統徵信殊途同歸，所不同的是，傳統徵信中，數據依賴於銀行信貸數據，而大數據徵信的數據並不僅僅包括傳統的信貸數據，同時也包括了與消費者還款能力、還款意願相關的一些描述性風險特徵，這些相關性描述風險特徵的抽取與篩選是量化派的技術核心。
-
大數據時代:十大最熱門的大數據技術 - 大數據_CIO時代網 - CIO...
隨著大數據分析市場快速滲透到各行各業，哪些大數據技術是剛需?哪些技術有極大的潛在價值?根據弗雷斯特研究公司發布的指數，這裡給出最熱的十個大數據技術。 1、預測分析 預測分析是一種統計或數據挖掘解決方案，包含可在結構化和非結構化數據中使用以確定未來結果的算法和技術。