storm安裝教程 單機版

2020-12-16 MySQL從刪庫到跑路

Storm是Twitter開源的分布式實時大數據處理框架,被業界稱為實時版Hadoop。按照storm作者的說法,Storm對於實時計算的意義類似於Hadoop對於批處理的意義。

應用場景包括推薦系統(實時推薦,根據下單或加入購物車推薦相關商品)、金融系統、預警系統、網站統計(實時銷量、流量統計,如淘寶雙11效果圖)、交通路況實時系統等等。

storm一般從日誌系統通過kafka收集數據,然後對數據進行處理運算(運算可以結合資料庫以及hdfs的存量數據),不斷將運算結果寫入redis,然後需要展示這個運算結果的系統從redis讀取數據。運算結果寫入redis和讀取展示運算結果是不斷重複的(例如1秒一次),這樣能實時觀察數據的變化。例如雙十一的銷售額會不斷增長,那麼storm就要不斷解析日誌累加銷售額,展示頁面也要不斷讀取redis最新的銷售額。

twitter和微博實時統計熱搜也是一樣,實時分析日誌才能發現今天的高頻詞是哪個。

也可以用於埋點收集日誌,用戶做某個動作,會觸發在日誌裡列印出某個關鍵字,通過對關鍵字的統計,可以實時分析用戶行為特徵。

本文演示安裝單機storm系統,並運行內置的示例程序。分為四個步驟:

安裝Java環境安裝 Zookeeper安裝Storm(單機)運行Storm實例-WordCount安裝Java環境

yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

env沒有JAVA_HOME變量,因此要自己配置該變量。查找jdk安裝目錄。

在/root目錄下編輯.bashrc

使環境變量生效,檢查是否有JAVA_HOME變量

安裝 Zookeeper

下載zookeeper-3.4.6.tar.gz,上傳到伺服器,解壓

進入zookeeper的conf文件夾

然後vi zoo.cfg

修改dataDir目錄為你希望的目錄

啟動zookeeper

安裝Storm(單機)

下載apache-storm-0.9.6.tar.gz 上傳伺服器,解壓

進入storm的conf目錄,修改storm.yaml文件,地址改成127.0.0.1,ui埠改成8888

bin目錄下依次啟動storm nimbus、storm supervisor、storm ui

瀏覽器輸入IP:8888可以打開UI界面。

如果訪問UI打不開一般是防火牆沒關閉,systemctl stop firewalld臨時關閉防火牆試試。

下圖描述了幾個角色之間的關係

運行Storm實例-WordCount

運行內置示例,示例程序不斷地取如下語句作為數據源,然後統計單詞出現的次數。後面加上grep the是篩選統計結果關於the這個單詞的次數。該程序執行10秒後會自動關閉。{"the cow jumped over the moon", "an apple a day keeps the doctor away", "four score and seven years ago", "snow white and the seven dwarfs", "i am at two with nature"}

./bin/storm jar ./examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology |grep 'Thread-[0-9]*-count' | grep the

相關焦點

  • 雙全|免費管家婆財務軟體培訓教程,管家婆財務軟體單機版安裝
    免費管家婆財務軟體培訓教程,管家婆財務軟體單機版安裝下載至電腦後點擊雙擊解壓找到.exe格式文件並運行,直接單擊【下一步】開始安裝。免費管家婆財務軟體培訓教程然後進入管家婆財務軟體安裝頁面後會跳轉至設置管家婆財務軟體的安裝目錄,你可以選擇跳過直接單擊下一步。
  • 新遊下載:《Farstorm》免安裝中文版下載
    遊戲類型:角色扮演開發發行:CG-Creations | CG-Creations發售日期:2018-09-18整理時間:2018-09-22遊戲平臺:PC【遊戲簡介】《Farstorm【配置要求】【運行說明】1、解壓縮2、點擊「開始遊戲」運行免安裝中文版下載(201M):
  • 小雞模擬器iOS版激活碼 iOS版安裝教程
    各位玩家一直在期盼的小雞模擬器iOS版終於要來咯!小夥伴們知道怎麼樣安裝嗎?知道激活碼在哪裡領取嗎?接下來九遊小編就來和大家詳細的說說小雞模擬器iOS版安裝教程,一起來看看吧! iOS小... 來了!來了!各位玩家一直在期盼的小雞模擬器iOS版終於要來咯!小夥伴們知道怎麼樣安裝嗎?
  • 鑽石奇蹟電腦版下載與安裝教程
    18183首頁 鑽石奇蹟 鑽石奇蹟電腦版下載與安裝教程 鑽石奇蹟電腦版下載與安裝教程 來源:18183 作者:青蓮
  • CAD2011下載安裝和學習教程
    引申熱文——3dmax瘋狂模渲大師使用教程——最新版入門建模、渲染、實戰出圖當然了,大家學習CAD軟體的話,一點也不難的。建議大家多培養自己的自學能力,不要浪費自己的時間,高效、激情地使用軟體去輔助自己的工作。
  • 魔獸世界單機版4.3下載 附GM命令大全
    名稱:魔獸世界單機版4.3下載 附GM命令大全  遊戲製作:暴雪  遊戲發行:暴雪  版本說明:  本版為魔獸世界單機版4.3,附魔獸世界單機版GM命令。
  • 綠色地獄單機版下載
    綠色地獄單機版下載火爆來襲,快來18183遊戲庫下載吧!綠色地獄單機版下載版本記錄:綠色地獄單機版下載遊戲風格和音樂都不錯,屬於感官系的玩家可以一試v1.2.4,v1.3.2,v2.2.5綠色地獄單機版下載玩家評論:深入危機四伏亞馬遜叢林
  • 超變私服神途單機版下載
    你是否在尋找超變私服神途單機版下載,18183遊戲庫為您提供最新最好的下載體驗!超變私服神途單機版下載官方介紹:超變私服神途單機版下載玩法特別有趣,快來下載吧!
  • Pokemon GO:電腦版VPN下載安裝教程
    今天小編為各位玩家帶來的是Pokemon GO精靈寶可夢GO電腦版VPN的下載安裝教程。
  • FIFA Online 3電腦版下載及安裝教程
    FIFA Online 3電腦版下載 一、靠譜助手下載及安裝 找到你下載好的文件,雙擊,選擇靠譜助手安裝的路徑,或者直接安裝(並無影響)。 二、安裝FIFA Online 3電腦版 1、進入FIFA Online 3下載頁:>>點擊進入 2、將下載好的FIFA
  • 暴龍世界靠譜助手電腦版下載安裝教程
    18183首頁 暴龍世界 暴龍世界靠譜助手電腦版下載安裝教程 暴龍世界靠譜助手電腦版下載安裝教程 來源:暴龍世界 作者
  • NBA2K18靠譜助手電腦版下載安裝教程
    18183首頁 NBA 2K18 NBA2K18靠譜助手電腦版下載安裝教程 NBA2K18靠譜助手電腦版下載安裝教程 來源:NBA2K18
  • 《仙境傳說RO》怎麼在電腦上玩 電腦版安裝教程
    導 讀 仙境傳說RO手遊電腦版怎麼玩,仙境傳說RO手遊可以在電腦上玩嗎,接下來小編將要告訴大家仙境傳說RO手遊怎麼在電腦上玩,電腦版下載安裝圖文教程噢!
  • 《王者榮耀》單機版叫啥名 單機版介紹官網下載地址分享
    導 讀 王者榮耀單機破解版是一款單機版本的王者榮耀遊戲,玩家不需聯網就可以運行遊戲。
  • Mac版Ai2021軟體安裝教程
    [名稱]:Mac版Ai2021[大小]:1.53GB     [語言]:簡體中文 [安裝環境]
  • 口袋妖怪劍盾單機版下載
    口袋妖怪劍盾單機版是任天堂旗下口袋妖怪系列正統續作的第八代作品,本作冒險舞臺為伽勒爾地區,將造訪伽勒爾地區的各座道館,以成為冠軍為目標展開冒險。
  • 撞球大師單機版
    撞球大師單機版 體育競技 大小: 11.99M
  • 鬥羅神途最新單機版下載_鬥羅神途手遊單機版下載_18183手機遊戲下載
    找鬥羅神途單機版下載去哪裡?那就來18183遊戲庫!鬥羅神途單機版下載特色系統:鬥羅神途單機版下載不容錯過,值得下載一試!1.爭奪沙城領主寶座、勇奪封神特戒,歷史重燃,沙城硝煙!
  • 星河戰神單機版
    星河戰神單機版 動作射擊 大小: 12.58M
  • NBA LIVE Mobile電腦版下載及安裝教程 [圖
    NBA LIVE Mobile電腦版下載 一、猩猩助手下載及安裝 找到你下... 《NBALIVE》是一款基於現實NBA題材的籃球遊戲。遊戲有遊戲巨頭EA公司製作開發,玩家能在遊戲裡控制所有現役球員。