Jstorm2.1.1集群安裝

2021-01-15 我是攻城師

########### These MUST be filled in for a storm configuration  

 storm.zookeeper.servers:    

              - "192.168.10.38"  

              - "192.168.10.39"  

              - "192.168.10.40"  

  

 storm.zookeeper.root: "/jstorm"  

  

# cluster.name: "default"  

  

 #nimbus.host/nimbus.host.start.supervisor is being used by $JSTORM_HOME/bin/start.sh  

 #it only support IP, please don't set hostname  

 # For example  

 # nimbus.host: "10.132.168.10, 10.132.168.45"  

 nimbus.host: "192.168.10.38"  

 #nimbus.host.start.supervisor: false  

   

# %JSTORM_HOME% is the jstorm home directory  

 storm.local.dir: "%JSTORM_HOME%/data"  

 # please set absolute path, default path is JSTORM_HOME/logs  

# jstorm.log.dir: "absolute path"  

   

# java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib"  

  

  

  

# if supervisor.slots.ports is null,   

# the port list will be generated by cpu cores and system memory size   

# for example,   

# there are cpu_num = system_physical_cpu_num/supervisor.slots.port.cpu.weight  

# there are mem_num = system_physical_memory_size/(worker.memory.size * supervisor.slots.port.mem.weight)   

# The final port number is min(cpu_num, mem_num)  

# supervisor.slots.ports.base: 6800  

# supervisor.slots.port.cpu.weight: 1.2  

# supervisor.slots.port.mem.weight: 0.7  

# supervisor.slots.ports: null  

# supervisor.slots.ports:  

#    - 6800  

#    - 6801  

#    - 6802  

#    - 6803  

  

# Default disable user-define classloader  

# If there are jar conflict between jstorm and application,   

# please enable it   

# topology.enable.classloader: false  

  

# enable supervisor use cgroup to make resource isolation  

# Before enable it, you should make sure:  

#       1. Linux version (>= 2.6.18)  

#       2. Have installed cgroup (check the file's existence:/proc/cgroups)  

#       3. You should start your supervisor on root  

# You can get more about cgroup:  

#   http:  

# supervisor.enable.cgroup: false  

  

  

### Netty will send multiple messages in one batch    

### Setting true will improve throughput, but more latency  

# storm.messaging.netty.transfer.async.batch: true  

  

### if this setting  is true, it will use disruptor as internal queue, which size is limited  

### otherwise, it will use LinkedBlockingDeque as internal queue , which size is unlimited  

### generally when this setting is true, the topology will be more stable,  

### but when there is a data loop flow, for example A -> B -> C -> A  

### and the data flow occur blocking, please set this as false  

# topology.buffer.size.limited: true  

   

### default worker memory size, unit is byte  

# worker.memory.size: 2147483648  

  

# Metrics Monitor  

# topology.performance.metrics: it is the switch flag for performance   

# purpose. When it is disabled, the data of timer and histogram metrics   

# will not be collected.  

# topology.alimonitor.metrics.post: If it is disable, metrics data  

# will only be printed to log. If it is enabled, the metrics data will be  

# posted to alimonitor besides printing to log.  

# topology.performance.metrics: true  

# topology.alimonitor.metrics.post: false  

  

# UI MultiCluster  

# Following is an example of multicluster UI configuration  

# ui.clusters:  

#     - {  

#         name: "jstorm",  

#         zkRoot: "/jstorm",  

#         zkServers:  

#             [ "localhost"],  

#         zkPort: 2181,  

#       }  

相關焦點

  • JStorm 2.2.1 發布,分布式計算系統
    JStorm 2.2.1 發布,更新內容如下:新功能Restructure the batch solutionImprove serialization
  • JStorm 2.1.1 發布,分布式計算系統
    新特性:1.5~6x performance boost from worst to best scenarios compared to JStorm-2.1.0Add application-level auto-batchAdd independent control channel to separate control msgs from
  • JStorm:阿里向Apache基金會捐贈基於Java版本的Storm
    阿里JStorm團隊經過4年發展,阿里巴巴JStorm集群已經成為世界上最大的集群之一,基於JStorm的應用數量超過1000個。數據顯示,JStorm集群每天處理的消息數量達到1.5PB。阿里巴巴共享事業部高級技術專家封仲淹介紹,得益於阿里巴巴內部業務應用的磨練,JStorm平臺發展得越來越快。
  • 用Flink取代JStorm,今日頭條的遷移過程與後續計劃
    當時使用 Jstorm 集群遇到了以下幾個問題:針對上面的問題,有兩個解決方案:(1)在 Jstorm 的基礎上支持內存限制,業務 Quota 管理,集群運維;(2)Flink on yarn,也能夠解決內存限制,業務 Quota 管理,Yarn 隊列運維。
  • 《蹲坑學K8S》之23-1:安裝部署Istio
    Istio安裝方式:(1)使用 Istioctl 安裝(2)使用 Helm 自定義安裝(3)安裝獨立 Operator [實驗](4)多集群安裝使用Istioctl=$PATH:/usr/local/istio-1.8.0/bin/ [root@k8s-master ~]# source /etc/profile二、安裝 Istio安裝前準備部署好Kubernetes群集以後,還有部署以下組件以及功能模塊。
  • 昆明新機場建設工程800M數字集群系統設備採購與安裝(二次公告)
    2011年02月22日10:11   來源:西本新幹線 摘要:昆明新機場建設工程800M數字集群系統設備採購與安裝(二次公告)
  • 教你一次性成功安裝K8S集群(基於一主兩從模式)
    1.查看伺服器作業系統版本cat /etc/redhat-release 安裝Docker和K8S集群的伺服器作業系統版本需要在CentOS 7以上。2.查看伺服器的主機名hostname 注意:集群中伺服器的主機名不能是localhost。
  • Kind + Docker 一鍵部署K8s集群
    概述kind是主要是為了測試和簡化K8S而設計的,項目基於Golang開發依賴極少,只需要Golang 1.11版本以上和docker既可。kind由以下組件構成:Go 實現集群創建,映鏡像構建等的軟體包。
  • 如何部署一個Kubernetes集群
    1、系統環境準備要安裝部署Kubernetes集群,首先需要準備機器,最直接的辦法可以到公有雲(如阿里雲等)申請幾臺虛擬機。而如果條件允許,拿幾臺本地物理伺服器來組建集群自然是最好不過了。3、安裝Kubeadm及Docker環境在準備的兩臺虛擬機中,分別安裝Kubeadm部署工具及Docker環境。
  • AutoCAD 2020.1.2 軟體安裝激活教程
    安裝 步驟 看到很多人在後臺留言需要CAD,今天小e就出一期安裝教程。 1.安裝前記得關閉360等殺毒軟體,Win10還要關閉Windows defender,以管理員身份運行主程序,如下。
  • 紐西蘭今增1例死亡!奧克蘭突現神秘感染集群,約2/3人希望延長封鎖...
    *給本號回復「1」,獲取更多疫情動態養老院將有更多死亡病例基督城Rosewood養老院已出現2例死亡病例,目前30人感染,包括工作人員和養老院居民。昨天,衛生總幹事Ashley Bloomfield預計,該養老院還會有更多死亡病例。
  • 一次ArrayList的使用不當導致線上jstorm任務啟動失敗的案例
    起因:最近一次的的項目版本迭代中,我們的jstorm項目裡面增加了一些新的功能,開發完畢後,按照正常的上線流程,代碼是需要在開發
  • 發揮產業集聚效應 促進農業結構調整 武威打造「1+N」奶產業集群
    【在習近平新時代中國特色社會主義思想指引下 新時代 新作為 新篇章】發揮產業集聚效應 促進農業結構調整武威打造「1+N」奶產業集群12月13日,甘肅省項目建設傳來喜訊,武威伊利綠色生產及智能製造示範應用項目一期正式投產運行
  • 在CentOS7上安裝RocketMQ 4.7.1
    前言阿里的fastjson的低版本(<=1.2.68)被爆出有安全漏洞,而RocketMQ 4.7.0使用了fastjson 1.2.62,因此需要將RocketMQ升級到 RocketMQ 4.7.1(fastjson 1.2.69)。
  • 8臺Hadoop伺服器進行集群規劃前配置
    前期準備安裝好CentOS Linux 8 並升級完內核和軟體包之後再進行Hadoop的安裝。參考文章:1、安裝個CentOS Linux 8開始大數據開發2、CentOS8升級內核並開啟BBR手裡有一臺3年前的伺服器Dell R620,上面安裝了兩路CPU型號是Xeon E5-2603 V2 1.8GHz,內存沒有插滿只有64GB,8個硬碟位插滿共8塊SAS硬碟。為了後續的測試方便,8塊硬碟沒有組RAID,在每塊硬碟上放一個VMWare的CentOS Linux 8虛擬機。
  • 資料庫基礎:mysql主從集群搭建
    1. 作為主伺服器Master, 會把自己的每一次改動都記錄到 二進位日誌 Binarylog 中。(從伺服器會負責來讀取這個log, 然後在自己那裡再執行一遍。)2.集群搭建1.集群環境如下:2.mysql數據安裝mysql安裝相對簡單,這裡不做介紹,如果不熟悉的可以查看相關資料。
  • influxdb詳細安裝配置教程 influxdb怎麼安裝配置
    influxdb的部署及使用均比較簡單,但是集群(官方版集群已閉源)及高可用方案較少,所以後續測試完幾種方案後再推送給大家參考。1、 安裝在官網選擇對應版本的庫進行安裝,例如當前最新文檔版本為1.8,部署在centos7 上wget https://dl.influxdata.com/influxdb/releases
  • 免費安裝Thor 1.3.4版本方法
    玩個錘子Thor(俗稱「錘子」)自從 1.3.5 之後的新版本有設備限制,不能太多設備登陸使用,好在 1.3.4 版本沒有這麼多限制,然而好不容易找到 ipa 安裝包,分享者的帳號又經常被鎖今天我就分享下免費安裝 Thor 1.3.4版本的方法,新鮮出爐的哦!
  • gmanager v1.1.4 發布,基於 GoFrame 的管理平臺
    更新說明 gf升級到最新版本V1.12.1 解決前後端分離部署認證跨域問題GoFrame教程已錄製完成,歡迎大家入坑學習
  • GBase 8a MPP Cluster 安裝部署——作業系統配置建議
    建議安裝系統時,選擇「桌面」或「軟體開發工作站」方式安裝。GBASE集群必須的RPM包列表,請參考《GBase 8a MPP Cluster 安裝手冊》中的相關內容。>● 作業系統安裝時,建議不單獨為/tmp、/var等路徑劃分獨立的邏輯卷;作業系統參數設置1.